Runway lance Solaris, une interface générée image par image par le modèle

Runway a dévoilé Solaris, présenté par l'entreprise comme son premier « modèle de monde d'interface ». Contrairement aux outils qui aident à écrire du code front-end, Solaris ne produit pas de code : il produit directement des images. Chaque image d'interface vue par l'utilisateur est générée par le modèle à la volée, et des actions comme cliquer ou glisser sont renvoyées au modèle comme conditions de génération, ce qui modifie l'image suivante.

Runway avance deux indicateurs de fonctionnement : une latence d'interaction inférieure à une demi-seconde et une qualité d'image maintenue en 720p. Ces deux chiffres déterminent ce que Solaris peut faire aujourd'hui, et ce qu'il ne peut pas encore faire.

Le clic traité comme un signal conditionnel

Solaris repose sur un modèle de monde couplé à un modèle de langage. Le modèle de langage comprend la demande de l'utilisateur et détermine si l'action doit modifier la scène actuelle ou basculer vers une nouvelle scène ; le modèle de monde dessine le résultat de cette décision. L'ensemble du processus avance image par image, et le modèle a appris seul, pendant l'entraînement, « ce qui se passe quand on clique ici » — personne n'a codé de fonction de rappel pour ses boutons.

Cette approche s'écarte nettement de la voie dominante des interfaces générées par IA. Depuis deux ans, la méthode habituelle des grands modèles pour créer une UI consiste à générer du code HTML ou React, ensuite rendu par le navigateur, le comportement de l'interface restant déterminé par le code. Solaris avale entièrement cette couche de rendu : l'image affichée à l'écran est elle-même l'application.

61 % des votes de préférence

Runway a publié ses propres résultats de tests : sur des tâches de reconstruction d'interface, Solaris devance les modèles de pointe en similarité structurelle et en conservation de l'information ; une étude menée auprès de 250 utilisateurs montre par ailleurs que, sur la capacité à suivre des instructions, Solaris a été préféré par les participants dans 61 % des comparaisons.

Tous ces chiffres proviennent de Runway lui-même ; aucune évaluation indépendante d'un tiers n'existe pour l'instant. Le taux de 61 % n'est d'ailleurs pas non plus un écart écrasant : en gros, sur 10 comparaisons, environ 6 ont choisi Solaris et 4 le groupe témoin. Pour un prototype de recherche tout juste dévoilé, le résultat est correct, mais on est encore loin de pouvoir « remplacer les logiciels existants ».

720p, un plafond incontournable

Runway liste elle-même quatre limites : un rendu de texte instable, une cohérence qui se dégrade lors de longues sessions, une précision factuelle insuffisante pour un usage commercial, et une API d'accessibilité pas encore intégrée.

La première et la quatrième limite sont les plus problématiques. Un rendu de texte instable signifie que les interfaces denses en informations, comme les tableaux, les formulaires ou les éditeurs de code, ne sont pour l'instant pas viables — un chiffre mal dessiné passe inaperçu pour l'utilisateur. Sans API d'accessibilité intégrée, les lecteurs d'écran ne peuvent rien lire du tout, puisqu'il n'existe aucune structure DOM à analyser à l'écran, seulement des pixels.

Le plafond de résolution en 720p trace lui aussi une frontière nette. Les applications mobiles, les petits jeux et les interactions de démonstration s'en accommodent très bien ; en revanche, les logiciels de productivité de bureau ou les tableaux de bord de données deviennent flous en 720p dès que la taille de la police diminue.

Du modèle vidéo au système d'exploitation

Depuis deux ans, Runway déplace de plus en plus son centre de gravité vers les modèles de monde, avec une valorisation désormais proche de 5,3 milliards de dollars, et un discours d'entreprise passé d'« outil vidéo par IA » à « simulation du monde ». Solaris est le premier produit de cette trajectoire à viser directement le logiciel lui-même — les modèles vidéo simulent le monde physique, tandis que le modèle de monde d'interface simule la couche d'interaction homme-machine.

Solaris se trouve pour l'instant en phase d'accès anticipé : un formulaire de candidature est disponible sur le site officiel, et Runway indique vouloir d'abord avancer avec quelques partenaires clés avant une ouverture publique plus large. Pour les équipes qui voudraient suivre cette voie, l'obstacle réside dans les données d'interaction : pour que le modèle apprenne « ce qui se passe en cliquant ici », il faut une grande quantité de trajectoires réelles d'interactions avec des interfaces, et le cycle d'accumulation de ce type de données est bien plus long que celui de la vidéo.

Sources : page de recherche officielle de Runway, CocoLoop, AlphaSignal ; la latence d'interaction, le plafond de résolution et le taux de préférence de l'étude menée auprès de 250 utilisateurs ont été vérifiés poste par poste.