Skywork AI, filiale de Kunlun Tech (Kunlun Wanwei), a publié le 15 octobre Matrix-Game 4.0 en open source. Cette version change de méthode : le moteur de jeu gère l’état du monde, les règles physiques et les commandes du joueur, tandis que le modèle vidéo se contente de « peindre » en images détaillées les visuels low-poly produits par le moteur.
L’indicateur annoncé officiellement est de 480p à 60 images par seconde sur une seule RTX 5090, avec une latence inférieure à 150 millisecondes entre l’action du joueur et la réponse de l’image. Le projet présente cette approche comme du rendu neuronal en flux (streaming neural rendering) pour des jeux jouables.
Le moteur pour la logique, le modèle pour l’image
D’après la description sur GitHub, le modèle vidéo de la version 4.0 est un modèle génératif causal à petit nombre d’étapes. En entrée, des images RGB low-poly rendues par le moteur et un prompt textuel ; en sortie, des images continues, une à une, très détaillées. La logique, comme les règles du jeu, les collisions et le score, reste dans le moteur.
Un agent de programmation s’y ajoute : le joueur demande des modifications en langage naturel, par exemple une autre règle de jeu, et l’agent les traduit en nouvelles règles de jeu et en prompts de rendu, de sorte que le style visuel et le gameplay peuvent évoluer ensemble.
Cette publication comprend :
- Les poids du modèle, la configuration et le code d’inférence (inférence sur une seule carte)
- Une démo dans le navigateur et le code source du jeu
- Les ressources de trois scénarios : deux jeux de tir à la troisième personne (château médiéval et Égypte antique) et un jeu de course urbaine
La licence indiquée dans le README est Apache-2.0 ; les composants et ressources tiers conservent leurs propres licences. Le nombre de paramètres du modèle n’a pas été communiqué.
Le chemin parcouru en quatre versions
Quand on met bout à bout les versions de Matrix-Game, le changement de cap est net.
La 1.0, de mai 2025, comptait plus de 17 milliards de paramètres et visait surtout des scènes de type Minecraft ; le modèle générait directement le segment vidéo suivant à partir des actions, et le monde lui-même était « imaginé » par le modèle. La 2.0, d’août 2025, mettait l’accent sur la faible latence et l’interaction sur de longues séquences, avec une génération continue à environ 25 images par seconde. La 3.0, du 27 mars de cette année, a ajouté une mémoire à long terme, misant sur la haute résolution et l’interaction en temps réel, avec Genie 3 de Google comme point de comparaison.
Dans les trois premières versions, le modèle portait à la fois le monde et l’image, et la cohérence est restée le point difficile : en s’éloignant puis en revenant, la scène pouvait ne plus correspondre. La 4.0 rend le monde au moteur, le modèle ne fait plus que le rendu, la cohérence est garantie par le moteur, et la cadence passe d’environ 25 images pour la 2.0 à 60. En contrepartie, les limites du contenu jouable reviennent à ce que le moteur peut exprimer : le joueur ne peut pas « générer » à partir de rien un objet ou une règle absents du moteur, il ne peut les modifier que par l’intermédiaire de l’agent de programmation.
Cette approche ressemble dans l’esprit au rendu neuronal du type DLSS de NVIDIA : le pipeline traditionnel produit un résultat peu précis, puis un réseau ajoute les détails. La différence tient à l’ampleur : avec Matrix-Game 4.0, ce que le réseau complète est bien plus considérable, l’entrée low-poly ne fournissant presque que la composition et le mouvement.
Pour les développeurs chinois qui voudraient reproduire le résultat, il reste un obstacle matériel. En raison des contrôles à l’exportation, les circuits officiels du pays vendent la version dédiée RTX 5090D, alors que la configuration de test publiée par le projet est la RTX 5090. Le README ne donne aucune donnée sur la cadence atteinte avec la version D ou avec la génération précédente, la 4090, ni sur le dépassement éventuel des 150 millisecondes. Pour les petites équipes qui veulent prototyper, lancer la démo officielle sur leur propre carte est plus fiable que de se fier aux chiffres promotionnels.
Le projet liste trois pistes pour la suite : augmenter la résolution, prendre en charge davantage de genres de jeu et explorer comment garder cohérente l’image vue par chaque joueur dans des scènes multijoueurs. Le 480p reste loin de la qualité visuelle des jeux grand public, et aucune mesure indépendante sur d’autres cartes graphiques n’est disponible pour l’instant.
Sources : page du projet SkyworkAI sur GitHub, TechNode, CocoLoop, Pandaily ; la résolution, la cadence et la latence suivent le protocole de test sur une seule RTX 5090 publié par Kunlun Tech, et la licence suit le README du projet.