Skywork AI, eine Tochter von Kunlun Tech (Kunlun Wanwei), hat am 15. Oktober Matrix-Game 4.0 als Open Source veröffentlicht. Die neue Version geht anders vor als ihre Vorgänger: Die Spiel-Engine verwaltet Weltzustand, Physikregeln und Spielereingaben, das Videomodell „malt“ lediglich die von der Engine ausgegebenen Low-Poly-Bilder zu detailreichen Bildern aus.
Als offizielle Kennzahl nennt das Projekt 480p bei 60 Bildern pro Sekunde auf einer einzelnen RTX 5090, mit einer Latenz von der Spielereingabe bis zur Bildreaktion von unter 150 Millisekunden. Das Projekt bezeichnet den Ansatz als Streaming Neural Rendering für spielbare Games.
Die Engine liefert die Logik, das Modell das Bild
Laut der Beschreibung auf GitHub ist das Videomodell der Version 4.0 ein kausales Generierungsmodell mit wenigen Sampling-Schritten. Eingabe sind von der Engine gerenderte RGB-Frames in Low-Poly-Optik plus ein Textprompt, Ausgabe sind Bild für Bild konsistente, detailreiche Frames. Logik wie Spielregeln, Kollisionen und Punktestand bleibt in der Engine.
Hinzu kommt ein Coding-Agent: Spieler formulieren Änderungen in natürlicher Sprache, etwa eine andere Spielregel, und der Agent übersetzt sie in neue Spielregeln und Rendering-Prompts. So lassen sich Bildstil und Spielmechanik gemeinsam ändern.
Zum Lieferumfang der Veröffentlichung gehören:
- Modellgewichte, Inferenzkonfiguration und Inferenzcode (Inferenz auf einer einzelnen Grafikkarte)
- Browser-Demo und Spiel-Quellcode
- Assets für drei Szenarien: zwei Third-Person-Shooter (mittelalterliche Burg und Alt-Ägypten) sowie ein Stadtrennen
Als Lizenz nennt die README Apache-2.0; Komponenten und Assets von Drittanbietern behalten ihre jeweiligen Lizenzen. Die Parameterzahl des Modells wurde nicht veröffentlicht.
Der Weg über vier Versionen
Betrachtet man die Matrix-Game-Versionen nacheinander, wird der Kurswechsel deutlich.
Version 1.0 vom Mai 2025 hatte mehr als 17 Milliarden Parameter und zielte vor allem auf Minecraft-artige Szenen; das Modell erzeugte aus den Eingaben direkt das nächste Videostück, und die Welt selbst wurde vom Modell „imaginiert“. Version 2.0 vom August 2025 setzte den Schwerpunkt auf niedrige Latenz und lange interaktive Sequenzen und generierte fortlaufend mit etwa 25 Bildern pro Sekunde. Version 3.0 vom 27. März dieses Jahres brachte ein Langzeitgedächtnis mit, setzte auf hohe Auflösung und Echtzeitinteraktion und tritt gegen Googles Genie 3 an.
In den ersten drei Versionen musste das Modell Welt und Bild zugleich tragen, und die Konsistenz blieb ein wunder Punkt: Wer weit läuft und zurückkehrt, findet eine Szene vor, die nicht mehr passt. Version 4.0 gibt die Welt an die Engine zurück, das Modell rendert nur noch, die Konsistenz sichert die Engine ab, und die Bildrate steigt von rund 25 Bildern bei 2.0 auf 60. Der Preis: Die Grenzen des Spielbaren liegen wieder dort, was die Engine ausdrücken kann. Spieler können nicht aus dem Nichts ein Objekt oder eine Regel „generieren“, die es in der Engine nicht gibt, sondern nur über den Coding-Agenten Änderungen vornehmen.
Der Ansatz ähnelt im Grundgedanken dem neuronalen Rendering wie NVIDIAs DLSS: Die klassische Pipeline liefert ein grobes Ergebnis, ein Netz ergänzt die Details. Der Unterschied liegt im Ausmaß – bei Matrix-Game 4.0 ist die Ergänzung deutlich größer, die Low-Poly-Eingabe liefert kaum mehr als Bildaufbau und Bewegung.
Für Entwickler in China, die das nachbauen wollen, gibt es zudem eine Hardwarehürde. Wegen der Exportkontrollen wird über offizielle Kanäle im Land die Sonderversion RTX 5090D verkauft, während das Projekt seine Testwerte für die RTX 5090 angibt. Wie viele Bilder pro Sekunde mit der D-Version oder der Vorgängergeneration 4090 erreicht werden und ob die Latenz dort über 150 Millisekunden steigt, dazu nennt die README keine Daten. Für kleine Teams, die einen Prototyp bauen wollen, ist es verlässlicher, die offizielle Demo auf der eigenen Karte laufen zu lassen, als sich auf Werbekennzahlen zu verlassen.
Als weitere Richtungen nennt das Projekt drei Punkte: höhere Auflösung, Unterstützung weiterer Spielgenres und die Frage, wie das Bild aller Spieler in Mehrspielerszenarien konsistent bleibt. 480p ist von der Bildqualität gängiger Spiele noch ein Stück entfernt, und unabhängige Messwerte auf anderen Grafikkarten gibt es bisher nicht.
Quellen: SkyworkAI-Projektseite auf GitHub, TechNode, CocoLoop, Pandaily; Auflösung, Bildrate und Latenz beziehen sich auf die von Kunlun Tech veröffentlichten Testbedingungen mit einer einzelnen RTX 5090, die Lizenz auf die README des Projekts.