Das Honkai-KI-Entwicklungsteam von miHoYo hat gemeinsam mit der Tsinghua-Universität, der Universität der Chinesischen Akademie der Wissenschaften und der Universität Hongkong sowie weiteren Einrichtungen GameScaling vorgestellt, eine Reihe von Spielagenten-Modellen, die direkt Tastatur- und Mausbefehle ausgeben. Die Veröffentlichung erschien am 20. Oktober auf arXiv; Modellgewichte und Inferenz-Client sind auf Hugging Face und GitHub öffentlich zugänglich, die Lizenz ist Apache-2.0.
Als Basis dient das Bild-Sprach-Modell Qwen3.5 von Alibaba, das auf Spielvideos mit aufgezeichneten Tastatur- und Mausdaten weiter vortrainiert wurde. Zeigt man dem Modell einige Frames, gibt es zurück, welche Tasten als Nächstes zu drücken sind und wohin die Maus bewegt werden soll.
Wie die Aktionen kodiert werden
Bei jedem Aufruf gibt das Modell die Aktionen der nächsten 200 Millisekunden aus, aufgeteilt in sechs Schritte von je 33 Millisekunden, dazu Mausbewegung und Mausrad für den gesamten Zeitblock. Die Mausbewegung wird in Promille angegeben und ist auf plus/minus 1000 begrenzt; das Mausrad auf plus/minus 5. Pro Schritt können höchstens vier Tasten gleichzeitig gedrückt werden, das im Training verwendete Tastenvokabular umfasst 74 Tasten.
Das Modell kann erst nachdenken und dann handeln oder direkt eine Aktion ausgeben; umgeschaltet wird über ein vorbefülltes <think>-Tag. Das Projekt empfiehlt den Betrieb mit vLLM, wobei jede Anfrage bis zu acht Bilder enthalten darf; standardmäßig sind es fünf Verlaufs-Frames plus ein aktuelles Frame.
Die Größen gibt es in vier Stufen: 0,8B, 2B, 9B und 27B. Die ersten drei laufen auf einer einzelnen Grafikkarte; die bfloat16-Gewichte des 27B-Modells wiegen rund 54,7 GB und benötigen zwei Karten mit Tensor-Parallelität. Jede Stufe gibt es in zwei Versionen, S1 und S3: S1 nutzt ausschließlich Minecraft-Daten, S3 ist eine ausgewogene Mischung, in der Minecraft 27 Prozent ausmacht und der Rest aus anderen Spielen stammt. Insgesamt sind es acht Checkpoints.
Was 120 Konfigurationen zeigen
Den Kern der Arbeit bilden Skalierungsexperimente. Die Autoren entwarfen 120 Trainingskonfigurationen entlang dreier Achsen: Datenmenge, Vielfalt und Modellgröße. Das Datenbudget reicht in sechs Stufen von 50 bis 1.600 Stunden, hinzu kommen fünf Datenmischungen.
Die Ergebnisse haben mehrere Ebenen. Je mehr Daten, desto besser die Leistung im selben Spiel; Vielfalt hilft dem Modell beim Transfer auf ähnliche Spiele, doch bei stark abweichenden Welten fällt der Gewinn gering aus. Wird nur auf einem einzelnen Spiel trainiert, steigert ein größeres Modell zwar die Dateneffizienz, die Generalisierung auf weit entfernte Spiele fällt aber schwerer.
Das Training gliedert sich zudem in zwei Phasen. Früh folgt eine „Interface-Phase“, in der das Modell lernt, Tastatur und Maus zu bedienen; dieser Gewinn lässt sich spielübergreifend nutzen. Später kommt die „Weltphase“, in der sich der Nutzen auf dasselbe und ähnliche Spiele verengt. Auf dieser Grundlage passten die Autoren empirische Skalierungsgesetze zwischen Validierungsverlust und den drei Variablen an und geben an, ihre Modelle könnten in 3D-Welten mit Minecraft-Spezialmodellen und Frontier-Modellen mithalten, mit den besten Ergebnissen in Echtzeitszenarien.
Das Fazit der Arbeit fällt nüchtern aus: Imitationslernen hat eine Obergrenze, bei weit entfernten Welten bleibt eine Lücke, und für allgemeine verkörperte Agenten reicht fortgesetztes Vortraining allein nicht aus.
Was Entwickler in China damit anfangen können
Für Teams in China bringt die Modellreihe einige fertige Vorteile. Die Basis ist Qwen3.5, dessen Werkzeugketten in chinesischen Clouds und bei lokalem Betrieb vertraut sind; unter Apache-2.0 dürfen Gewichte und Inferenzcode angepasst und integriert werden.
Die Einschränkungen sind ebenso klar benannt. Im Repository gibt es keinen Trainingscode, das Trainingskorpus ist nicht öffentlich, Spielbilddaten werden grundsätzlich nicht veröffentlicht, die Urheberrechte an den Spielen liegen bei den jeweiligen Publishern, und die Lizenz gewährt keinerlei Nutzungsrechte an Spielinhalten. Das Projekt erklärt, es sei nur für die Forschung gedacht und nicht für kommerzielle Zwecke; die Veröffentlichung auf arXiv selbst steht unter CC BY-NC-SA 4.0, also einer anderen Lizenz als das Modell mit Apache-2.0. Teams mit kommerziellen Absichten müssen beides getrennt betrachten.
Konkret können Teams, die automatisierte Spieltests, Begleit-Bots oder Forschung zu verkörperten Agenten planen, direkt mit der 0,8B- oder 2B-Version auf einer Karte testen, wie weit das Modell in ihrem eigenen Spiel kommt. Wer darauf aufbauend mit eigenen Daten weitertrainieren will, muss die Trainingspipeline selbst ergänzen.
Die README nennt keine vollständige Liste unterstützter Spiele; in den Beispielen tauchen nur Minecraft und ein Doom-Level aus ViZDoom auf. Wie sich das Modell in miHoYos eigenen Spielen schlägt, erwähnen weder die Veröffentlichung noch das Repository.
Quellen: arXiv-Seite der Veröffentlichung, CocoLoop, GameScaling-GitHub-Repository; die README des Repositorys diente zur Prüfung von Checkpoint-Anzahl, Gewichtsgröße und Aktionskodierung.