L'équipe de recherche en IA de Honkai chez miHoYo, avec l'université Tsinghua, l'Université de l'Académie chinoise des sciences, l'Université de Hong Kong et d'autres établissements, a dévoilé GameScaling, un ensemble de modèles d'agents de jeu qui produisent directement des actions de clavier et de souris. L'article est paru sur arXiv le 20 octobre ; les poids du modèle et le client d'inférence sont publics sur Hugging Face et GitHub, sous licence Apache-2.0.
Le modèle repose sur le modèle vision-langage Qwen3.5 d'Alibaba, poursuivant son pré-entraînement sur des vidéos de jeu accompagnées d'enregistrements clavier-souris. Il suffit de lui montrer quelques images pour qu'il indique quelles touches presser ensuite et où déplacer la souris.
Comment les actions sont codées
À chaque appel, le modèle produit les actions des 200 prochaines millisecondes, découpées en 6 pas de 33 millisecondes, auxquelles s'ajoutent le déplacement de la souris et la molette pour l'ensemble de ce bloc de temps. Le déplacement de la souris est exprimé en millièmes, limité à plus ou moins 1000 ; la molette est limitée à plus ou moins 5. Chaque pas autorise au plus 4 touches simultanées, et le vocabulaire de touches utilisé à l'entraînement en compte 74.
Le modèle peut réfléchir avant d'agir ou émettre l'action directement, selon que la balise <think> est préremplie ou non. Le projet recommande un déploiement avec vLLM, avec jusqu'à 8 images par requête ; par défaut, 5 images d'historique plus 1 image courante.
Il existe quatre tailles : 0,8B, 2B, 9B et 27B. Les trois premières tournent sur une seule carte ; les poids bfloat16 du 27B pèsent environ 54,7 Go et nécessitent deux cartes en parallélisme de tenseurs. Chaque taille se décline en deux versions, S1 et S3 : S1 n'utilise que des données Minecraft, tandis que S3 est un mélange équilibré où Minecraft pèse 27 % et le reste vient d'autres jeux, pour un total de 8 checkpoints.
Ce que révèlent 120 configurations
L'essentiel de l'article tient dans des expériences de mise à l'échelle. Les auteurs ont conçu 120 configurations d'entraînement selon trois axes : volume de données, diversité et taille du modèle. Le budget de données est réparti en 6 paliers, de 50 à 1 600 heures, avec 5 schémas de mélange.
Les conclusions se lisent à plusieurs niveaux. Plus il y a de données, meilleures sont les performances sur un même jeu ; la diversité aide le modèle à se transférer vers des jeux proches, mais face à des mondes très différents, le gain reste limité. Lorsque l'entraînement porte sur un seul jeu, un modèle plus grand améliore l'efficacité des données, mais la généralisation vers des jeux éloignés devient plus difficile.
L'entraînement se découpe aussi en deux phases. D'abord une « phase d'interface », où le modèle apprend à manier clavier et souris, un gain valable d'un jeu à l'autre ; puis une « phase de monde », où le bénéfice se resserre sur le même jeu et les jeux proches. Sur cette base, les auteurs ont ajusté des lois d'échelle empiriques entre la perte de validation et les trois variables, et affirment que leurs modèles peuvent rivaliser en monde 3D avec les modèles spécialisés Minecraft et les modèles de pointe, avec les meilleurs résultats en temps réel.
La conclusion de l'article est tout aussi directe : l'apprentissage par imitation a un plafond, l'écart sur les mondes lointains demeure, et pour bâtir des agents incarnés généralistes, le pré-entraînement continu seul ne suffit pas.
Jusqu'où les développeurs en Chine peuvent aller
Cet ensemble de modèles offre plusieurs facilités immédiates aux équipes en Chine. La base est Qwen3.5, dont les outils de déploiement sur les clouds chinois comme en local sont bien connus ; sous licence Apache-2.0, les poids et le code d'inférence peuvent être modifiés et intégrés.
Les limites sont, elles aussi, clairement énoncées. Le dépôt ne contient pas de code d'entraînement, le corpus d'entraînement n'est pas public, les données d'images de jeu ne sont jamais publiées, les droits d'auteur des jeux appartiennent à leurs éditeurs respectifs et la licence n'accorde aucun droit d'utilisation sur le contenu des jeux. Le projet déclare un usage réservé à la recherche, sans activité commerciale ; l'article lui-même est sous CC BY-NC-SA 4.0 sur arXiv, une licence distincte de l'Apache-2.0 du modèle, et les équipes qui envisagent un usage commercial doivent examiner les deux séparément.
Concrètement, les équipes qui visent des tests de jeu automatisés, des bots compagnons ou la recherche sur les agents incarnés peuvent essayer directement la version 0,8B ou 2B sur une seule carte pour voir jusqu'où elle va dans leur propre jeu. Pour poursuivre l'entraînement avec leurs données, elles devront compléter elles-mêmes la chaîne d'entraînement.
Le README ne donne pas la liste complète des jeux pris en charge ; dans les exemples n'apparaissent que Minecraft et un niveau de Doom de ViZDoom. Quant à ses performances dans les jeux propres de miHoYo, ni l'article ni le dépôt n'en disent mot.
Sources : page de l'article sur arXiv, CocoLoop, dépôt GitHub de GameScaling ; le README du dépôt a servi à vérifier le nombre de checkpoints, la taille des poids et le format de codage des actions.