El equipo de investigación de IA de Honkai de miHoYo, junto con la Universidad de Tsinghua, la Universidad de la Academia China de Ciencias, la Universidad de Hong Kong y otras instituciones, ha presentado GameScaling, un conjunto de modelos de agentes de juego que generan directamente acciones de teclado y ratón. El artículo se publicó en arXiv el 20 de octubre; los pesos del modelo y el cliente de inferencia ya son públicos en Hugging Face y GitHub, con licencia Apache-2.0.
El modelo se apoya en Qwen3.5, el modelo de visión y lenguaje de Alibaba, con preentrenamiento continuado sobre vídeos de juegos que incluyen registros de teclado y ratón. Si se le muestran unos cuantos fotogramas, responde qué teclas pulsar a continuación y hacia dónde mover el ratón.
Cómo se codifican las acciones
En cada llamada, el modelo produce las acciones de los próximos 200 milisegundos, divididas en 6 pasos de 33 milisegundos, más el desplazamiento del ratón y la rueda para todo ese bloque de tiempo. El desplazamiento del ratón se expresa en milésimas y está limitado a más o menos 1000; la rueda, a más o menos 5. Cada paso admite como máximo 4 teclas a la vez, y el vocabulario de teclas usado en el entrenamiento es de 74.
El modelo puede pensar antes de actuar o emitir la acción directamente, según se rellene o no de antemano la etiqueta <think>. El proyecto recomienda desplegarlo con vLLM, con hasta 8 imágenes por solicitud; por defecto son 5 fotogramas de historial más 1 fotograma actual.
Hay cuatro tamaños: 0,8B, 2B, 9B y 27B. Los tres primeros funcionan con una sola tarjeta; los pesos en bfloat16 del 27B ocupan unos 54,7 GB y requieren dos tarjetas con paralelismo de tensores. Cada tamaño tiene además dos versiones, S1 y S3: la S1 usa solo datos de Minecraft, mientras que la S3 es una mezcla equilibrada, con un 27 % de Minecraft y el resto procedente de otros juegos, hasta sumar 8 checkpoints.
Lo que muestran 120 configuraciones
El grueso del artículo son los experimentos de escalado. Los autores diseñaron 120 configuraciones de entrenamiento en tres ejes: cantidad de datos, diversidad y tamaño del modelo. El presupuesto de datos se dividió en 6 niveles, de 50 a 1.600 horas, con 5 esquemas de mezcla de datos.
Las conclusiones tienen varias capas. Cuantos más datos, mejor rendimiento en el mismo juego; la diversidad ayuda al modelo a transferirse a juegos parecidos, pero al pasar a mundos muy distintos la mejora es limitada. Cuando se entrena con un único juego, un modelo mayor aumenta la eficiencia de los datos, pero generalizar a juegos lejanos resulta más difícil.
El entrenamiento también se divide en dos fases. Al principio llega la "fase de interfaz", en la que el modelo aprende a manejar teclado y ratón, y esa ganancia es válida entre juegos; después, la "fase de mundo", en la que el beneficio se reduce al mismo juego y a los cercanos. A partir de ello, los autores ajustaron leyes de escalado empíricas entre la pérdida de validación y las tres variables, y afirman que en mundos 3D sus modelos pueden competir con los modelos específicos de Minecraft y con los modelos de frontera, con el mejor rendimiento en escenarios en tiempo real.
La conclusión del artículo también es franca: el aprendizaje por imitación tiene un techo, la brecha en mundos lejanos sigue ahí y, para construir agentes corpóreos de propósito general, el preentrenamiento continuado por sí solo no basta.
Hasta dónde pueden llegar los desarrolladores en China
Este conjunto de modelos ofrece varias facilidades ya hechas para los equipos en China. La base es Qwen3.5, cuyas herramientas de despliegue en nubes locales y en entornos propios resultan familiares; con la licencia Apache-2.0, los pesos y el código de inferencia pueden modificarse e integrarse.
Las limitaciones también están claras. El repositorio no incluye código de entrenamiento, el corpus de entrenamiento no es público, los datos de imágenes de los juegos no se publican, los derechos de autor de los juegos pertenecen a cada editor y la licencia no concede derecho de uso sobre ningún contenido de juego. El proyecto declara que es solo para investigación y no para actividad comercial; el propio artículo en arXiv usa la licencia CC BY-NC-SA 4.0, distinta de la Apache-2.0 del modelo, y los equipos que piensen en uso comercial deben examinarlas por separado.
En escenarios concretos, los equipos que quieran hacer pruebas automatizadas de juegos, bots acompañantes o investigación en agentes corpóreos pueden probar directamente la versión de 0,8B o 2B en una sola tarjeta y ver hasta dónde llega en su propio juego. Si quieren seguir entrenando con datos propios sobre esta base, tendrán que completar por su cuenta el flujo de entrenamiento.
El README no incluye una lista completa de juegos compatibles; en los ejemplos solo aparecen Minecraft y un nivel de Doom de ViZDoom. Cómo rinde en los juegos propios de miHoYo, ni el artículo ni el repositorio lo mencionan.
Fuentes: página del artículo en arXiv, CocoLoop, repositorio de GameScaling en GitHub; el README del repositorio se usó para comprobar el número de checkpoints, el tamaño de los pesos y el formato de codificación de acciones.