米哈游开源 GameScaling 键鼠操作模型

米哈游崩坏 AI 研发团队联合清华大学、中国科学院大学、香港大学等机构发布 GameScaling,一组直接输出键盘鼠标操作的游戏智能体模型。论文 10 月 20 日挂上 arXiv,模型权重和推理客户端已在 Hugging Face 与 GitHub 上公开,许可证为 Apache-2.0。

模型以阿里的 Qwen3.5 视觉语言模型为底座,在带键鼠记录的游戏视频上做继续预训练。给它看几帧画面,它返回随后该按哪些键、鼠标往哪移。

动作怎么编码

每次调用,模型输出未来 200 毫秒的动作,拆成 6 个 33 毫秒的步,外加这一整块时间里的鼠标位移和滚轮。鼠标位移用千分比表示,限制在正负 1000 以内;滚轮限制在正负 5;每一步最多同时按 4 个键,训练用到的按键词表共 74 个。

模型可以先想再动,也可以直接出动作,靠预填充 <think> 标签切换。项目推荐用 vLLM 部署,每个请求最多带 8 张图,默认是 5 张历史帧加 1 张当前帧。

规模分四档:0.8B、2B、9B、27B。前三档单卡能跑,27B 的 bfloat16 权重约 54.7 GB,需要两张卡做张量并行。每档又分 S1 和 S3 两个版本,S1 只用 Minecraft 数据,S3 是均衡混合,Minecraft 占 27%,其余来自别的游戏,总共 8 个检查点。

120 组配置测出的规律

论文的主体是缩放实验。作者从数据量、多样性和模型规模三个方向设计了 120 组训练配置,数据预算从 50 小时到 1600 小时分 6 档,数据混合方案 5 种。

结论有几层。数据越多,同一个游戏里的表现越好;多样性能帮模型迁移到相近的游戏,换到差异很大的世界,提升就很有限。只在单一游戏上训练时,模型变大能提高数据效率,泛化到远处的游戏反而更难。

训练过程还分出两个阶段。早期是”界面阶段”,模型学的是怎么操作键鼠,这部分收益能跨游戏通用;后期进入”世界阶段”,收益收窄到同一游戏和相近游戏。作者据此拟合了验证损失与三项变量之间的经验缩放定律,并称模型在 3D 世界里能和 Minecraft 专用模型及前沿模型掰手腕,实时场景下表现最好。

论文结尾说得也直白:模仿学习有天花板,远距离世界上的差距还在,想做通用具身智能体,光靠继续预训练不够。

对国内开发者能用到哪一步

这套模型对国内团队有几处现成的便利。底座是 Qwen3.5,国内云和本地部署的工具链都熟;Apache-2.0 许可下,权重和推理代码可以拿去改、拿去集成。

限制也写得清楚。仓库里没有训练代码,训练语料不公开,游戏画面数据一律不发布,游戏版权归各自发行商,许可证不授予任何游戏内容的使用权。项目声明仅用于科研、不做商业活动;arXiv 上论文本身挂的是 CC BY-NC-SA 4.0,和模型的 Apache-2.0 是两套许可,打算商用的团队要分开看。

落到具体场景上,想做游戏自动化测试、陪玩机器人或具身智能研究的团队,可以直接拿 0.8B 或 2B 版本在单卡上试,看它在自家游戏里能走到哪一步。想在此基础上用自己的数据继续训,就得自己补齐训练管线。

README 没有列出完整的支持游戏清单,示例里出现的只有 Minecraft 和 ViZDoom 的 Doom 关卡,它在米哈游自家游戏里表现如何,论文和仓库都没有提。

参考来源:arXiv 论文页、CocoLoop、GameScaling GitHub 仓库;仓库 README 核验检查点数量、权重体积与动作编码格式。