米哈遊崩壞 AI 研發團隊聯合清華大學、中國科學院大學、香港大學等機構,發表 GameScaling,這是一組直接輸出鍵盤滑鼠操作的遊戲智慧體模型。論文 10 月 20 日上架 arXiv,模型權重與推論用戶端已在 Hugging Face 和 GitHub 公開,授權為 Apache-2.0。
模型以阿里巴巴的 Qwen3.5 視覺語言模型為底座,在附有鍵鼠紀錄的遊戲影片上進行持續預訓練。給它看幾格畫面,它就會回傳接下來該按哪些鍵、滑鼠往哪移動。
動作如何編碼
每次呼叫,模型會輸出未來 200 毫秒的動作,拆成 6 個 33 毫秒的步驟,再加上這整段時間內的滑鼠位移與滾輪。滑鼠位移以千分比表示,限制在正負 1000 以內;滾輪限制在正負 5;每一步最多同時按 4 個鍵,訓練用到的按鍵詞表共 74 個。
模型可以先思考再行動,也可以直接輸出動作,透過預填 <think> 標籤來切換。專案建議用 vLLM 部署,每個請求最多帶 8 張圖,預設是 5 張歷史畫面加 1 張目前畫面。
規模分四檔:0.8B、2B、9B、27B。前三檔單張顯示卡就能跑,27B 的 bfloat16 權重約 54.7 GB,需要兩張卡做張量平行。每一檔又分 S1 與 S3 兩個版本,S1 只用 Minecraft 資料,S3 是均衡混合,Minecraft 占 27%,其餘來自其他遊戲,總共 8 個檢查點。
120 組配置測出的規律
論文的主體是縮放實驗。作者從資料量、多樣性與模型規模三個方向設計了 120 組訓練配置,資料預算從 50 小時到 1600 小時分 6 檔,資料混合方案有 5 種。
結論有好幾層。資料越多,在同一款遊戲裡的表現越好;多樣性能幫助模型遷移到相近的遊戲,換到差異很大的世界,提升就相當有限。只在單一遊戲上訓練時,模型變大能提高資料效率,但要泛化到遙遠的遊戲反而更困難。
訓練過程還分出兩個階段。早期是「介面階段」,模型學的是怎麼操作鍵鼠,這部分的收益可以跨遊戲通用;後期進入「世界階段」,收益收斂到同一款遊戲和相近的遊戲。作者據此擬合出驗證損失與三項變數之間的經驗縮放定律,並稱模型在 3D 世界裡能與 Minecraft 專用模型及前沿模型一較高下,即時場景下表現最好。
論文結尾也說得很直白:模仿學習有天花板,在遙遠世界上的差距仍然存在,想打造通用的具身智慧體,光靠持續預訓練並不夠。
中國大陸開發者能用到哪一步
這套模型對中國大陸團隊有幾處現成的便利。底座是 Qwen3.5,當地雲端與本地部署的工具鏈都很熟悉;在 Apache-2.0 授權下,權重與推論程式碼可以修改、整合。
限制也寫得很清楚。儲存庫裡沒有訓練程式碼,訓練語料不公開,遊戲畫面資料一律不釋出,遊戲著作權歸各發行商所有,授權不包含任何遊戲內容的使用權。專案聲明僅供研究、不從事商業活動;arXiv 上論文本身採用 CC BY-NC-SA 4.0,與模型的 Apache-2.0 是兩套授權,打算商用的團隊要分開看待。
落到具體場景,想做遊戲自動化測試、陪玩機器人或具身智慧體研究的團隊,可以直接拿 0.8B 或 2B 版本在單張顯示卡上試,看它在自家遊戲裡能走到哪一步。想在此基礎上用自己的資料繼續訓練,就得自己補齊訓練管線。
README 沒有列出完整的支援遊戲清單,範例中出現的只有 Minecraft 和 ViZDoom 的 Doom 關卡,至於在米哈遊自家遊戲裡表現如何,論文和儲存庫都沒有提到。
參考來源:arXiv 論文頁面、CocoLoop、GameScaling GitHub 儲存庫;以儲存庫 README 核對檢查點數量、權重大小與動作編碼格式。