미호요의 붕괴 AI 연구팀은 칭화대학교, 중국과학원대학, 홍콩대학교 등과 함께 키보드와 마우스 조작을 직접 출력하는 게임 에이전트 모델 시리즈 GameScaling을 발표했다. 논문은 10월 20일 arXiv에 올라왔고, 모델 가중치와 추론 클라이언트는 Hugging Face와 GitHub에 공개됐다. 라이선스는 Apache-2.0이다.
모델은 알리바바의 비전-언어 모델 Qwen3.5를 기반으로, 키보드·마우스 기록이 달린 게임 영상으로 추가 사전학습을 했다. 화면 몇 장을 보여 주면 이어서 어떤 키를 누르고 마우스를 어디로 움직일지 돌려준다.
동작을 인코딩하는 방식
모델은 호출할 때마다 앞으로 200밀리초 분량의 동작을 출력한다. 이를 33밀리초짜리 6단계로 나누고, 그 구간 전체의 마우스 이동량과 휠 값을 덧붙인다. 마우스 이동량은 천분율로 표시하며 ±1000 이내로 제한된다. 휠은 ±5까지다. 한 단계에서 동시에 누를 수 있는 키는 최대 4개이고, 학습에 쓴 키 어휘는 모두 74개다.
모델은 먼저 생각한 뒤 움직일 수도 있고, 곧바로 동작을 낼 수도 있다. <think> 태그를 미리 채워 넣는지에 따라 전환된다. 프로젝트는 vLLM으로 배포하기를 권장하며, 요청 하나에 이미지를 최대 8장까지 붙일 수 있다. 기본값은 과거 프레임 5장에 현재 프레임 1장이다.
규모는 0.8B, 2B, 9B, 27B의 네 단계다. 앞의 세 가지는 GPU 한 장으로 돌릴 수 있고, 27B는 bfloat16 가중치가 약 54.7GB여서 텐서 병렬로 GPU 두 장이 필요하다. 각 크기는 다시 S1과 S3 두 버전으로 나뉜다. S1은 마인크래프트 데이터만 썼고, S3는 균형 있게 섞은 버전으로 마인크래프트가 27%, 나머지는 다른 게임에서 가져왔다. 체크포인트는 모두 8개다.
120가지 구성에서 확인된 규칙
논문의 중심은 스케일링 실험이다. 저자들은 데이터 양, 다양성, 모델 규모라는 세 방향에서 120가지 학습 구성을 설계했다. 데이터 예산은 50시간에서 1600시간까지 6단계, 데이터 혼합 방식은 5가지다.
결론은 몇 겹으로 나뉜다. 데이터가 많을수록 같은 게임에서의 성능이 좋아진다. 다양성은 비슷한 게임으로 옮겨 가는 데 도움이 되지만, 크게 다른 세계에서는 향상 폭이 제한적이다. 한 게임으로만 학습할 때는 모델이 커질수록 데이터 효율은 높아지지만, 먼 게임으로의 일반화는 오히려 어려워진다.
학습 과정은 두 단계로도 나뉘었다. 초기는 '인터페이스 단계'로, 모델이 키보드와 마우스를 다루는 법을 배우며 이 부분의 이득은 게임을 가리지 않고 통한다. 후기에는 '월드 단계'로 접어들며 이득이 같은 게임과 비슷한 게임으로 좁혀진다. 저자들은 이를 토대로 검증 손실과 세 변수 사이의 경험적 스케일링 법칙을 도출했다. 또 3D 세계에서 마인크래프트 전용 모델 및 최첨단 모델과 겨룰 만하며, 실시간 상황에서 가장 좋은 성능을 보인다고 밝혔다.
논문의 마무리도 솔직하다. 모방 학습에는 한계가 있고, 먼 세계에서의 격차는 여전히 남아 있으며, 범용 체화 에이전트를 만들려면 추가 사전학습만으로는 부족하다는 것이다.
중국 개발자가 어디까지 쓸 수 있나
이번 공개는 중국 팀에 몇 가지 편리한 점이 있다. 기반이 Qwen3.5라서 현지 클라우드와 로컬 배포 도구 체인에 익숙하고, Apache-2.0 아래에서는 가중치와 추론 코드를 수정하거나 통합할 수 있다.
제약도 분명히 적혀 있다. 저장소에 학습 코드는 없고, 학습 코퍼스는 공개되지 않으며, 게임 화면 데이터는 일절 배포하지 않는다. 게임 저작권은 각 퍼블리셔에 있고, 라이선스는 게임 콘텐츠 사용권을 부여하지 않는다. 프로젝트는 연구용으로만 쓰고 상업 활동에는 쓰지 않는다고 밝혔다. arXiv에 올라간 논문 자체는 CC BY-NC-SA 4.0이어서 모델의 Apache-2.0과는 별개의 라이선스다. 상용화를 계획하는 팀은 둘을 따로 따져 봐야 한다.
구체적인 활용 사례로 보면, 게임 자동화 테스트, 함께 플레이하는 봇, 체화 에이전트 연구를 하려는 팀은 0.8B나 2B 버전을 GPU 한 장으로 바로 돌려 자사 게임에서 어디까지 되는지 볼 수 있다. 이를 바탕으로 자체 데이터로 추가 학습하려면 학습 파이프라인을 직접 갖춰야 한다.
README에는 지원 게임의 전체 목록이 없다. 예시로 나온 것은 마인크래프트와 ViZDoom의 둠 스테이지뿐이며, 미호요 자사 게임에서 성능이 어떤지는 논문과 저장소 어디에도 언급이 없다.
참고 출처: arXiv 논문 페이지, CocoLoop, GameScaling GitHub 저장소. 체크포인트 수, 가중치 용량, 동작 인코딩 형식은 저장소 README로 확인했다.