Tim riset AI Honkai milik miHoYo, bersama Universitas Tsinghua, Universitas Akademi Ilmu Pengetahuan Tiongkok, Universitas Hong Kong, dan sejumlah institusi lain, merilis GameScaling, sekumpulan model agen gim yang langsung menghasilkan aksi keyboard dan mouse. Makalahnya terbit di arXiv pada 20 Oktober, sementara bobot model dan klien inferensinya sudah dibuka di Hugging Face dan GitHub dengan lisensi Apache-2.0.
Model ini dibangun di atas model visi-bahasa Qwen3.5 milik Alibaba, lalu dilatih lanjutan (continued pretraining) dengan video gim yang dilengkapi catatan keyboard dan mouse. Diberi beberapa bingkai layar, model mengembalikan tombol apa yang harus ditekan berikutnya dan ke mana mouse digerakkan.
Cara aksi di-encode
Pada setiap panggilan, model mengeluarkan aksi untuk 200 milidetik ke depan, dipecah menjadi 6 langkah berdurasi 33 milidetik, ditambah perpindahan mouse dan roda gulir untuk seluruh blok waktu itu. Perpindahan mouse dinyatakan dalam per seribu dan dibatasi dalam kisaran plus minus 1.000; roda gulir dibatasi plus minus 5. Setiap langkah bisa menekan paling banyak 4 tombol sekaligus, dan kosakata tombol yang dipakai dalam pelatihan berjumlah 74.
Model bisa berpikir dulu baru bertindak, atau langsung mengeluarkan aksi, dengan beralih lewat pengisian awal tag <think>. Proyek ini menyarankan penerapan dengan vLLM, dengan maksimal 8 gambar per permintaan; pengaturan bawaannya adalah 5 bingkai riwayat ditambah 1 bingkai saat ini.
Ukurannya terbagi dalam empat tingkat: 0,8B, 2B, 9B, dan 27B. Tiga yang pertama bisa berjalan di satu GPU, sedangkan bobot bfloat16 untuk 27B sekitar 54,7 GB dan membutuhkan dua GPU dengan tensor parallelism. Setiap tingkat punya dua versi, S1 dan S3. S1 hanya memakai data Minecraft, sedangkan S3 adalah campuran seimbang dengan Minecraft sebesar 27% dan sisanya dari gim lain, sehingga totalnya ada 8 checkpoint.
Pola dari 120 konfigurasi
Inti makalah ini adalah eksperimen penskalaan. Para penulis merancang 120 konfigurasi pelatihan dari tiga arah: volume data, keragaman, dan ukuran model. Anggaran data terbagi dalam 6 tingkat dari 50 hingga 1.600 jam, dengan 5 skema pencampuran data.
Kesimpulannya berlapis. Semakin banyak data, semakin baik performa dalam gim yang sama. Keragaman membantu model bertransfer ke gim yang mirip, tetapi ketika berpindah ke dunia yang sangat berbeda, peningkatannya terbatas. Saat dilatih pada satu gim saja, model yang lebih besar meningkatkan efisiensi data, tetapi justru lebih sulit digeneralisasi ke gim yang jauh.
Proses pelatihan juga terbagi menjadi dua tahap. Tahap awal adalah "tahap antarmuka", saat model mempelajari cara mengoperasikan keyboard dan mouse, dan manfaat bagian ini berlaku lintas gim. Tahap akhir masuk ke "tahap dunia", saat manfaatnya menyempit pada gim yang sama dan gim yang mirip. Berdasarkan itu, para penulis menyusun hukum penskalaan empiris antara loss validasi dan ketiga variabel tersebut. Mereka juga menyatakan bahwa di dunia 3D, model ini mampu bersaing dengan model khusus Minecraft dan model frontier, dengan hasil terbaik pada skenario waktu nyata.
Penutup makalah pun terus terang: pembelajaran imitasi punya batas atas, kesenjangan pada dunia yang jauh masih ada, dan untuk membangun agen embodied serbaguna, pelatihan lanjutan saja tidak cukup.
Seberapa jauh bisa dipakai pengembang di Tiongkok
Perangkat ini memberi beberapa kemudahan siap pakai bagi tim di Tiongkok. Fondasinya adalah Qwen3.5, yang rantai alatnya sudah akrab di cloud domestik maupun penerapan lokal; di bawah lisensi Apache-2.0, bobot dan kode inferensi boleh dimodifikasi dan diintegrasikan.
Batasannya juga dituliskan dengan jelas. Repositori tidak memuat kode pelatihan, korpus pelatihan tidak dipublikasikan, dan data tampilan layar gim tidak dirilis sama sekali. Hak cipta gim dimiliki masing-masing penerbit, dan lisensi tidak memberikan hak atas konten gim apa pun. Proyek menyatakan hanya untuk riset dan bukan untuk kegiatan komersial; makalah di arXiv sendiri berlisensi CC BY-NC-SA 4.0, yang merupakan lisensi terpisah dari Apache-2.0 milik model, sehingga tim yang berencana memakainya secara komersial perlu menelaah keduanya secara terpisah.
Untuk skenario konkret, tim yang ingin membuat pengujian otomatis gim, bot pendamping bermain, atau riset agen embodied bisa langsung mencoba versi 0,8B atau 2B di satu GPU untuk melihat sejauh apa model ini bisa berjalan di gim mereka sendiri. Jika ingin melatih lanjutan dengan data sendiri, tim harus melengkapi sendiri jalur pelatihannya.
README tidak mencantumkan daftar lengkap gim yang didukung; contoh yang muncul hanya Minecraft dan level Doom dari ViZDoom. Bagaimana performanya di gim milik miHoYo sendiri tidak disebutkan, baik di makalah maupun di repositori.
Sumber: halaman makalah arXiv, CocoLoop, repositori GitHub GameScaling; jumlah checkpoint, ukuran bobot, dan format encoding aksi diverifikasi lewat README repositori.