Pelatihan robot mendapat jalur yang lebih murah. Tim Galbot, Peking University, Institute of Automation CAS, dan Tsinghua memasukkan video first-person manusia biasa ke memori sementara, sehingga robot memahami pekerjaan di lokasi lalu memakai kemampuan gerak yang sudah dimiliki.
Kerangka ini disebut WAM-TTT, World-Action Model Test-Time Training. Targetnya adalah masalah deployment: robot yang bisa memindahkan gelas di ruang latihan harus tetap bekerja di rumah pengguna ketika cahaya dan susunan meja berubah.
Menonton video bukan meniru tangan manusia
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
Saat deployment hanya diperlukan video manusia tanpa label untuk menyesuaikan memori. Model world-action yang sudah dilatih tetap dibekukan. Ini berbeda dari pipeline yang mengestimasi pose tangan, melakukan retargeting gerak, atau meminta manusia mengoperasikan robot lagi.
Sembilan tugas, tiga bentuk robot
Robot yang dipakai adalah humanoid Unitree G1, gripper dua jari Galbot, dan tangan dexterous Galbot. Ada 9 tugas, termasuk menuang air, mengantar minuman, membersihkan meja, membalik steak, dan menyusun piramida. Tiap kombinasi diuji 25 kali.
- Di lingkungan rumah baru, WAM-TTT mencapai rata-rata progres 46,2%.
- Backbone WAM beku dengan LDA mencapai 32,5%.
- WAM-ICL yang memakai video manusia sebagai konteks hanya 7,1%.
- Reproduksi EgoScale mencapai 15,0%.
Table Bussing mencapai 100,0% dan Swap Place 66,7%, tetapi Stamp Paper hanya 8,3%, di bawah LDA yang 33,3%.
Penghematan datang dari lebih sedikit trajektori robot
AI embodied mahal karena data mahal. Dalam ablation, 100 video manusia dan 100 trajektori robot menghasilkan rata-rata keberhasilan 74,1%, sedangkan pipeline estimasi pose tangan dan retargeting gerak hanya mencapai 28,9% completion pada 4 tugas.
Metrik berikutnya yang penting adalah penurunan performa lintas skenario. Pada uji Deliver Drink, WAM-TTT mencapai 66,0% saat cahaya berubah dan 56,0% saat posisi berubah; WAM-ICL hanya 12,0% dan 20,0%.
Sumber: QbitAI; arXiv:2607.06988 digunakan untuk memverifikasi struktur model, tugas, metrik, dan batasan; CocoLoop, Hugging Face Papers digunakan untuk memverifikasi entri paper dan status indeks publik.