Tim riset pembelajaran mesin Apple menerbitkan makalah berjudul Perceptive Humanoid Motion from Simulation di arXiv pada 4 November. Makalah itu memaparkan HALO, sistem kendali otonom untuk robot humanoid, yang diuji langsung pada Unitree G1 (Yushu). Kedelapan penulisnya berafiliasi dengan Apple; penulis pertama adalah Siyuan Hu dan penulis terakhir Vladlen Koltun.
Nama HALO berasal dari Humanoid Autonomy, Learned in simulation, running Onboard. Data geraknya sebagian besar dihasilkan di simulasi, lalu robot ditaruh di ruangan nyata yang belum pernah dilihatnya. Mengikuti instruksi bahasa, robot berjalan menghampiri objek, duduk di kursi, merangkak di bawah meja, dan mendorong kotak.
Tiga lapisan, dua di antaranya memakai Qwen
Sistem ini terdiri dari tiga lapisan, dari yang paling lambat hingga paling cepat:
- Lapisan orkestrasi: model bahasa-visual Qwen3.6-35B-A3B (kuantisasi 4 bit) yang berjalan sekitar tiap 2 detik, memecah instruksi menjadi subtugas, lalu menentukan kapan lanjut dan kapan mengulang.
- Lapisan pembangkit gerak: encoder visual Qwen3.5-2B yang dibekukan, dipadukan dengan diffusion Transformer berparameter 49 juta. Lapisan ini berjalan sekitar 3 kali per detik dan merencanakan gerak seluruh tubuh untuk 5 detik berikutnya.
- Lapisan pelacakan: kebijakan yang dilatih dengan reinforcement learning di Isaac Lab, berjalan pada 50 Hz. Ia membaca peta kedalaman, propriosepsi, dan IMU, lalu mengeluarkan target untuk 29 sendi G1.
Semua model berjalan di tubuh robot. G1 menggendong sebuah Mac mini M4 Pro dengan memori 64GB di punggungnya untuk menangani dua lapisan pertama, sedangkan lapisan pelacakan berjalan di NVIDIA Jetson Orin NX bawaan G1. Tidak ada kabel yang tersambung selama proses.
Untuk data pelatihan, tim membangkitkan gerak dengan model difusi gerak Kimodo dan membuat 1.000 ruangan secara prosedural lewat Infinigen. Hasil render di Isaac Sim berupa 162.698 klip, sekitar 296 jam. Tidak ada data teleoperasi yang dipakai.
Hasil dan kekurangan
Pengujian di dunia nyata mencakup 6 lingkungan nyata dan 6 tugas, masing-masing 10 kali per tugas di tiap lingkungan, totalnya 360 percobaan. Rata-rata keberhasilan tugas tunggal 91%, sama dengan angka di simulasi: merangkak di bawah meja 100%, melewati pintu setengah terbuka 93%, berjalan menuju objek 92%, mendorong kotak 88%, duduk di kursi 85%.
Tugas berurutan jelas lebih berat. Rata-rata tiga rangkaian dua langkah sekitar 70%. "Melewati pintu lalu menghampiri objek" berhasil di seluruh 10 percobaan, sedangkan "berjongkok lalu duduk" hanya 60%.
Makalah itu sendiri mencantumkan beberapa keterbatasan. Setiap keterampilan baru masih memerlukan orang untuk menulis prompt dan keyframe; dengan kata-kata penulis, pustaka keterampilan "grows only as fast as a person can specify additional tasks". Robot tidak punya indra peraba. Keenam keterampilan tidak ada yang melibatkan menggenggam atau memanipulasi benda dengan tangan. Makalah juga tidak membandingkan sistem lain yang sudah dipublikasikan pada tugas yang sama, sehingga angka 91% tidak bisa langsung dibandingkan dengan angka pihak lain.
Dibandingkan dengan jalur lain di industri
Cara arus utama untuk mendapatkan data pelatihan robot humanoid adalah teleoperasi dan motion capture yang dikenakan di tubuh. Para penulis mengutip bahwa kedua cara itu "membutuhkan setidaknya satu jam kerja manusia untuk menghasilkan satu jam data". HALO mengambil jalur simulasi penuh: dari hampir 300 jam data geraknya, tidak ada satu jam pun yang berasal dari operator manusia.
Untung-rugi kedua jalur ini cukup jelas. Data teleoperasi lebih dekat dengan fisika nyata dan paling andal untuk pekerjaan tangan seperti menggenggam atau membuka laci. Data simulasi berlimpah dan murah, tetapi sejauh ini baru terbukti untuk gerak seluruh tubuh seperti berjalan, duduk, merangkak, dan mendorong. Enam tugas yang dipilih HALO kebetulan menghindari bagian tersulit di simulasi, yaitu kontak dan genggaman.
Kodenya sudah dibuka di GitHub Apple Machine Learning Research, mencakup pembangkitan data, pelatihan generator dan pelacak, serta kode penerapan. Namun README tidak menyertakan bobot hasil pelatihan, dan data sekitar 300 jam itu tidak tersedia untuk diunduh. Apple tidak mengumumkan rencana produk robot apa pun; ini tetap makalah penelitian. Bagi pengembang di Tiongkok ada satu hal praktis: kedua "otak" itu adalah model open-weight Qwen dan perangkat kerasnya Unitree G1, sehingga hambatan untuk mereproduksinya terutama ada pada Mac mini tersebut dan daya komputasi untuk membangkitkan data sendiri.
Sumber: makalah arXiv Apple, Humanoids Daily, CocoLoop, Sina Tech; konfigurasi model tiga lapisan, skala data simulasi, dan tingkat keberhasilan 360 percobaan di dunia nyata diverifikasi dari makalah, sedangkan cakupan sumber terbuka mengacu pada README proyek.