Appleの機械学習研究チームは11月4日、論文「Perceptive Humanoid Motion from Simulation」をarXivで公開した。ヒューマノイドロボットの自律制御システムHALOを紹介し、UnitreeのG1で実機検証も行っている。著者8人は全員Apple所属で、筆頭著者はSiyuan Hu氏、最終著者はVladlen Koltun氏だ。
HALOの名は Humanoid Autonomy, Learned in simulation, running Onboard に由来する。動作データの大半はシミュレーションで生成し、ロボットは一度も見たことのない実在の部屋に置かれ、言語による指示に従って歩み寄る、椅子に座る、机の下をくぐる、箱を押す、といった動作をこなす。
3層構造のうち2層でQwenを使用
システムは3層に分かれ、動作の周期が遅い順に次のとおり。
- オーケストレーション層:視覚言語モデルのQwen3.6-35B-A3B(4ビット量子化)。約2秒に1回動作し、指示をサブタスクに分解して、いつ次へ進むか、いつやり直すかを判断する。
- 動作生成層:凍結したQwen3.5-2Bの視覚エンコーダーと、4900万パラメーターの拡散Transformerの組み合わせ。毎秒約3回動作し、今後5秒間の全身動作を計画する。
- トラッキング層:Isaac Labで強化学習により訓練したポリシー。50Hzで動作し、深度画像、固有受容感覚、IMUを読み取って、G1の29関節の目標値を出力する。
すべてのモデルがロボット本体で動く。G1は背中にメモリー64GBのM4 Pro搭載Mac miniを背負い、前の2層を担当する。トラッキング層はG1に内蔵のNVIDIA Jetson Orin NX上で動き、全行程でケーブル接続は不要だ。
学習データについては、チームが動作拡散モデルKimodoで動作を生成し、Infinigenで1000室を手続き的に生成した。Isaac Simでレンダリングした結果、162,698クリップ、約296時間分になった。遠隔操作のデータは使っていない。
成果と課題
実機テストは6つの実環境と6つのタスクが対象で、タスクごと環境ごとに10回、合計360回を実施した。単一タスクの平均成功率は91%で、シミュレーションの91%と同水準だった。内訳は、机の下をくぐるが100%、半開きのドアを通り抜けるが93%、物体に歩み寄るが92%、箱を押すが88%、椅子に座るが85%。
連続タスクは明らかに苦戦した。2段階のシーケンス3種の平均は約70%。「ドアを通った後に物体へ歩み寄る」は10回すべて成功したが、「しゃがんだ後に座る」は60%にとどまった。
論文自身もいくつかの制約を挙げている。新しいスキルごとに、人がプロンプトとキーフレームを書く必要があること。著者の言葉では、スキルライブラリは「grows only as fast as a person can specify additional tasks」。ロボットには触覚がないこと。6つのスキルはいずれも、手で物をつかんだり操作したりする動作を含まないこと。さらに、同じタスクで既発表の他システムと比較しておらず、91%という数字を他社の数字と直接比べることはできない。
業界のもう一つの道と並べて見る
ヒューマノイドの学習データは、遠隔操作とウェアラブルのモーションキャプチャーで集めるのが主流だ。著者は引用の中で、この2つの方法は「1時間分のデータを作るのに少なくとも1時間の人手が要る」と述べている。HALOは完全シミュレーションの路線を取り、約300時間の動作データのうち、人間の操作によるものは1時間もない。
両者のトレードオフははっきりしている。遠隔操作データは現実の物理に近く、物をつかむ、引き出しを開けるといった手作業には最も確実だ。シミュレーションデータは量が多くコストも低いが、現時点で有効性が示されたのは、歩く、座る、くぐる、押すといった全身の移動系動作にとどまる。HALOが選んだ6つのタスクは、シミュレーションで最も難しい接触と把持をちょうど避けている。
コードはApple Machine Learning ResearchのGitHubで公開されており、データ生成、生成器とトラッカーの学習、デプロイ用のコードが含まれる。ただしREADMEには学習済み重みがなく、約300時間分のデータのダウンロードも提供されていない。Appleはロボット製品の計画を一切発表しておらず、あくまで研究論文の段階だ。中国の開発者にとって実用的な点が一つある。2つの「頭脳」はどちらもQwenのオープンウェイトモデルで、ハードウェアはUnitree G1だ。再現のハードルは主に、そのMac miniと、自前でデータを生成するための計算資源になる。
参考資料:AppleのarXiv論文、Humanoids Daily、CocoLoop、新浪科技。3層のモデル構成、シミュレーションデータの規模、360回の実機試験の成功率は論文で確認し、オープンソースの範囲はプロジェクトのREADMEに基づく。