ロボット訓練に、より安い経路が出てきた。Galbot、北京大学、中国科学院自動化研究所、清華大学のチームは、普通の人が撮った一人称動画を一時的な記憶に入れ、ロボットに現場の作業を読ませてから既存の動作能力で実行させる。
枠組みは WAM-TTT、World-Action Model Test-Time Training。訓練室でカップを運べるロボットが、照明も机も違う家庭で少ない追加データから動けるかを問う。
動画を見ることは手をまねることではない
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
導入時に使うのは未ラベルの人間動画だけで、事前学習済みの世界・行動モデルは固定したまま、軽い記憶だけを更新する。手姿勢推定、動作リターゲット、追加の遠隔操作データ収集とは違う。
9タスク、3種類の実機
実験は Unitree G1 ヒューマノイド、Galbot の二指グリッパー、Galbot の多指ハンドで行われた。水を注ぐ、飲み物を運ぶ、机を片付ける、ステーキを裏返す、ピラミッドを積むなど9種類を、各設定25回で評価した。
- 新しい家庭環境で WAM-TTT の平均進捗は46.2%。
- 凍結 WAM 主幹の LDA は32.5%。
- 人間動画を文脈に入れる WAM-ICL は7.1%。
- EgoScale の再現版は15.0%。
Table Bussing は100.0%、Swap Place は66.7%だったが、Stamp Paper は8.3%で LDA の33.3%を下回った。幾何姿勢の厳しさと家庭環境の乱れが原因とされる。
節約できるのはロボット軌跡データ
身体性AIで高いのはデータだ。WAM-TTT はその一部を普通の人間動画で置き換えようとする。人間動画100本とロボット軌跡100本の組み合わせでは平均成功率が74.1%に達し、手姿勢推定と動作リターゲットの別パイプラインは4タスク平均28.9%にとどまった。
今後見るべき指標は、単発デモではなく場面をまたいだ性能低下だ。 Deliver Drink の外乱実験では、照明変化で66.0%、位置変化で56.0%。WAM-ICL は12.0%、20.0%だった。
参考資料：量子位、arXiv:2607.06988 でモデル構造、タスク設定、評価指標、制約を確認；CocoLoop、Hugging Face Papers で論文項目と公開収録状況を確認。