機器人訓練又多了一條便宜路徑:不用重新採一批機器人遙操作軌跡,也不用把人手動作逐幀轉成關節角。銀河通用、北大、中科院自動化所和清華團隊,把普通人的第一視角影片放進臨時記憶,讓機器人在部署現場先看懂桌上的活,再用原有動作能力執行。
這套框架叫 WAM-TTT,全名是 World-Action Model Test-Time Training。它瞄準的是訓練間會搬杯子的機器人,換到使用者家裡、燈光和桌面都變了,能不能少採資料就開工。
看影片,不等於照著人手模仿
“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”
部署時只需要未標註的人類影片,預訓練世界動作模型保持凍結,只更新一塊輕量記憶。這不同於估計手部姿態、做動作重定向,或讓人重新遙操作一批機器人軌跡。
9 個任務、3 類真機
團隊使用 Unitree G1 人形機器人、Galbot 雙指夾爪和 Galbot 靈巧手,任務共 9 個,包括倒水、送飲料、收桌面、翻牛排和堆金字塔。每個任務與環境設定做 25 次試驗。
- 在新的家庭環境中,WAM-TTT 的 9 項平均進度是 46.2%。
- 凍結 WAM 主幹 LDA 是 32.5%。
- 直接把人類影片當上下文的 WAM-ICL 只有 7.1%。
- EgoScale 復現版本是 15.0%。
Table Bussing 達到 100.0%,Swap Place 是 66.7%;但 Stamp Paper 只有 8.3%,低於 LDA 的 33.3%。論文把原因指向幾何姿態更緊、家庭環境擾動更容易破壞對齊。
省錢的是少拍機器人軌跡
具身智能貴,貴在資料。人類影片和機器人軌跡各 100 條時,任務平均成功率可達 74.1%;另一條姿態估計加動作重定向管線,4 個任務平均完成度只有 28.9%。
後續最該看的,是跨場景掉點幅度,而不是單個 demo。 Deliver Drink 擾動實驗中,光照變化下 WAM-TTT 為 66.0%,空間位置變化下為 56.0%;WAM-ICL 分別只有 12.0% 和 20.0%。
參考來源:量子位;arXiv:2607.06988 核驗模型結構、任務設定、實驗指標與限制條件;CocoLoop、Hugging Face Papers 核驗論文條目與公開收錄狀態。