银河通用让机器人看视频上岗

机器人训练又多了一条便宜路径:不用重新采一批机器人遥操作轨迹,也不用把人手动作逐帧转成关节角。银河通用、北大、中科院自动化所和清华团队把一段普通人第一视角视频塞进模型的临时记忆,让机器人在部署现场先“看懂这桌活”,再用原有动作能力去做。

这套框架叫 WAM-TTT,完整说法是 World-Action Model Test-Time Training。它没有把重点放在单次演示有多炫,瞄准的是一个更硬的落地问题:机器人在训练间里会搬杯子,换到用户家里、灯光变了、桌面变了,还能不能少采数据直接开工。

看视频,不等于照着人手模仿

论文里的关键句写得很窄:

“At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen.”

中文里更直白的说法是:部署时只给未标注的人类视频,基础世界动作模型不动,只更新一块轻量记忆。

这和常见的“人类示范教机器人”不一样。旧路线往往要估计人手姿态、做动作重定向,或者让人重新遥操作一批机器人轨迹。WAM-TTT 把人类视频当成场景和任务线索,先写入 fast-weight memory,再让冻结的世界动作模型生成机器人动作。

冻结基础模型这一点很重要。 如果每到一个新点位都微调整套模型,成本和风险会一起抬高;如果只把视频塞进上下文,模型又很容易看过就忘。银河通用这次尝试的是中间路线:基础能力保持不变,现场信息写进一块可丢弃、可复用的短期记忆。

9 个任务、3 类机器人,先看窄口径成绩

实验没有把结论喊成“通用家务机器人”。团队用的是 3 类真机形态:Unitree G1 人形机器人、Galbot 双指夹爪、Galbot 灵巧手;任务共 9 个,包括倒水、送饮料、收拾桌面、翻牛排、堆金字塔等。

评测口径也要看清:每个任务和环境设置下做 25 次试验,指标是任务进度百分比,允许按子目标给部分分。

在新的家庭环境设置中,WAM-TTT 的 9 项平均进度是 46.2%。对照组里,冻结 WAM 主干 LDA 是 32.5%,直接把人类视频当上下文的 WAM-ICL 只有 7.1%,EgoScale 复现版本是 15.0%。这组差距说明,人类视频本身并不会自动变成可执行技能,写进可训练记忆才有收益。

单项结果更能看出边界。Table Bussing 任务上,WAM-TTT 做到 100.0%;Swap Place 是 66.7%;但 Stamp Paper 只有 8.3%,还低于 LDA 的 33.3%。论文把原因指向几何姿态更紧、家庭环境扰动更容易破坏对齐。

这项工作证明了路线有用,还没有证明所有操作都能靠一段视频解决。

最省钱的部分,是不用再拍机器人轨迹

具身智能贵,贵在数据。一个动作要在不同桌面、不同物体、不同光线下重复采,真机时间、人力和设备损耗都会滚上去。WAM-TTT 的看点不在“成功率最高”,而在它把一部分部署数据从机器人轨迹换成了普通人视频。

消融实验给了一个直接数字:在人类视频和机器人轨迹各 100 条的组合里,任务平均成功率可以到 74.1%,接近全部使用机器人轨迹训练的效果。另一个姿态估计加动作重定向管线,4 个任务平均完成度只有 28.9%,比原始 WAM-TTT 低 43.4 个百分点

这组结果的产业含义很清楚:如果普通视频能替代一部分遥操作数据,机器人公司就不必为每个客户场景都重开一套采集流水线。手机拍摄、现场试跑、局部适配,会比“派团队去录几百遍动作”轻很多。

不过论文也把限制写在了结尾:人类和机器人配对数据的技能阶段要对齐;部署任务离元训练分布越远,适配会越弱;当前接口只吃第一视角 RGB 视频,没有用手部姿态、接触信息或三维场景线索。

和今天的世界模型热不同

最近几篇机器人新闻都在谈世界模型:有的让模型在虚拟世界里预演后果,有的把视频生成能力接到 VLA 后训练里。WAM-TTT 的位置略有不同,它少谈“动作之后场景会怎样”,更多处理“到现场之后,怎样把用户给的一段视频变成可用的现场记忆”。

这也是它更接近商业部署的一层价值。工厂或家庭客户并不关心模型内部用了多少新结构,客户关心的是换场景之后,机器人要停多久、采多少数据、要不要工程师重训。

如果 WAM-TTT 后续能开放更多复现实验,最该看的指标会是跨场景掉点幅度,单个 demo 只能当入口。 论文中 Deliver Drink 的扰动实验给了一个早期信号:光照变化下 WAM-TTT 为 66.0%,空间位置变化下为 56.0%;WAM-ICL 分别只有 12.0% 和 20.0%。这个差距比宣传语更有用。

银河通用这次把“机器人看人类视频学习”从概念往工程口径推了一步。它还没到用户随手拍一段视频、机器人立刻包干所有家务的程度;但它把部署后适配拆成了一个可测、可比较的模块。对具身智能来说,这比又一个舞台 demo 更接近真实落地。

参考来源:量子位;arXiv:2607.06988 核验模型结构、任务设置、实验指标与限制条件;CocoLoop、Hugging Face Papers 核验论文条目与公开收录状态。