机器人靠网络视频学操作成功率升到71%

具身智能这两年最缺的不是模型,是数据。让机器人学会拧瓶盖、切菜这类灵巧活,得有人一遍遍手把手示教,采一条真机数据的成本高得吓人。加州大学伯克利分校的一个团队想绕开这道坎:直接让机器人看网上的视频学。

他们的方法叫”Do as I Do”,第一次把从互联网视频到灵巧手真机执行的整条链路打通了。喂进去的是最普通的单目RGB视频——就是手机随手拍的那种,一个镜头、没有深度信息;吐出来的是机器人灵巧手可以直接执行的操作轨迹,中间不需要预先设定抓取模型,也不限定物体类别。

成果摆在真机上:一套双UR3e机械臂配双Sharpa Wave灵巧手的平台,以50Hz的频率跑,已经验证了500条轨迹,覆盖放置、拿取、擦洗、涂抹、挤压、搅打、锤击、切割等20类动作。最关键的一个数字是动作重定向的成功率,从25%提到了71%,相当于原来的近三倍,把过去四次里成一次的活做到了四次里成近三次。

难点在哪?团队自己给的一个数据很能说明问题:网上海量视频里,经过筛选真正能直接拿给机器人学的,只有大约5%。绝大多数要么视角不对、要么手和物体被遮挡、要么动作跟踪算不准。所谓”用互联网视频训机器人”听着美好,真做起来第一关就是从95%的废料里淘出那5%的可用素材。

为了把这5%用好,方法拆成两步。第一步是稳定的4D重建,用引导式扩散和流匹配改进物体跟踪,在67%的样本上比常用的FoundationPose表现更好;第二步是针对带噪声的参考轨迹做鲁棒的动作重定向,让机器人不至于被视频里不精确的动作带偏。

这事的分量在于数据源。具身智能的模型架构已经卷得差不多了,真正卡脖子的是够不够多、够不够杂的操作数据:真机采集贵、慢,合成数据又常常和现实对不上。如果网上现成的视频能被稳定地转成可执行的机器人动作,哪怕只有5%可用,乘上互联网视频的总量也是一个此前拿不到的量级。这条链路能不能从实验室里的500条轨迹放大到成千上万条,是接下来最值得盯的地方。