机器人真机榜最高12.8%

机器人基础模型的宣传片越拍越顺,新的公开评测却把冷水泼到了桌面上。

RoboTwin 系列基准的原班团队发布了 RoboDojo,把通用机器人操作模型同时放进仿真和真实机器人环境里考试。结果是:仿真榜第一的平均成功率只有 8.80%,真实机器人榜第一也只有 12.8%。同一套任务给人类专家做,仿真成功率是 76.03%,真实世界是 100%。

这个数字让人不太容易继续用几个漂亮 demo 来判断具身智能的进度。过去一年,VLA、机器人基础模型和世界模型密集出现,行业叙事从“能抓取”走到“能泛化”。但 RoboDojo 的榜单提醒了一件更基本的事:今天的模型不是完全不会动,而是很难稳定把任务做完。

RoboDojo 的设计重点,是把机器人操作拆成五类能力:泛化、记忆、精细操作、长程执行和开放语义理解。它不是只换物体和背景来扩充题库,而是有意把任务做得更接近真实世界里的麻烦场景。

仿真部分有 42 个任务。比如泛化任务里,桌面杂物最多会随机到 25 个,光照、背景、物体外观和布局都会变化;记忆任务要求机器人记住传送带上出现又消失的物体,再从后续候选物中找出目标;精细操作任务则包括插管、对齐、插入等动作,误差稍大就会失败。

真实世界部分更关键。RoboDojo-RealEval 设计了 18 个真机任务,覆盖 ARX X5、Piper、Piper X 三种双臂机器人平台,每个平台各 6 个任务。任务包括盖积木、做面包、装水果并倒出、插充电器、叠碗、挂杯子、清扫积木、盖笔帽等日常动作。

这些动作听起来不难,难在真实接触。物体会滑,夹爪会偏,相机会有噪声,机械臂会有延迟,桌面上一个很小的位置偏差,都可能让最后一步失败。对语言模型来说,答错一部分还能继续生成;对机器人来说,杯子没挂上去就是没挂上去。

论文把这套基准的意图说得很直接:

“We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies.”

换成中文就是,RoboDojo 不想只测仿真,也不想只看真实机器人,而是用一套统一流程同时检验两边。仿真给研究者快速定位短板,真机则检验这些改进能不能扛住物理世界的不确定性。

榜单上的模型阵容也足够说明问题。团队把 30 个代表性机器人操作策略接进 XPolicyLab,包括 Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA、GR00T-N1.7、π0、OpenVLA-OFT 等。仿真榜第一是 Hy-Embodied-0.5-VLA,平均分 13.07,平均成功率 8.80%。真实世界榜第一是 π0.5,总体成功率 12.8%,平均分 22.9。

更刺眼的是开放语义任务。量子位披露,即使最强模型,在这类任务上的成功率也只有约 1.67%。这说明模型在熟悉任务里可以学会一部分动作套路,但一旦遇到新目标、新说法和新组合,语义理解、视觉定位、技能选择和动作执行这条链路仍然很脆。

RoboDojo 值得单独看,不只是因为分数低。它把评测流程做成了基础设施:仿真侧支持不同任务、场景和进程并行跑;真机侧标准化硬件配置、工作空间、光照、场景复位、评测协议和部署接口;XPolicyLab 则把不同模型的数据格式、预处理、训练脚本和动作表示收进统一接口。

这对国内具身智能行业有现实意义。过去几个月,机器人公司融资、开源模型和世界模型发布很多,市场容易把“模型会演示”当成“产品可部署”。但工厂、餐饮后厨和仓储场景要的不是一次成功,而是连续上千次不掉链子。RoboDojo 把差距量化以后,投资人和客户都能少看一点宣传片,多问一句:同样的任务换灯光、换物体、换机械臂,还能不能稳定完成。

另一个增量在于路线判断。VLA、世界模型和动作策略之争短期不会结束,但这类榜单会把争论从“谁的故事更大”拉回“谁的失败更少”。如果一个模型只能在仿真领先,真机掉队,说明它还没处理好接触、标定和动作恢复;如果真机能做少数任务,但开放语义分数很低,说明它更像熟练工,不像通用机器人。

RoboDojo 目前由 AI MMLab Club 维护,论文称榜单由非营利基金会和全球学术伙伴共同治理,不引入商业公司资金、赞助、算力或硬件支持。GitHub 仓库也已经公开,README 显示它提供 42 个仿真任务、18 个真实任务、异构并行仿真、RoboDojo-RealEval、XPolicyLab 和持续更新的 leaderboard。

这不是一个“机器人已经不行”的结论。相反,它给行业立了一把更硬的尺。真正的通用机器人不会只靠一段视频证明自己,它要在可复现的任务里,把看懂、记住、规划、精细动作和失败恢复一起做稳。12.8% 不是终点,但足够提醒所有人:离可靠干活,还差很长一段路。

来源与核验:量子位 RoboDojo 报道;arXiv:2607.04434 v3;CocoLoop、RoboDojo GitHub README;核验对象包括发布时间、42 个仿真任务、18 个真机任务、30 个策略、8.80%、12.8%、76.03%、100% 和榜单治理信息。