机器人三万小时触觉数据开源

机器人会看,离会干活还差一层“手感”。

7 月 25 日,上海新智具身智能科技有限公司 NeoteAI 与复旦大学可信具身智能研究院发布 N0 系列三份技术报告:N0-Foundation、N0-VTLA 和 N0-TWAM。量子位随后用中文完整梳理了这组工作,标题里的数字很直观:3 万小时视觉-触觉交互数据,外加项目数据、代码和模型开放。

这条新闻的看点不在又多了一个机器人模型。它把一个很具体的失败场景摆到了桌面上:摄像头能看到插头对准了插座,却不知道边缘有没有卡住;视觉模型能判断杯子在手里,却不知道夹力会不会把瓶身捏瘪。

量子位那句概括很适合当作现场问题:“看得见杯子不等于拿得稳,认得出插座不等于插得进。”对机器人公司来说,这句话对应的是产线、厨房和仓库里每天都会出现的物理限制。

触觉先变成数据底座

N0-Foundation 先回答数据问题。官方研究页给出的 NeoData 规模是:超过 30000 小时交互数据、140 万条操作片段、33 亿个离散步、80 亿帧 RGB 画面100 亿帧触觉图像

采集设备覆盖多类平台。数据包含 6 种本体,包括手持 N0-TacUMI 夹爪,以及 Franka Research 3、Piper、ARX X5、UR5e、Flexiv Rizon 4s 五类机器人平台;任务数超过 450 项,从叠衣、插拔接头、倒液体,到精细零件装配和双臂协作。

这组数字要谨慎读。它说明团队在补齐触觉数据的规模短板,但距离机器人通用化还有工程距离。官方也只开放了其中 5000 小时子集,覆盖 6 种本体、250 多项任务和 200 多种技能。对外部开发者来说,可复现实验的范围仍取决于开源子集、传感器复刻成本和训练代码可用性。

模型开始预测下一秒会摸到什么

第二份报告 N0-VTLA 走的是 VLA 路线。它没有把触觉图像当作另一路摄像头简单拼接,处理方式是先把当前接触信息压成 latent tactile tokens,再预测未来一个动作片段内触觉会怎样变化。

人话版本是:机器人要在下一步动作生成前,先估计“会不会滑、会不会顶住、会不会坐实”,减少手指碰坏之后才补救的被动反应。

官方在九个 NeoReal 真机任务上给出的平均成功率是 47.2%,对照的 π0.5 基线为 29.4%;插插头任务中 N0-VTLA 达到 85%,视觉方案为 60%;棋盘插入任务从两个基线的 0 提升到 25%。在 UniVTAC 与 NeoSim 合计评测里,它的平均成功率为 63.8%,强于最强总体基线的 44.0%

这里的限制条件同样清楚:这些是团队报告里的封闭任务口径,任务、传感器和机器人平台由研究方定义。它们能证明触觉对接触类任务有帮助,却还不能证明一套模型能直接搬进任意工厂。

世界模型把“摸”也放进未来

第三份报告 N0-TWAM 更激进:它把未来视频、未来触觉和动作放进同一个世界动作模型里生成。模型参数量为 7.16B,其中视频专家 5.00B、动作专家 1.13B、触觉专家 1.03B;预训练跑了 30000 步,使用 128 张 H800 GPU

评测结果里,N0-TWAM 在 UniVTAC、NeoSim 和 8 个真机任务上的平均成功率分别为 84.5%49.4%46.3%。真机平均值高于 π0.5 的 30.0%、LingBot-VA 的 21.9% 和 FastWAM 的 14.4%。

这组结果和今年另一条机器人路线形成对照。7 月中旬,智在无界 Being-M0.7 把重点放在“先学人,再落到人形机器人全身动作”;N0 则把重点放在接触状态本身。一个解决身体怎么连续运动,一个解决手指碰到物体后如何确认动作完成。真实部署里,两类能力最后很可能要合在一起。

下一步看开源能不能跑起来

N0 这次强在资料完整:三份技术页、技术报告、代码、数据集和 checkpoint 入口都已公开。它也把机器人行业长期回避的问题讲得很细:只靠视觉,很多接触状态本来就看不见。

但它还没越过工程门槛。触觉传感器要耐磨、要标定、要和机械手集成;多本体数据要解决不同硬件之间的力学差异;真机评测的样本量也需要扩大。对产业侧来说,后续最该看的三件事很具体:开源数据是否被第三方复现,NeoReal/NeoSim 是否出现外部提交,触觉传感器能否进入稳定量产。

如果这些节点能接上,具身智能的数据竞赛会多出一条新轴线。过去一年行业不断堆视觉、语言和动作轨迹,N0 提醒大家,很多失败发生在接触那一瞬间;那个瞬间,摄像头往往已经不够用了。

参考来源:量子位、NeoteAI/复旦 N0-Foundation 技术报告、N0-VTLA 技术报告、N0-TWAM 技术报告、Hugging Face 数据集、GitHub 代码仓库、CocoLoop;核验 3 万小时交互数据、140 万操作片段、33 亿离散步、80 亿 RGB 帧、100 亿触觉帧、5000 小时开源子集、九项 NeoReal 任务成功率、N0-TWAM 7.16B 参数、128 张 H800 与各项评测口径。