RLinf v0.3打通机器人训练闭环

机器人公司最近都在讲大脑、世界模型和真机泛化,训练工具反而很少站到台前。7 月 16 日,无问芯穹与清华大学等团队把 RLinf 升到 v0.3,发力点正好卡在这条链路的中段:数据怎么采、监督微调怎么接强化学习、训练完怎么推到真机。

这类基础设施不如 demo 抢眼,却会决定很多具身智能项目能不能从论文、视频和单机演示,走到可复现的工程流程。

RLinf 官方仓库给自己的定义很直:

“RLinf is a flexible and scalable open-source RL infrastructure designed for Embodied and Agentic AI.”

翻成中文,就是给具身模型和智能体训练用的一套开源强化学习底座。

这次补齐的是训练链路

v0.3 的变化集中在五个方向:模型、算法、真机、仿真和系统。官方 Release Notes 写得很细,量子位的中文稿也把它概括成一次“五大能力跃升”。

具体到可核的数字,更新包括:新增 6 款具身模型支持,覆盖 Dexbotic DM0、DreamZero、GR00T-N1.6 / N1.7、ABot-M0、StarVLA、LingBot-VLA;新增 5 种仿真器或环境支持,包括 Genesis、Polaris、RoboVerse、Libero+ / LiberoPro、Embodichain;真机侧新增 3 种遥操作方式、3 款平台、2 款末端执行器

这组数字的意义,不在“支持列表变长”。具身智能训练最麻烦的地方,是每个实验室都有自己的机器人、相机、夹爪、仿真器和数据格式。列表越分散,复现实验越像重新搭一遍项目。RLinf v0.3 的方向,是把这些碎片先纳入同一套流水线。

从仿真到真机,闭环被写进框架

这次最像工程节点的部分,是 RLinf 打通了数据采集、SFT、强化学习、评测和真机部署的闭环。

举个场景:研究者用空间鼠标、VR 或 GELLO 采一批示教数据,先做监督微调,再用 PPO、GRPO、DSRL、RECAP 或 SAC-Flow 之类方法继续训练,最后把策略部署到 Franka、GimArm 或 DOS-W1 这类平台。过去这些步骤常常散在不同仓库里,模型换一次、机器人换一次,脚本就要重写。

v0.3 把 LeRobot 数据格式、Pi0 真机 SFT 部署、reward model 数据采集、双臂 Franka 和灵巧手等接口放进同一套文档和示例。对团队来说,少掉的不只是配置时间,还有实验结果无法复现时那段最难排查的黑箱。

具身智能常卡在训练管线:新模型之外,还要有别人也能跑通的流程。

国产算力支持是另一条暗线

系统层的更新更适合开发者看。RLinf v0.3 加入了 Reward Model、Value Model、SGLang 推理服务、环境执行解耦、torch.compile 加速、rollout 与训练 overlap、权重增量同步和 FSDP full offload。

这些词听起来散,但都指向同一件事:让强化学习训练别被调度、显存和环境执行拖住。arXiv 论文里给出的系统评测口径是,RLinf 在 reasoning RL 和 embodied RL 任务上取得 1.07 倍到 2.43 倍端到端训练吞吐提升;仓库早前还记录过 BEHAVIOR 仿真优化,把 rollout 延迟从 1028.7 ms/step 降到 41.2 ms/step,约 25 倍。

更贴近国内开发者的是硬件适配。Release Notes 写明,v0.3 已加入 Ascend(CANN / torch-npu)端到端可运行支持,并继续支持 AMD ROCm、Musa 等异构平台。强化学习训练通常吃调度和显存,国产卡能不能稳定跑,不能只靠宣传页上的“适配”两个字,得靠具体 Docker、安装脚本、示例和 profiling 工具往下铺。

这也是 RLinf 这类项目的产业位置:它不直接卖机器人,却会影响机器人训练能不能绕开单一硬件和单一模型栈。

热度已经越过单点项目

官方 GitHub 页面显示,RLinf 已有 4100+ Star、600+ Fork、100+ Contributors。量子位稿件也提到,它被 Isaac Lab 收录为首个面向具身大模型的训练引擎,团队与 NVIDIA 合作的医疗器械组装任务登上 GTC 2026。

这些背书需要克制看待。Star 不等于生产部署,会议展示也不等于工厂落地。但它说明一个变化:具身智能的竞争正在从“谁的模型视频更顺”转向“谁的训练系统能被更多团队复用”。

国内同一周还在密集出现世界模型、机器人基座模型和真机泛化框架。RLinf v0.3 夹在这些新闻中间,反而给出了一条更朴素的检验标准:模型能不能换,仿真器能不能换,真机能不能接,算力能不能迁移。

后面要看真实复现

这次发布也有边界。Release Notes 给了大量配置和测试表,但外部团队要完整复现,还要面对数据质量、机器人平台差异、相机标定、环境随机化和安全停机这些现实细节。一个开源训练框架能降低门槛,没法抹平所有硬件差异。

后续可验证的节点很具体:第一,v0.3 的示例能否在更多非原团队环境中跑通;第二,Ascend、ROCm、Musa 等异构平台能否持续跟上主线功能;第三,RLinf 在真实机器人任务里的成功率提升,能否被独立团队复测。

如果这些节点成立,v0.3 的意义就不只是一次版本升级。它会把具身智能从“各做各的 demo”,往可复现、可迁移、可审计的训练工程推进一格。

参考来源:量子位、RLinf GitHub 仓库、RLinf v0.3 Release Notes、arXiv:2509.15965、CocoLoop;核验 v0.3 发布节点、6 款模型、5 种仿真环境、3 种遥操作方式、3 款真机平台、2 款末端执行器、4100+ Star、600+ Fork、100+ Contributors 与 1.07-2.43 倍训练吞吐口径。