機器人新聞常把新大腦、世界模型和展示影片放在前面。RLinf v0.3 沒那麼搶眼,卻卡在具身 AI 能不能從 demo 走向可複現工程的中段。
7 月 16 日,無問芯穹、清華大學等團隊發布 RLinf v0.3,目標是把資料採集、監督微調、強化學習、評測與真機部署串起來。
“RLinf is a flexible and scalable open-source RL infrastructure designed for Embodied and Agentic AI.”
補的是訓練管線
v0.3 新增 6 款具身模型、5 種模擬器或環境、3 種遙操作方式、3 款真機平台與 2 款末端執行器。這些數字背後,是機器人、相機、夾爪、資料格式一變,實驗系統就要重接的老問題。
這次更新想讓訓練流程更容易遷移。 研究者可用 SpaceMouse、VR、GELLO 採資料,先做 SFT,再用 PPO、GRPO、DSRL、RECAP 或 SAC-Flow 繼續訓練,最後部署到 Franka、GimArm 或 DOS-W1。
系統層才是硬活
v0.3 同時加入 Reward Model、Value Model、SGLang 推理服務、環境執行解耦、torch.compile、rollout 與訓練 overlap、權重同步與 FSDP full offload。arXiv 論文報告,在 reasoning RL 與 embodied RL 任務上,端到端訓練吞吐提升 1.07 倍至 2.43 倍。
Ascend CANN / torch-npu 端到端支援,以及 AMD ROCm、Musa 適配,對中文開發者也很實際。強化學習訓練吃調度、記憶體和環境執行,不能只看加速卡峰值。
下一步看外部複現
GitHub 顯示 RLinf 已有 4100+ Star、600+ Fork、100+ Contributors。量子位也提到,Isaac Lab 已收錄 RLinf 作為具身大模型訓練引擎,團隊與 NVIDIA 合作的醫療器械組裝任務登上 GTC 2026。
這些訊號還不能等同於生產部署。後續要看 v0.3 範例能否被外部團隊跑通,非 NVIDIA 硬體能否跟上主線功能,以及真機差異下的成功率提升能否被獨立複測。
參考來源:量子位、RLinf GitHub 倉庫、RLinf v0.3 Release Notes、arXiv:2509.15965、CocoLoop;核驗 v0.3 發布節點、6 款模型、5 種模擬環境、3 種遙操作方式、3 款真機平台、2 款末端執行器、4100+ Star、600+ Fork、100+ Contributors 與 1.07-2.43 倍訓練吞吐口徑。