ロボット関連のニュースは、新しい「頭脳」や世界モデル、派手なデモに寄りがちだ。RLinf v0.3 は見た目の派手さは薄いが、具身 AI を再現できる工程に落とす部分を担っている。
無問芯穹、清華大学などのチームは 7 月 16 日、RLinf v0.3 を公開した。狙いは、データ収集、教師あり微調整、強化学習、評価、実機配備を一つの流れにすることだ。
“RLinf is a flexible and scalable open-source RL infrastructure designed for Embodied and Agentic AI.”
機能追加ではなく訓練経路の整備
v0.3 は 6 種の具身モデル、5 種のシミュレータまたは環境、3 種の遠隔操作方式、3 種の実機プラットフォーム、2 種のエンドエフェクタを追加した。ロボット、カメラ、グリッパー、データ形式が変わるたびに実験基盤を作り直す負担を減らすための更新だ。
狙いは、ロボット訓練を持ち運べる工程にすることにある。 SpaceMouse、VR、GELLO でデータを集め、SFT を行い、PPO や GRPO、DSRL、RECAP、SAC-Flow で学習を続け、Franka、GimArm、DOS-W1 などに配備する流れを想定している。
難所はシステム層
v0.3 は Reward Model、Value Model、SGLang サービング、環境実行の分離、torch.compile、rollout と訓練の overlap、重み同期、FSDP full offload も追加した。arXiv 論文では、reasoning RL と embodied RL のタスクで端到端訓練スループットが 1.07 倍から 2.43 倍になったと報告している。
Ascend CANN / torch-npu の端到端サポート、AMD ROCm や Musa への対応も重要だ。強化学習は GPU の速さだけで決まらず、スケジューリング、メモリ、環境実行の詰まりに左右される。
次は外部チームの再現性
GitHub では 4100 以上の Star、600 以上の Fork、100 以上の Contributors が確認できる。量子位は、Isaac Lab が RLinf を具身大モデル向け訓練エンジンとして収録したこと、NVIDIA との医療器具組み立てタスクが GTC 2026 に登場したことにも触れている。
ただし、人気や展示は実運用の証明ではない。今後見るべき点は、v0.3 の例が外部環境で再現されるか、非 NVIDIA 系ハードウェアが主線機能に追随できるか、実機差がある中で成功率向上が残るかだ。
参考ソース：量子位、RLinf GitHub リポジトリ、RLinf v0.3 Release Notes、arXiv:2509.15965、CocoLoop。v0.3 の公開、6 種のモデル、5 種のシミュレーション環境、3 種の遠隔操作方式、3 種の実機、2 種の末端機構、4100+ Star、600+ Fork、100+ Contributors、1.07-2.43 倍の訓練スループットを確認した。