Les annonces robotique mettent souvent en avant les nouveaux modèles et les démonstrations. RLinf v0.3 est moins spectaculaire, mais il touche la partie qui décide si une démo d'embodied AI devient un processus reproductible.
Publié le 16 juillet par Infinigence AI, l'Université Tsinghua et leurs partenaires, v0.3 relie collecte de données, SFT, apprentissage par renforcement, évaluation et déploiement sur robot réel.
“RLinf is a flexible and scalable open-source RL infrastructure designed for Embodied and Agentic AI.”
Une chaîne de formation
v0.3 ajoute 6 modèles embodied, 5 simulateurs ou environnements, 3 méthodes de téléopération, 3 plateformes réelles et 2 effecteurs. Ces chiffres comptent car les équipes robotique réécrivent souvent les intégrations dès que changent robot, caméra, pince, simulateur ou format de données.
L'objectif est de rendre l'entraînement plus portable. Une équipe peut collecter des données avec SpaceMouse, VR ou GELLO, lancer SFT, poursuivre avec PPO, GRPO, DSRL, RECAP ou SAC-Flow, puis déployer sur Franka, GimArm ou DOS-W1.
La couche système est le vrai chantier
RLinf v0.3 ajoute aussi Reward Model, Value Model, SGLang serving, exécution d'environnement découplée, torch.compile, overlap rollout-entraînement, synchronisation des poids et FSDP full offload. Le papier arXiv indique un gain de débit d'entraînement bout en bout de 1,07x à 2,43x sur reasoning RL et embodied RL.
Le support bout en bout d'Ascend CANN / torch-npu, ainsi qu'AMD ROCm et Musa, est important pour les équipes chinoises. Les charges RL dépendent du scheduling, de la mémoire et de l'exécution d'environnement, pas seulement de la puissance crête.
La suite se jouera sur la reproduction
GitHub affiche plus de 4 100 stars, 600 forks et 100 contributors. QbitAI note aussi qu'Isaac Lab a intégré RLinf comme moteur d'entraînement pour modèles embodied et qu'une tâche d'assemblage médical avec NVIDIA a été présentée à GTC 2026.
Ces signaux ne prouvent pas un déploiement industriel. Il faut désormais vérifier si des équipes externes reproduisent les exemples v0.3, si le matériel non NVIDIA suit la branche principale et si les gains survivent aux différences entre robots réels.
Sources : QbitAI, dépôt GitHub RLinf, RLinf v0.3 Release Notes, arXiv:2509.15965, CocoLoop ; vérification de v0.3, 6 modèles, 5 environnements de simulation, 3 méthodes de téléopération, 3 plateformes réelles, 2 effecteurs, 4 100+ stars, 600+ forks, 100+ contributors et du débit d'entraînement 1,07x-2,43x.