로봇 분야에서는 새 모델과 멋진 데모가 먼저 보인다. RLinf v0.3는 덜 화려하지만, 데모를 반복 가능한 훈련 공정으로 바꾸는 부분을 겨냥한다.
무문심궁과 칭화대 등은 7월 16일 RLinf v0.3를 공개했다. 이번 버전은 데이터 수집, SFT, 강화학습, 평가, 실제 로봇 배포를 연결한다.
“RLinf is a flexible and scalable open-source RL infrastructure designed for Embodied and Agentic AI.”
단일 기능보다 파이프라인
v0.3는 6개 체화 모델, 5개 시뮬레이터 또는 환경, 3개 원격조작 방식, 3개 실제 로봇 플랫폼, 2개 엔드 이펙터를 추가했다. 로봇, 카메라, 그리퍼, 데이터 포맷이 바뀔 때마다 코드를 다시 묶어야 하는 문제를 줄이려는 업데이트다.
핵심은 로봇 훈련을 더 옮기기 쉬운 공정으로 만드는 것이다. SpaceMouse, VR, GELLO로 데이터를 모으고, SFT 이후 PPO, GRPO, DSRL, RECAP, SAC-Flow로 훈련한 뒤 Franka, GimArm, DOS-W1 등에 배포하는 흐름을 지원한다.
시스템 계층이 승부처
Reward Model, Value Model, SGLang 서빙, 환경 실행 분리, torch.compile, rollout-training overlap, 가중치 동기화, FSDP full offload도 들어갔다. arXiv 논문은 reasoning RL과 embodied RL 작업에서 1.07배에서 2.43배의 엔드투엔드 훈련 처리량 향상을 보고했다.
Ascend CANN / torch-npu의 엔드투엔드 지원과 AMD ROCm, Musa 대응도 중국 개발자에게는 중요하다. 강화학습은 가속기 속도만이 아니라 스케줄링, 메모리 압박, 환경 실행 병목에 크게 영향을 받는다.
검증은 외부 재현에서 나온다
GitHub에는 4100개 이상의 Star, 600개 이상의 Fork, 100명 이상의 Contributors가 표시된다. 양자위는 Isaac Lab이 RLinf를 체화 대형모델 훈련 엔진으로 받아들였고, NVIDIA와의 의료기기 조립 작업이 GTC 2026에 등장했다고 전했다.
그래도 Star와 전시는 배포 증거가 아니다. 다음 확인 지점은 외부 팀의 예제 재현, 비 NVIDIA 하드웨어의 지속 지원, 실제 로봇 차이 속에서도 남는 성공률 개선이다.
참고 자료: 양자위, RLinf GitHub 저장소, RLinf v0.3 Release Notes, arXiv:2509.15965, CocoLoop; v0.3 공개, 6개 모델, 5개 시뮬레이션 환경, 3개 원격조작 방식, 3개 실제 플랫폼, 2개 엔드 이펙터, 4100+ Star, 600+ Fork, 100+ Contributors, 1.07-2.43배 훈련 처리량을 확인했다.