텐센트는 이번에 로봇개나 전시 데모가 아니라 두 개의 “두뇌”를 오픈소스로 내놓았다. Hy-Embodied-VLM-1.0은 실제 장면을 이해하고 행동 영향을 추론하며, Hy-Embodied-RxBrain-1.0은 작업을 언어 단계로 쪼개고 각 단계 이후의 목표 이미지를 상상한다.
로봇 시스템은 보통 보기, 생각하기, 움직이기를 여러 시스템으로 나눴다. 텐센트는 그중 상위 인지 두 층을 기반 모델 방향으로 모은다. 하나는 약 3B 활성 파라미터로 배포 효율을 노리고, 다른 하나는 약 6.2B 파라미터로 추론과 시각 목표 생성을 묶는다.
두 모델의 분업
Hy-Embodied-VLM-1.0은 2세대 체화 VLM이다. Hy3-A3B 언어 백본과 Hy-ViT2 비전 인코더를 쓰며 MoE 총 파라미터는 약 30B, token당 활성 파라미터는 약 3B다. 공식 보고서는 38개 체화 벤치마크 중 19개에서 동급 1위, 11개에서 2위를 기록했고 이전 세대 대비 평균 8.4% 개선됐다고 말한다.
“We have released Hy-Embodied-VLM-1.0!”
RxBrain은 계획과 상상에 더 가깝다. 이미지와 다중 프레임 비디오 QA, 단기 세계 상태 예측, 공동 하위 목표 계획을 수행하며, 하나의 자기회귀 시퀀스 안에서 추론 텍스트와 상상 이미지를 번갈아 생성한다.
빠른 뇌와 느린 뇌
- VLM-1.0은 효율 중심이다. 총 30B, 활성 3B, BF16 가중치 약 86GB다.
- RxBrain은 계획 표현 중심이다. 약 6.2B 파라미터로 텍스트, 이미지, 비디오, 교차 생성을 다룬다.
- 두 모델 모두 공개됐고 라이선스는 Apache 2.0을 가리킨다.
빠른 쪽은 배포에서 반복 호출될 만큼 싸고 안정적이어야 한다. 느린 쪽은 긴 작업을 쪼개고 추상 언어를 점검 가능한 시각 목표로 바꿔야 한다.
데이터 규모가 더 많은 정보를 준다
VLM-1.0은 mid-train에서 1800만 건 이상의 QA 데이터, post-train에서 약 4.8만 건의 고품질 지시 데이터를 썼다. RxBrain은 50177시간의 조작 데이터를 사용했고, 이 중 31568시간은 1인칭 및 UMI 데이터, 17292시간은 실제 로봇 데이터, 1317시간은 시뮬레이션 데이터다. 오픈소스 데이터는 28597시간으로 약 57%다.
팀은 라벨 없는 긴 비디오를 행동 설명, 시작·종료 상태, 시간 경계가 있는 원자 행동 시퀀스로 나눠 약 2.1억 개 훈련 샘플을 만들었다. mid-training에는 공간 추론, 다중 시점 이해, 인과 추론, 시각定位, 행동 계획 등 3500만 건의 체화 능력 데이터가 추가됐다.
실기 결과는 한계도 남긴다
RxBrain-Bench에서 공동 체화 계획 점수는 0.68로 Cosmos3-Nano Agent, BAGEL-7B-MoT, Qwen-Agent를 웃돌았다. 단기 미래 비디오 생성은 0.62로 Wan2.2-TI2V-5B보다 높고 Cosmos3-Nano에 가깝다.
DOBOT X-Trainer와 ARX A5에서 식기 배치, 안경 접기·수납, 쓰레기 버리기 성공률은 97%, 95%, 68%, 평균 87%였다. 그러나 목표 이미지 정확성 0.52, 시간·물리 타당성 0.53, 8단계에서 계획 점수가 0.55로 떨어지는 한계도 보인다.
출처: Synced, arXiv:2607.12894, GitHub, Hugging Face, CocoLoop, Tencent Hunyuan 공개 저장소; 모델 파라미터, 38개 평가, Apache 2.0, 하드웨어 요구, 데이터 규모와 실제 로봇 성공률을 확인.