騰訊這次沒有先講機器狗、機械臂或展台演示,而把兩套「腦子」直接放到開源社群:Hy-Embodied-VLM-1.0 負責看懂真實場景、推演動作影響;Hy-Embodied-RxBrain-1.0 負責把任務拆成語言步驟,並想像每一步完成後的目標畫面。
機器人公司過去常把會看、會想、會動拆成幾套系統。騰訊現在把其中兩層往基座模型方向收:一個用約 3B 激活參數追求端側效率,一個用約 6.2B 參數嘗試把推理和視覺目標生成放進同一序列。
兩個模型分工清楚
Hy-Embodied-VLM-1.0 是第二代具身 VLM,基於 Hy3-A3B 語言骨幹和 Hy-ViT2 視覺編碼器,MoE 總參數約 30B,每 token 激活約 3B。官方技術報告稱,它在 38 個具身相關基準中拿下 19 個同尺寸最佳、11 個第二名,較上一代平均提升 8.4%。
“We have released Hy-Embodied-VLM-1.0!”
RxBrain 更偏腦補與規劃,被定義為 embodied cognition foundation model,能力包括圖像和多幀影片問答、短時世界狀態預測、聯合子目標規劃。它會在同一條自回歸序列裡交替生成推理文本和想像畫面。
3B 管判斷,6.2B 管想像
- VLM-1.0 看效率:約 30B 總參數、約 3B 激活參數,BF16 權重約 86GB。
- RxBrain 看規劃:約 6.2B 參數,面向文本、圖像、影片與圖文交錯生成。
- 兩者都已開源,授權指向 Apache 2.0。
這像機器人系統裡的快腦和慢腦。快腦要便宜、穩定、能在部署側反覆調用;慢腦要把長任務拆開,把抽象語言落成可檢查的視覺目標。
資料帳比模型名更有信息量
VLM-1.0 的 mid-train 匯聚超過 1800 萬條問答資料,post-train 再加入約 4.8 萬條高品質指令資料。RxBrain 預訓練用了 50177 小時操作資料,其中第一視角及 UMI 資料 31568 小時、真實機器人資料 17292 小時、仿真資料 1317 小時;開源資料 28597 小時,占比約 57%。
團隊還把無標註長影片切成帶動作描述、起止狀態和時間邊界的原子動作序列,形成約 2.1 億條訓練樣本;mid-training 又加入 3500 萬條具身能力資料。
真機結果留下邊界
RxBrain-Bench 中,聯合具身規劃任務得分 0.68,高於 Cosmos3-Nano Agent、BAGEL-7B-MoT 和模組化 Qwen-Agent。短時未來影片生成得分 0.62,高於 Wan2.2-TI2V-5B,接近 Cosmos3-Nano。
在 DOBOT X-Trainer 和方舟無限 A5 上,擺放餐具、折疊並收納眼鏡、丟垃圾三項任務成功率為 97%、95% 和 68%,平均 87%。但目標圖像正確性 0.52、時間與物理合理性 0.53,八步自由滾動時規劃得分降到 0.55,說明長鏈條仍有漂移。
參考來源:機器之心;arXiv:2607.12894 核驗模型參數、38 項評測與性能口徑;GitHub 與 Hugging Face 核驗開源權重、Apache 2.0 許可和硬體要求;CocoLoop;騰訊混元公開倉庫核驗 RxBrain 參數、資料規模、基準分數與真機任務成功率。