テンセントは今回、ロボット犬や展示デモではなく、二つの「頭脳」をオープンソースに出した。Hy-Embodied-VLM-1.0 は現実場面を理解し、動作の影響を推論する。Hy-Embodied-RxBrain-1.0 はタスクを言語ステップに分け、それぞれの完了後の目標画面を想像する。
ロボットシステムはこれまで、見る、考える、動くを別々の仕組みに分けることが多かった。テンセントはその上位認知の二層を基盤モデル側へ寄せている。一つは約3Bの活性化パラメータで効率を狙い、もう一つは約6.2Bパラメータで推論と視覚目標生成をまとめる。
二つのモデルの役割
Hy-Embodied-VLM-1.0 は第2世代の身体性VLMで、Hy3-A3B 言語骨格と Hy-ViT2 視覚エンコーダを使う。MoE総パラメータは約30B、tokenごとの活性化は約3B。公式報告では、38の身体性関連ベンチマーク中19で同規模トップ、11で2位、前世代比平均8.4%改善とされる。
“We have released Hy-Embodied-VLM-1.0!”
RxBrain はより計画と想像に寄る。画像・複数フレーム動画QA、短期世界状態予測、共同サブゴール計画を担い、自己回帰系列の中で推論テキストと想像画像を交互に生成する。
速い脳と遅い脳
- VLM-1.0 は効率重視。約30B総パラメータ、約3B活性化、BF16重み約86GB。
- RxBrain は計画表現重視。約6.2Bパラメータでテキスト、画像、動画、画像テキスト交錯生成を扱う。
- 両方とも公開され、ライセンスは Apache 2.0 を指す。
高速側は導入時に繰り返し呼べる安定性が必要で、低速側は長い作業を分解し、抽象言語を検査可能な視覚目標へ落とす。
データ規模が示す路線
VLM-1.0 は mid-train で1800万件超のQAデータ、post-train で約4.8万件の高品質指示データを使った。RxBrain は50177時間の操作データを使い、その内訳は一人称およびUMIデータ31568時間、実ロボット17292時間、シミュレーション1317時間。オープンソースデータは28597時間で約57%を占める。
さらに長い未ラベル動画を、動作説明、開始・終了状態、時間境界付きの原子動作列へ切り、約2.1億件の訓練サンプルを形成した。mid-training では空間推論、多視点理解、因果推論、視覚定位、行動計画を含む3500万件の身体性能力データも加えた。
実機結果は境界も示す
RxBrain-Bench の共同身体性計画は0.68で、Cosmos3-Nano Agent、BAGEL-7B-MoT、モジュール型 Qwen-Agent を上回った。短期未来動画生成は0.62で、Wan2.2-TI2V-5Bを上回り Cosmos3-Nano に近い。
DOBOT X-Trainer と ARX A5 での実機検証では、食器配置、眼鏡の折りたたみ収納、ゴミ捨ての成功率が97%、95%、68%、平均87%。ただし目標画像正確性0.52、時間・物理妥当性0.53、8ステップで計画スコアが0.55まで落ちるなど、長鎖の難しさも残る。
参考資料：機器之心、arXiv:2607.12894、GitHub、Hugging Face、CocoLoop、テンセント混元公開リポジトリ；モデルパラメータ、38項目評価、Apache 2.0、ハードウェア要件、データ規模と実機成功率を確認。