ロボットは見えていても、手先の接触で失敗する。NeoteAIと復旦大学TEAIチームは、N0-Foundation、N0-VTLA、N0-TWAMの3本の技術報告を公開した。研究ページ、報告書、データ、コード、チェックポイントがそろう。
触覚をデータ基盤にする
N0-Foundationが示すNeoDataは、3万時間超の視覚・触覚インタラクション、140万エピソード、33億タイムステップ、80億RGBフレーム、100億触覚フレームを含む。対象は6種類の本体と450超のタスクだ。
公開されたサブセットは5000時間で、6種類の本体、250超のタスク、200超のスキルを含む。再現に使える規模だが、全データの多くはまだ公開されていない点は区別して読む必要がある。
次の接触を予測する
N0-VTLAは触覚画像を単純にカメラ映像へ足すのではなく、現在の接触を潜在触覚トークンに圧縮し、次の動作チャンクで触覚がどう変わるかを予測する。つまり、滑り、詰まり、はまり込みを動作完了前に見積もる。
チーム報告では、9つのNeoReal実機タスク平均成功率が47.2%で、pi0.5基準の29.4%を上回った。プラグ挿入は85%対60%、ボード挿入は両基準の0から25%へ上がった。
触る未来を含む世界モデル
N0-TWAMは、未来映像、未来触覚、動作を1つの世界動作モデルで生成する。学習可能パラメータは7.16B、事前学習は128枚のH800 GPUで3万ステップ実施された。
平均成功率はUniVTACで84.5%、NeoSimで49.4%、8つの実機タスクで46.3%とされる。次に見るべき点は第三者再現、NeoReal/NeoSimへの外部提出、触覚センサーの安定量産と校正だ。
情報源：QbitAI、NeoteAI/復旦大学 N0-Foundation 技術報告、N0-VTLA 技術報告、N0-TWAM 技術報告、Hugging Face データセット、GitHub コードリポジトリ、CocoLoop；3万時間のインタラクション、140万エピソード、33億タイムステップ、80億RGBフレーム、100億触覚フレーム、5000時間公開サブセット、NeoReal成功率、N0-TWAM 7.16Bパラメータ、128枚H800と評価条件を確認。