3〜12秒の実演動画と、それに同期して記録された動作データをモデルのコンテキストウィンドウに詰め込むだけで、ロボットはそれまで一度も練習していない作業をこなしてしまう——勾配更新もファインチューニングもせず、重みは一つも変えない。Generalist AIはこの手法を「物理プロンプティング」と呼び、新モデルGEN-1.5とともに発表した。
GEN-1.5は、映像・センサー値・言語指示・固有受容感覚という4種類の入力を扱う大規模マルチモーダルモデルで、30秒の記憶ウィンドウを保持し、100Hzの動作軌道を出力する。チームによれば、データエンジン上で8か月以上にわたり継続的に学習を続けてきたという。
3つの数字が示す振れ幅
公式は10種類の操作タスクでテストを行った。ガラス瓶のふたを開ける、ペンケースのファスナーを開ける、財布から現金を取り出す、といった作業だ。1回の実演をコンテキストに入れたプロンプティングでは平均成功率は59%(標準偏差±10%)。タスクごとに5分間のデータ収集(約50回の実演)を行い、10ステップの勾配更新を経ると成績は83%(±9%)まで上がる。未知のタスクに対して1ステップだけ適応させた場合は66.5%だった。
24ポイントの差を埋めるコストは、5分間の収集時間と1回分の学習待ち時間だ。数十種類の部品を切り替える生産ラインにとって、この計算は難しくない。ファインチューニング方式ではSKUを変えるたびに収集と学習をやり直す必要があるが、コンテキストプロンプティングなら数秒で済む。とはいえ59%という水準は無人稼働にはほど遠く、今のところは人とロボットの協働作業から再プログラミングの手間を省く程度の意味合いにとどまる。
これを中国の同業各社のやり方と比べてみる。アリババ、AgiBot(智元)、Unitree(宇樹)といった企業はこの1年、依然としてデータ規模の拡大とハードウェア本体の作り込みを軸に据え、大量の遠隔操作サンプルで単一タスクの成功率を押し上げてきたが、タスクが変わればまた一から収集と学習をやり直す必要がある。GEN-1.5が選んだのは別の道だ。単一タスクでのピーク成績を犠牲にする代わりに、タスクを切り替える際に重みに触れずに済む自由度を手に入れた。ざっと計算すると、週に3〜5か所の新しい工程を立ち上げる工場であれば、両者の展開コストは人的コストで一桁近く差がつく可能性がある。
チーム自身も驚いた
"Inserting a single demonstration in the context buffer... yields any measurable competence at all was unexpected."(コンテキストバッファに実演を1つ入れるだけで、測定可能な能力が得られること自体が予想外だった。)
この一文が物事の重みを物語っている。言語モデルの文脈内学習も、かつてGPT-3から特に狙って学習させたわけでもなく「出現」した能力だった。Generalistが今回報告しているのは、同じ種類の創発がセンサーと関節角度の側で起きたということだ。同社は2024年、DeepMindとボストン・ダイナミクスの元研究者らによって設立され、これまでに4億ドルの資金調達を行っている。
公式が自ら引いた線引き
発表は弱点にも触れている。テストしたタスクはいずれも短時間で単純な操作にとどまり、成功率も際立って高いとは言えない。コンテキストから学んだスキルはファインチューニング済みのモデルよりはるかに脆く、物理プロンプティングは学習時には一度も見たことのない時間軸上の飛びを生み出し、実演の映像と実際の動作の間には断絶が残る。
これらの制約が示す結論は一つだ。1回の実演から新しいスキルを学ぶという道は、まだ端緒についたばかりということである。長時間タスクに耐えられるか、雑然とした環境で安定するかは、今後のバージョンが59%をどこまで押し上げられるかにかかっている。
参考資料:Generalist AI公式ブログのGEN-1.5発表、IoT Tech News、CocoLoop。単発実演59%、ファインチューニング後83%、未知タスク66.5%、30秒の記憶ウィンドウ、100Hzの動作頻度は、いずれも公式発表の数値に基づく。