DeepMind、音声も生成する世界モデル「Genie 4」

AI research illustration: a microscope over a red sample beside node diagrams

Google DeepMindは、リアルタイムで対話できる世界モデル「Genie 4」を発表した。シミュレーションの進行中に、自然言語で天候を変え、カメラを動かし、シーンに人物や物体を加えられる。映像は生成し直すことなく、そのまま続きが描かれる。DeepMindはこれを音声をネイティブに生成する初のリアルタイム世界モデルと位置づけている。環境音、BGM、キャラクターの台詞が映像と同期して出力され、キャラクターはユーザーの入力やシーン内の出来事にリアルタイムで返答できるという。

"Genie 4 is our first real-time world model to generate audio natively."(Genie 4は、音声をネイティブに生成する当社初のリアルタイム世界モデルです。)

できること、使える人

公式の説明によると、Genie 4の強化点は大きく3つある。1つ目は物理で、空気力学や衝突といった場面に対応する。2つ目は人物で、動きがより自然になり、周囲に反応し、ユーザーがリアルタイムで操作することもできる。3つ目は複数ステップのイベントだ。Gemini 3.8 Flashが誘導エージェントを務め、ユーザーの目標をステップに分解し、各ステップが完了したかをフレームごとに確認する。ユーザーが途中で介入したりシーンが変わったりすれば、計画を調整する。DeepMindはさらに、Gemini 4 ArgonとGenie 4を組み合わせ、ロボット関連のシミュレーションで試していることにも触れた。

提供は3段階で進む。現在は信頼できるテスターを対象とした研究プレビューだ。次の段階では、Google AI Ultraの契約者(入口は「Project Genie」)と、Gemini APIおよびGoogle AI Studioの早期パートナーが対象となる。ページにはウェイトリストのフォームが設けられている。生成された映像と音声には、いずれもSynthIDの透かしが入る。

公式が自ら挙げた弱点

今回の発表には定量的な指標が一切ない。解像度、フレームレート、連続プレイ時間、操作遅延はいずれも記載がなく、前世代との数値比較もない。「リアリズムの向上」といった定性的な表現にとどまる。

一方で、制約はDeepMindがはっきり書いている。セッションが長くなったり、複雑なプロンプトを何度か修正したり、シーン内を遠くまで進んだりすると、視覚的なディテールとオブジェクトの恒常性は"still shift or drift over time"(時間とともにずれたり漂ったりする)という。複雑な物理インタラクション、リアルタイム音声の正確さ、読み取れる文字のレンダリング、空間的な精度、長期的な一貫性は、いずれも研究中の課題として挙げられている。

中国の読者はどう見るか

Genie 4の最初の提供経路はAI Ultraの契約とGemini APIの早期提携で、どちらも中国本土では利用できない。中国の開発者は当面、デモ動画を眺めるしかない。

中国側の動きも手薄ではない。昆侖万維(Kunlun Tech)が10月中旬にオープンソース化した「Matrix-Game 4.0」は、RTX 5090 1枚で毎秒60フレームを出すことを売りにしており、重みはローカルにダウンロードできる。国産NPUで世界モデルを50フレーム前後で動かしたチームもある。これらはフレームレートといった比較可能な指標を公開しているが、Genie 4は今回それを出していない。

差は2点に出る可能性が高い。1つはネイティブ音声とキャラクターの台詞で、中国のオープンソース勢は今のところ映像のみを出力するものが多い。もう1つは、Geminiを計画エージェントとして使い、複数ステップの課題をフレームごとに検収する仕組みだ。これには十分に強力なマルチモーダルモデルが傍らで監視する必要があり、動画生成だけに取り組むチームには追いつきにくい。Genie 4がAPI段階に入り、遅延や継続時間の数字が出て初めて、両者を並べて比べられる表ができる。

参考資料:Google DeepMind公式ブログ、CocoLoop。提供範囲、誘導エージェントに使われるモデル、既知の制約はDeepMindの公式説明に基づく。中国の世界モデルのフレームレートは各プロジェクトの公開データを参照した。