DeepMind 推出 Genie 4,世界模型原生生成聲音

AI research illustration: a microscope over a red sample beside node diagrams

Google DeepMind 發表即時互動世界模型 Genie 4。使用者可以在模擬進行中,用自然語言改變天氣、移動鏡頭,並在場景裡加入人物和物件,畫面會接著往下演,不必重新生成。DeepMind 稱這是第一個原生生成音訊的即時世界模型,環境音、配樂與角色對話會與畫面同步產生,角色也能針對使用者的輸入或場景中發生的事即時回話。

"Genie 4 is our first real-time world model to generate audio natively."(Genie 4 是我們首個原生生成音訊的即時世界模型。)

能做什麼,誰能用

依官方介紹,Genie 4 的升級集中在三個面向。一是物理,支援空氣動力學、碰撞這類場景;二是人物,動作更自然,會對環境做出反應,也能由使用者即時操控;三是多步驟事件,由 Gemini 3.8 Flash 擔任引導代理,把使用者的目標拆成步驟,逐幀檢查每一步是否完成,使用者中途介入或場景改變時再調整計畫。DeepMind 還提到,正在試驗把 Gemini 4 Argon 與 Genie 4 串接起來,用於機器人相關的模擬。

開放節奏分三步:目前是面向受信任測試者的研究預覽;下一步開放給 Google AI Ultra 訂閱用戶(入口稱為 Project Genie),以及 Gemini API、Google AI Studio 的早期合作夥伴,頁面上掛有候補名單表單。生成的影片與音訊都會加上 SynthID 浮水印。

官方自己列出的短板

這次公告沒有任何量化指標,解析度、幀率、單次可玩時長、操作延遲都沒寫,也沒有與上一代做數字比較,只用了「寫實感增強」這類定性描述。

DeepMind 倒是把限制寫得很清楚:會話變長、複雜提示詞多改幾輪,或在場景裡走得很遠之後,視覺細節與物件恆常性「still shift or drift over time」(仍會隨時間偏移漂移)。複雜物理互動、即時音訊的準確度、可讀文字的渲染、空間精度與長期一致性,都被列為仍在研究的問題。

中國大陸讀者怎麼看

Genie 4 首批開放的管道是 AI Ultra 訂閱與 Gemini API 早期合作,這兩條在中國大陸都用不了,當地開發者短期內只能看示範影片。

中國大陸這條線並不空。崑崙萬維在 10 月中旬開源的 Matrix-Game 4.0,主打單張 RTX 5090 跑到每秒 60 幀,權重可以下載到本機;也有團隊用國產 NPU 把世界模型跑到 50 幀上下。它們公開了幀率這類可比較的指標,Genie 4 這次反而沒有。

差距更可能出在兩處:一是原生音訊與角色對話,中國大陸的開源方案目前多半只輸出畫面;二是用 Gemini 當規劃代理、逐幀驗收多步驟任務,這需要一個夠強的多模態模型在旁盯著,只做影片生成的團隊不容易補齊。等 Genie 4 進入 API 階段、公布延遲與時長數字,兩邊才會有一張能放在一起比較的表。

參考來源:Google DeepMind 官方部落格、CocoLoop;開放範圍、引導代理所用模型與已知限制以 DeepMind 官方說明為準,中國大陸世界模型的幀率參照各專案公開資料。