DeepMind 发布 Genie 4,世界模型自带声音

AI 研究题图:显微镜对准红色样本,旁边摊着节点图纸

Google DeepMind 发布实时交互世界模型 Genie 4。用户可以在模拟进行中用自然语言改天气、挪镜头、往场景里加人和物体,画面会接着往下演,不用重新生成。DeepMind 称这是它第一个原生生成音频的实时世界模型,环境声、配乐和角色对话跟画面同步出,角色还能对用户输入或场景里发生的事实时回话。

“Genie 4 is our first real-time world model to generate audio natively.” (Genie 4 是我们首个原生生成音频的实时世界模型。)

能做什么,谁能用

按官方介绍,Genie 4 的升级集中在三块。一是物理,支持空气动力学、碰撞这类场景;二是人物,动作更自然,会对环境作出反应,也能被用户实时操控;三是多步骤事件,由 Gemini 3.8 Flash 充当引导代理,把用户目标拆成步骤,逐帧检查每一步有没有完成,用户中途插手或场景变化时再调整计划。DeepMind 还提到,正在试验把 Gemini 4 Argon 和 Genie 4 接在一起,用于机器人相关的模拟。

开放节奏分三步:现在是面向可信测试者的研究预览;下一步给 Google AI Ultra 订阅用户(入口叫 Project Genie),以及 Gemini API、Google AI Studio 的早期合作伙伴,页面上挂了等候名单表单。生成的视频和音频都会打上 SynthID 水印。

官方自己列出的短板

这次公告没有任何量化指标,分辨率、帧率、单次可玩时长、操作延迟都没写,也没有和上一代做数字对比,只用了”写实感增强”这类定性描述。

DeepMind 倒是把限制写得很清楚:会话变长、复杂提示改多几轮或者在场景里走远之后,视觉细节和物体恒常性”still shift or drift over time”(仍会随时间偏移漂移)。复杂物理交互、实时音频的准确性、可读文字渲染、空间精度和长期一致性,都被列为仍在研究的问题。

国内读者怎么看

Genie 4 首批开放渠道是 AI Ultra 订阅和 Gemini API 早期合作,这两条在中国大陆都用不了,国内开发者短期内只能看演示视频。

国内这条线并不空。昆仑万维 10 月中旬开源的 Matrix-Game 4.0,主打单张 RTX 5090 跑到每秒 60 帧,权重可以下载到本地;也有团队用国产 NPU 把世界模型跑到 50 帧上下。它们公开了帧率这类可比指标,Genie 4 这次反而没有。

差距更可能出在两处:一是原生音频和角色对话,国内开源方案目前多数只出画面;二是用 Gemini 做规划代理、逐帧验收多步任务,这需要一个足够强的多模态模型在旁边盯着,单做视频生成的团队不容易补齐。等 Genie 4 进入 API 阶段、给出延迟和时长数字,两边才有一张能放在一起看的表。

参考来源:Google DeepMind 官方博客、CocoLoop;开放范围、引导代理所用模型与已知限制以 DeepMind 官方说明为准,国内世界模型帧率参照各项目公开数据。