Google DeepMind 这次没有再展示一个更会“造视频”的模型。
它把视频生成模型拆开,改成了一个会做视觉感知的模型:看一段视频,按文字指令输出深度、法线、相机位姿、分割结果和 3D 关键点。论文给这个系统起名 GenCeption,入选 ECCV 2026,中文圈今天开始集中讨论。
这件事的钩子在于方向反了。过去视觉模型通常先学会识别、检测、分割,再给生成模型当工具;GenCeption 的路线是让一个已经学会生成视频的扩散模型,回头去理解真实画面里的空间关系。
“video generation is not merely a synthesis tool, but a foundational path toward generalist vision intelligence for the physical world.”
研究团队的判断很直接:视频生成已经可以承担通用视觉智能的底座。
生成模型反过来做感知
GenCeption 的底座来自 WAN 2.1 文生视频扩散模型,团队把多步去噪的生成骨干改成单步前馈模型,再用任务提示词切换输出类型。你可以把它理解成人类看视频时的几种提问方式:
- “这段画面里每个像素离相机多远?”
- “物体表面朝向哪里?”
- “镜头从哪里移动到哪里?”
- “这句话指的是哪个移动目标?”
模型不用给每个任务单独换一套大脑。项目页写得很清楚:一个统一 backbone、一个统一 head,通过 task prompt 控制输出。论文把这个叫做从“专用视觉模型”转向“通用视觉模型”。
这里的变化不在榜单分数本身,在训练范式。 视频生成模型为了把下一帧画出来,必须在内部压进物体恒常性、3D 几何、运动连续性和语言对齐。DeepMind 这篇论文等于把这些能力从“生成视频时顺手学到的东西”里抽出来,拿去做感知任务。
几组数字说明它跑到了哪一步
论文和项目页给出的数据比较硬:
- 模型有 1.3B 和 14B 两档,均基于 WAN 2.1;
- 训练主要依赖合成数据,单数据集实验用到 7500 条视频、约 90 万帧;
- 在深度、表面法线、相机位姿、开放词指代分割、3D 关键点等任务上,对比 DepthAnything 3、SAM 3、D4RT、VGGT-Ω、Sapiens、Genmo、Lotus-2 等专用模型;
- 数据效率实验里,GenCeption 用 7 到 500 倍更少训练数据,达到 D4RT、VGGT-Ω 这类领先模型的相近水平。
推理成本也被摊开了。论文写到,在单个 v6e TPU、81 帧、480×832 分辨率下,1.3B 模型耗时 5.92 秒,约 13.6 FPS,显存 15.3GB;14B 模型耗时 10.03 秒,约 8.0 FPS,显存 42.8GB。这个速度离消费级实时应用还有距离,但已经不再是纯论文里“能跑一次就行”的系统。
更有意思的实验是泛化。团队让模型只看合成人类视频训练,然后拿真实世界视频、动物、机器人这类分布外对象去测。结果显示,它仍能输出可用的深度、法线和分割。这说明视频生成模型学到的空间先验,可能没有被锁死在训练数据的外观里。
对机器人和 AR 来说,这比会画视频更实用
如果只看消费端,视频模型的竞争一直围绕画质、时长、可控性和成本。GenCeption 把重点挪到另一侧:视频模型能不能变成机器看世界的底层传感器。
机器人需要的恰好是这类能力。机械臂抓取、移动机器人导航、AR 眼镜理解房间,都要知道物体边界、距离、相机运动和人体关键点。传统做法是为每个能力维护一套专门模型,再用工程系统拼起来。拼得越多,延迟、误差和维护成本越高。
GenCeption 的想象空间在于:一个模型用同一段视频输入,按任务提示吐出多种几何和语义结果。 这会让感知系统的接口变薄。工程师不用先决定“我要调哪个专用模型”,可以把需求写成视觉任务,让统一模型输出答案。
当然,限制也很明显。项目页标着 Code TBA,代码尚未放出;论文里的训练与评测大量依赖合成数据,真实工业场景里的强反光、遮挡、脏污、低照度还要单独验证。8 到 13.6 FPS 的推理速度,也会限制它直接接入高速机器人闭环。
视觉模型可能也在经历一次预训练迁移
大语言模型的转折点,是把“预测下一个 token”变成通用预训练任务。计算机视觉过去没有同等地位的统一任务:分类、检测、分割、深度估计、姿态估计各走各路。
DeepMind 这篇论文给出的答案很激进:让视频生成承担视觉预训练。它不要求人工标注每个物体边界,也不要求提前规定所有任务;模型先从大规模视频生成里学世界,再通过少量后训练转成感知模型。
这条路如果继续跑通,视频生成公司和机器人公司之间的边界会变模糊。会画视频的模型,可能同时变成机器人、AR 和自动驾驶里的“空间理解器”。届时,评价一个视频模型也不能只看画面漂不漂亮,还要看它对镜头、物体和动作的理解能不能被下游系统调用。
短期看,GenCeption 还未到可直接商用的阶段。它更像一个研究信号:生成模型正在从内容工具,往物理世界的感知底座靠近。下一步要看的节点很具体:代码开放、真实视频 benchmark 复现、机器人或 AR 端到端实验,以及 14B 模型能否把推理速度压进实时闭环。
参考来源:arXiv:2607.09024 与 GenCeption 项目页核验模型结构、训练数据、ECCV 2026 与指标口径;Hugging Face Papers、CocoLoop、机器之心Pro核验中文关注度与论文页面信息。