AI 生成的视频有个老毛病:镜头往前推一段、再转回来,原先那把椅子可能就换了个样,墙上的画也飘没了。模型不记得”刚才这儿长啥样”。
6 月 14 日,微软研究院联合几所高校放出一个叫 Mirage 的视频世界模型,专治这个健忘症——而且代码和模型直接开源了。
问题出在”记性”上
让 AI 一边生成视频、一边保持场景前后一致,难就难在它得记住已经画过的东西。以前的做法是把看过的画面存成 3D 点云(一堆带颜色的空间点),下次镜头转回来再拿出来对照。
听着合理,但这套有个”双重瓶颈”:先把画面渲染成点云,回头又得把点云重新编码塞回模型——一来一回,又慢又吃显存。
Mirage 的取巧:记”特征”,不记”颜色”
Mirage 换了个思路:不存彩色的点云,直接把模型内部的图像特征,存进它自己的潜在空间(latent space)里当记忆。
省掉了”渲染成图、再编码回去”这趟来回,效果立竿见影:
- 生成速度最高快 10.57 倍
- 显存占用最多省到 1/55
- 在 WorldScore 基准上压过对手 Spatia
- RealEstate10K 的闭环测试里,三项指标拿下两项
它干活的方式是分段来:每生成一段,先从记忆里读出”这个角度该是什么样”,画的时候参考着,画完再把更新过的静态场景写回缓存。
一个有意思的取舍
值得拎出来说的是它怎么处理画面里会动的东西。研究者的原话是:
“Moving objects get dropped at segment boundaries because their geometry can’t be trusted, and the filter deliberately tosses them out.”
讲人话就是——会动的物体(还有天空)在段落交界处会被直接扔掉,因为它们的几何形状靠不住,记下来反而添乱。所以 Mirage 记的是房间、墙、家具这些”不动的底子”,动来动去的东西不进记忆。
这步棋走得务实:世界模型最该稳住的,本来就是那个”不变的空间骨架”。你转一圈回来,墙还是那面墙,比追求”连飞过的鸟都记得住”有用得多。
代码和模型已经挂在微软的 GitHub 上,论文编号 arXiv:2606.09828。对做游戏、做具身智能、做仿真的人来说,又快又省显存这两条,比跑分好看更实在。
参考来源:Microsoft Research's Mirage gives video generation a persistent spatial memory(The Decoder);CocoLoop、Latent Spatial Memory for Video World Models(arXiv:2606.09828)