昆仑万维开源Matrix-Game 4.0,单张5090跑60帧

昆仑万维旗下 Skywork AI 10 月 15 日开源 Matrix-Game 4.0。这一版换了做法:游戏引擎负责世界状态、物理规则和玩家输入,视频模型只管把引擎输出的低多边形画面”画”成精细画面。

官方给出的指标是在单张 RTX 5090 上以 480p、60 帧运行,从玩家操作到画面响应的延迟低于 150 毫秒。项目把它称为面向可玩游戏的流式神经渲染。

引擎管逻辑,模型管画面

按 GitHub 上的说明,4.0 的视频模型是一个因果、少步数的生成模型,输入是引擎渲染的低多边形 RGB 帧加文本提示,输出是逐帧连续的高细节画面。游戏规则、碰撞、得分这些逻辑都留在引擎里。

另外还有一个编程智能体:玩家用自然语言提出改动,比如换一种玩法规则,智能体把它翻成新的游戏规则和渲染提示,画面风格和玩法可以一起变。

这次放出的内容包括:

  • 模型权重、推理配置和推理代码(单卡推理)
  • 浏览器演示和游戏源码
  • 三个场景的素材:中世纪城堡、古埃及两款第三人称射击,以及一款城市赛车

README 写的许可证是 Apache-2.0,第三方组件和素材沿用各自的许可。模型参数量官方没有公布。

四个版本走过的路

把 Matrix-Game 几个版本连起来看,路线变化很明显。

2025 年 5 月的 1.0 有 170 亿以上参数,以《我的世界》类场景为主,模型直接根据操作生成下一段视频,世界本身也由模型”想象”出来。2025 年 8 月的 2.0 把重点放在低延迟和长序列交互上,能以 25 帧左右的速度连续生成。今年 3 月 27 日的 3.0 加入了长时记忆,主打高分辨率和实时交互,对标的是 Google 的 Genie 3。

前三版都在让模型同时承担世界和画面,一致性一直是难点:走远了再回头,场景可能对不上。4.0 把世界交回给引擎,模型只负责渲染,一致性靠引擎兜底,帧率也从 2.0 的 25 帧左右提到 60 帧。代价是可玩内容的边界回到了引擎能表达的范围里,玩家没法凭空”生成”一个引擎里不存在的物体或规则,只能通过编程智能体去改。

这条路线和英伟达 DLSS 一类神经渲染在思路上接近,都是让传统管线出低精度结果,再交给网络补细节;区别在于 Matrix-Game 4.0 的补全幅度大得多,低多边形输入几乎只给出构图和运动。

国内开发者想复现,还有一道硬件上的坎。受出口管制影响,国内渠道正规销售的是特供版 RTX 5090D,项目公布的测试口径是 RTX 5090,换成 D 版或者上一代 4090 能跑到多少帧、延迟会不会超过 150 毫秒,README 没有给出数据。对想拿它做原型的小团队来说,先在自己手里的卡上跑一遍官方演示,比看宣传指标更可靠。

官方列出的后续方向有三个:提高分辨率、支持更多游戏类型、探索多人场景下各玩家看到的画面保持一致。480p 离主流游戏的画质还有距离,第三方在其他显卡上的实测数据目前也还没有。

参考来源:SkyworkAI GitHub 项目页、TechNode、CocoLoop、Pandaily;分辨率、帧率与延迟以昆仑万维公布的单张 RTX 5090 测试口径为准,许可证以项目 README 为准。