昆崙萬維旗下的 Skywork AI 於 10 月 15 日開源 Matrix-Game 4.0。這一版改變了做法:遊戲引擎負責世界狀態、物理規則與玩家輸入,影片模型只需把引擎輸出的低多邊形畫面「畫」成精細的畫面。
官方公布的指標是在單張 RTX 5090 上以 480p、60 幀運行,從玩家操作到畫面回應的延遲低於 150 毫秒。專案將其稱為面向可玩遊戲的串流式神經渲染。
引擎管邏輯,模型管畫面
依 GitHub 上的說明,4.0 的影片模型是一個因果式、少步數的生成模型,輸入為引擎渲染的低多邊形 RGB 影格加上文字提示,輸出則是逐格連續、細節豐富的畫面。遊戲規則、碰撞、計分這些邏輯都留在引擎裡。
另外還有一個程式設計代理:玩家以自然語言提出修改,例如換一種玩法規則,代理會把它轉成新的遊戲規則與渲染提示,畫面風格與玩法可以一起改變。
此次釋出的內容包括:
- 模型權重、推論設定與推論程式碼(單卡推論)
- 瀏覽器試玩版與遊戲原始碼
- 三個場景的素材:中世紀城堡、古埃及兩款第三人稱射擊遊戲,以及一款城市賽車遊戲
README 標示的授權為 Apache-2.0,第三方元件與素材沿用各自的授權。模型參數量官方並未公布。
四個版本走過的路
把 Matrix-Game 幾個版本串起來看,路線的轉變相當明顯。
2025 年 5 月的 1.0 擁有 170 億以上的參數,以《當個創世神》類場景為主,模型直接依據操作生成下一段影片,連世界本身也由模型「想像」出來。2025 年 8 月的 2.0 把重點放在低延遲與長序列互動,能以每秒約 25 幀的速度連續生成。今年 3 月 27 日的 3.0 加入長時記憶,主打高解析度與即時互動,對標的是 Google 的 Genie 3。
前三版都讓模型同時承擔世界與畫面,一致性始終是難題:走遠了再回頭,場景可能對不上。4.0 把世界交還給引擎,模型只負責渲染,一致性由引擎兜底,幀率也從 2.0 的約 25 幀提升到 60 幀。代價是可玩內容的邊界回到了引擎能表達的範圍內,玩家無法憑空「生成」引擎裡不存在的物件或規則,只能透過程式設計代理來修改。
這條路線在思路上與輝達 DLSS 這類神經渲染相近,都是讓傳統管線產出低精度結果,再交給神經網路補足細節;差別在於 Matrix-Game 4.0 的補全幅度大得多,低多邊形輸入幾乎只提供構圖與動作。
中國大陸的開發者若想重現,還有一道硬體門檻。受出口管制影響,大陸管道正規販售的是特供版 RTX 5090D,而專案公布的測試條件是 RTX 5090;換成 D 版或上一代 4090 能跑到多少幀、延遲會不會超過 150 毫秒,README 並未提供數據。對想拿它做原型的小團隊來說,先在自己手上的顯示卡跑一遍官方試玩版,比看宣傳指標更可靠。
官方列出的後續方向有三個:提高解析度、支援更多遊戲類型、探索多人場景下各玩家所見畫面如何保持一致。480p 距離主流遊戲的畫質仍有差距,第三方在其他顯示卡上的實測數據目前也還沒有。
參考來源:SkyworkAI GitHub 專案頁面、TechNode、CocoLoop、Pandaily;解析度、幀率與延遲以昆崙萬維公布的單張 RTX 5090 測試條件為準,授權以專案 README 為準。