NVIDIA 開源機器人世界模型 Cosmos 3

NVIDIA 這次沒有發表新晶片,而是推出了一個模型——而且是開源的。

Cosmos 3 被黃仁勳定位為「Physical AI 的開源前沿基礎模型」。白話來說,過去的大型模型只會讀文字、看圖、生成影片,而 Cosmos 3 要讓機器人和自駕車真正「腦補」出物理世界接下來會發生什麼,然後自行決定手該怎麼動、輪子該往哪轉。

一個模型同時負責看、想、動

Cosmos 3 的核心是一套混合 Transformer 架構——一個負責推理的 Transformer 搭配一個專做生成的 Transformer。前者先釐清物體之間如何互動、物體如何移動、空間與時間的關係,後者再據此生成影片和動作軌跡。

它真正與眾不同的地方,是直接輸出「動作數據」:機器人關節該轉多少度、夾爪開多大、軌跡怎麼走。這些過去都得靠人在真實環境中一遍遍採集,現在模型能合成。

NVIDIA 表示,這把 Physical AI 的訓練與評估週期從幾個月壓縮到幾天。

三種尺寸,最小的能放進工作站

這次一口氣推出三個版本:

  • Cosmos 3 Nano(16B 參數)—— 工作站,一張 RTX PRO 6000 即可運行
  • Cosmos 3 Super(64B 參數)—— 資料中心,Hopper / Blackwell
  • Cosmos 3 Edge(待發布)—— 邊緣端即時推理

16B 這個尺寸值得關注——代表做機器人的小團隊不用租雲端,用自己的工作站就能跑起來調整。

在跑分方面,NVIDIA 列出一長串第一:世界生成方向的 Physics-IQ、PAI-Bench、R-Bench,動作策略方向的 RoboArena,外加幾個視覺理解的榜單,Cosmos 3 都排在首位。當然這是 NVIDIA 自己挑的榜單,真實表現還得等社群上手。

順手拉了一群人組隊

光開源還不夠,NVIDIA 又成立了「Cosmos 聯盟」,創始成員包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway、Skild AI——既有做機器人的,也有做影片生成的。

黃仁勳的原話:

「The Cosmos 3 family of open, frontier omnimodels gives developers a generational leap in ability to build robots, autonomous vehicles and vision AI.」

他認為這是做機器人、自駕車和視覺 AI 的人,能力上的一次「換代」。

有意思的是路線選擇。Physical AI 這條賽道現在擠滿了人,但多數公司是閉源自己練。NVIDIA 反其道而行,把底座開源出去,聯盟拉滿——它賭的不是某一台機器人賣得好,而是所有人都用它的模型、它的晶片來訓練機器人。賣鏟子的邏輯,又跑了一遍。

參考來源:NVIDIA Newsroom;Tech Startups;Axios;CocoLoop