Mistral釋出Large 4權重,上下文拉到100萬

Open source illustration: hands joining branches to a shared node tree

Mistral 的兆級參數模型 Mistral Large 4 釋出了開放權重。Hugging Face 於 10 月 29 日發文介紹,模型以 FP8 和 NVFP4 兩種精度上架,Transformers、vLLM、llama.cpp 當天即可執行,Unsloth 也同步釋出了 GGUF 量化版本。Mistral 在 10 月 6 日推出研究預覽版時承諾月底開源,這次算是如期兌現。

架構與授權

模型儲存庫名稱為 Mistral-Large-4-1T-A52B。依 Hugging Face 的介紹,模型共 72 層,採用 128 個專家的混合專家(MoE)架構,每個 token 會經過 4 個路由專家加 1 個共享專家;注意力機制使用了多頭潛在注意力(MLA)與稀疏索引,每個查詢最多可看 2048 個鍵位置。視覺部分是一個 1.6B 的 Pixtral 編碼器,支援文字加圖像輸入、文字輸出。

啟用參數目前有兩種說法:部落格正文寫約 490 億,儲存庫名稱標的是 520 億,仍須以 Mistral 後續說明為準。上下文視窗標稱 100 萬 token,但實際部署設定會低一些,vLLM 與 Inference Endpoints 的範例開到 131K,llama.cpp 的 2-bit 量化版本則是 80 萬。

授權條款名為 Mistral Ecosystem Open-Weight License,是在 MIT 的基礎上改寫而成,限制將模型直接包裝成模型即服務(MaaS)對外販售。自用、微調與私有部署不受這項限制影響,打算轉賣 API 的雲端業者則須先看清條款。

成績集中在資安與程式開發

在 Hugging Face 列出的成績中,資安類最為突出:Cybench 的 40 道資安競賽題拿下 93%,漏洞重現與修補 82%,Lakera B3 攻擊抵抗 93.3%,Artificial Analysis 網路安全指數則排進全球前五。在程式開發智慧體方面,DeepSWE v1.1 為 61.7%,SWE-Atlas-QnA 為 59.4%,Terminal-Bench 4 為 28.3%。綜合智慧指數在開放權重模型中排名第五。

"Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality."(Mistral Large 4 在網路安全、程式開發智慧體與多模態上表現尤其強。)

這些都是官方與合作夥伴的說法,社群拿到權重後能重現出多少,還需要時間觀察。

從 Large 3 到開放權重

把 Mistral 這條產品線串起來看,變化不小。依 Artificial Analysis 在預覽版發表時提供的數據,Large 3 的智慧指數只有 9 分,Large 4 預覽版拿到 38 分。預覽階段模型僅透過 Mistral 自家 API 開放,優先提供給開發者、資安負責人與政府機構;當時 Mistral 也承認,在程式開發等領域仍落後於最前沿的閉源模型。這次公布的 Terminal-Bench 4 只有 28.3%,與資安類九成以上的分數相比差距明顯,和這句自我評價大致吻合。

權重釋出後,部署方式一下子多了起來。Hugging Face Inference Endpoints 使用 8 張 H200,Dell Enterprise Hub 的範例用 4 張 B300,TRL 微調範例則需要一台 8 卡 B300 節點。llama.cpp 的 2-bit 量化版本可以塞進一台 512GB 統一記憶體的 Apple Silicon Ultra,其他量化版本須以多卡分散式執行,官方曾在 4 張 RTX 6000 Pro 上測試過。

預覽版報導時我們曾估算,以 8 位元精度計算,光是存放權重就需要約 1TB 的顯示記憶體。如今 NVFP4 與 2-bit 版本把門檻壓了下來,但對多數團隊而言,一台 8 卡 Blackwell 伺服器仍是起步配置。Mistral API 上的正式定價,這次的介紹並未提及。

參考來源:Hugging Face 官方部落格、vLLM 部落格、CocoLoop、Artificial Analysis;參數架構、上下文長度與授權名稱已對照 Hugging Face 模型卡查證。