Mistral放出Large 4权重,上下文拉到100万

开源题图:几只手把枝条接到中央的节点树上

Mistral 的万亿参数模型 Mistral Large 4 放出了开放权重。Hugging Face 10 月 29 日发文介绍,模型以 FP8 和 NVFP4 两种精度上架,Transformers、vLLM、llama.cpp 当天即可运行,Unsloth 也同步放出了 GGUF 量化版本。Mistral 在 10 月 6 日推出研究预览版时承诺月底开源,这次算是按时兑现。

结构和许可

模型仓库名为 Mistral-Large-4-1T-A52B。按 Hugging Face 的介绍,模型共 72 层,采用 128 个专家的混合专家(MoE)结构,每个 token 走 4 个路由专家加 1 个共享专家;注意力部分用了多头潜在注意力(MLA)和稀疏索引,每个查询最多看 2048 个键位置。视觉部分是一个 1.6B 的 Pixtral 编码器,支持文本加图像输入、文本输出。

激活参数目前有两种口径:博客正文写约 490 亿,仓库名标的是 520 亿,以 Mistral 后续说明为准。上下文窗口标称 100 万 token,实际部署配置会低一些,vLLM 和 Inference Endpoints 的示例开到 131K,llama.cpp 的 2-bit 量化版本是 80 万。

许可证叫 Mistral Ecosystem Open-Weight License,在 MIT 基础上改写,限制把模型直接包装成模型即服务对外售卖。自用、微调和私有部署不受这条影响,打算拿它转手卖 API 的云厂商需要先看清条款。

分数集中在安全和编程

Hugging Face 列出的成绩里,安全类最突出:Cybench 的 40 道安全竞赛题拿到 93%,漏洞复现与修补 82%,Lakera B3 攻击抵抗 93.3%,Artificial Analysis 网络安全指数排进全球前五。编程智能体方向,DeepSWE v1.1 为 61.7%,SWE-Atlas-QnA 为 59.4%,Terminal-Bench 4 为 28.3%。综合智能指数在开放权重模型里排第五。

“Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality.” (Mistral Large 4 在网络安全、编程智能体和多模态上表现尤其强。)

这些都是官方和合作方口径,社区拿到权重后能复现出多少,还需要时间。

从 Large 3 到开放权重

把 Mistral 这条线串起来看,变化不小。按 Artificial Analysis 在预览版发布时给出的数据,Large 3 的智能指数只有 9 分,Large 4 预览版拿到 38 分。预览阶段模型只通过 Mistral 自家 API 开放,优先给开发者、安全负责人和政府机构;当时 Mistral 也承认,它在编程等领域仍落后于最前沿的闭源模型。这次公布的 Terminal-Bench 4 只有 28.3%,和安全类九成以上的分数相比差距明显,与那句自我评价大体对得上。

权重放出后,部署方式一下子多了。Hugging Face Inference Endpoints 用 8 张 H200,Dell Enterprise Hub 的示例用 4 张 B300,TRL 微调示例需要一台 8 卡 B300 节点。llama.cpp 的 2-bit 量化能塞进一台 512GB 统一内存的 Apple Silicon Ultra,其他量化要多卡分布式运行,官方在 4 张 RTX 6000 Pro 上测过。

预览版报道时我们估算过,按 8 位精度,光存权重就要约 1TB 显存。如今 NVFP4 和 2-bit 版本把门槛压了下来,可对多数团队来说,一台 8 卡 Blackwell 服务器依然是起步配置。Mistral API 上的正式定价,这次的介绍里没有提及。

参考来源:Hugging Face 官方博客、vLLM 博客、CocoLoop、Artificial Analysis;Hugging Face 模型卡核验参数结构、上下文长度与许可证名称。