微软 AI 在 10 月 15 日公布了新一代基础模型 MAI-Base-2 的预训练细节。这是一个混合专家(MoE)模型,总参数 2.8 万亿、激活 800 亿,预训练已经完成,目前在做后训练。6 月发布的 MAI-Thinking-1 用的是上一代 MAI-Base-1。
微软的主要说法有两条。一是 “MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations”(在内部保留评测上,MAI-Base-2 超过了所有测过的开放权重模型)。二是效率:和它认为最强的开源基座 DeepSeek-V4-Pro-Base 比,达到同等水平所需的预训练算力少 4.2 到 12.3 倍,比自家 MAI-Base-1 少 6.3 到 12.7 倍,省下的算力拿去训了更大的模型。参与对照的还有 Qwen3.8 的 2.4T-A95B 版本。
这些评测用的是微软自己的保留集,题目和逐项分数没有公开,外部暂时无法复现。
数据和训练
微软在博客里写明,训练数据全部由团队自己处理,“does not involve distillation from other models”(不涉及从其他模型蒸馏)。训练混合数据共 50 万亿 token,按独特 token 计,语料比 MAI-Base-1 多约 36%。视觉数据是原生加入的,独特视觉 token 4.5 万亿,占训练混合数据的 18%。
硬件是 16000 块 GB200,2026 年 8 月到 9 月连续跑了 38 天。平均 MFU(模型算力利用率)21%,有效训练时间占比 89%。工程改动集中在 MoE 层和优化器:MoE 层的 MFU 从 24% 提到 35%;Muon 优化器经过分片和通信优化,单步开销压到迭代时间的 2.1%,约 165 毫秒;训练稳定性靠激活梯度裁剪,微软说它顺带成了排查训练数据问题的诊断工具。
方法上,团队用一套 scaling ladder 在小规模上评估模型改动,并提出 source scaling,用来保证小实验的结论能迁移到大规模;学习率、权重衰减和 dropout 的缩放规律也重新推了一遍。
粗算一笔账
博客给的数字够自己核一遍。GB200 的 BF16 理论峰值按博客写的 2.5 PFLOPS 算,16000 块、21% 利用率,每秒有效算力约 8.4×10^18 次浮点运算;38 天乘上 89% 的有效时间,约 292 万秒。两者相乘,总训练算力粗算约 2.5×10^25 FLOPs。
再拿常用的经验公式交叉验证:训练算力约等于 6 × 激活参数 × 训练 token 数,即 6 × 800 亿 × 50 万亿,约 2.4×10^25。两种算法落在同一量级,差距在 5% 以内,说明微软公布的 MFU、时长和数据量彼此对得上。折成卡时,约 1460 万 GPU 小时。
从已公开训练数字的模型看,这个规模排在前列。对比口径还缺一块:微软没有给出 DeepSeek-V4-Pro-Base 的算力怎么估,“4 到 12 倍”的基准如何选取,博客没有展开,目前只能以微软自己的口径为准。
还没说的
MAI-Base-2 的后训练结果要等完成后再公布。微软没有说它会不会开放权重,也没有说以什么产品形态上线,是接进 Copilot 还是放到 Foundry 给企业调用,现在都看不出来。
博客最后提到,MAI-Base-3 已经在准备。从 MAI-Base-1 到 2,微软把语料扩了三成多、参数推到 2.8 万亿,同时公开了 MFU 和卡时这类多数实验室不愿意披露的数字,这份透明度在前沿实验室里算少见。
参考来源:CocoLoop、微软 AI 官方博客;核验参数规模、训练 token、GPU 数量与 MFU 口径,训练总算力为本站按公开数字粗算。