Microsoft AIは10月15日、次世代の基盤モデル「MAI-Base-2」の事前学習の詳細を公開した。混合エキスパート（MoE）構造のモデルで、総パラメータ数は2.8兆、アクティブパラメータは800億。事前学習はすでに完了しており、現在は後続のポストトレーニングを進めている。6月に発表された「MAI-Thinking-1」は、一世代前のMAI-Base-1をベースにしていた。
Microsoftの主張は大きく二つある。一つ目は、「MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations」（社内の保留評価で、検証したすべてのオープンウェイトモデルを上回った）という点だ。二つ目は効率で、同社が最強のオープンソース基盤モデルとみなすDeepSeek-V4-Pro-Baseと比べ、同等の水準に到達するために必要な事前学習の計算量が4.2〜12.3分の1、自社のMAI-Base-1と比べると6.3〜12.7分の1で済むという。浮いた計算資源は、より大きなモデルの学習に回した。比較対象にはQwen3.8の2.4T-A95B版も含まれている。
これらの評価はMicrosoft独自の保留セットを使ったもので、問題や項目ごとのスコアは公開されていない。外部からの再現は今のところできない。
データと学習
Microsoftはブログで、学習データはすべてチーム自身で処理しており、「does not involve distillation from other models」（他のモデルからの蒸留は含まない）と明記している。学習用の混合データは合計50兆トークンで、ユニークトークン数で見るとコーパスはMAI-Base-1より約36%多い。視覚データはネイティブに組み込まれ、ユニークな視覚トークンは4.5兆、学習混合データの18%を占める。
ハードウェアはGB200を1万6000基使い、2026年8月から9月にかけて38日間連続で稼働させた。平均MFU（モデルFLOPs利用率）は21%、有効学習時間の比率は89%。エンジニアリング上の改良はMoE層とオプティマイザに集中している。MoE層のMFUは24%から35%に向上した。Muonオプティマイザはシャーディングと通信の最適化により、1ステップあたりのオーバーヘッドをイテレーション時間の2.1%、約165ミリ秒に抑えた。学習の安定化には活性化勾配のクリッピングを用いており、Microsoftによれば、これが学習データの問題を探る診断ツールとしても役立ったという。
手法の面では、チームは小規模でモデル変更を評価するためのスケーリングラダーを使い、小さな実験の結論を大規模に移すためのsource scalingを提案した。学習率、重み減衰、ドロップアウトのスケーリング則も導き直している。
ざっくり計算してみる
ブログの数字だけで、おおよその検算ができる。GB200のBF16理論ピークをブログ記載の2.5 PFLOPSとすると、1万6000基・利用率21%で、1秒あたりの有効演算量は約8.4×10^18回の浮動小数点演算になる。38日に有効時間比率89%を掛けると約292万秒。両者を掛け合わせると、総学習計算量は概算で約2.5×10^25 FLOPsとなる。
よく使われる経験式でも照合してみる。学習計算量はおよそ6×アクティブパラメータ数×学習トークン数、つまり6×800億×50兆で約2.4×10^25だ。二つの算出方法は同じオーダーに収まり、差は5%以内。Microsoftが公開したMFU、学習期間、データ量が互いに整合していることがうかがえる。GPU時間に換算すると約1460万時間になる。
学習規模を公開しているモデルの中では、この規模は上位に入る。ただ、比較の条件にはまだ欠けている部分がある。MicrosoftはDeepSeek-V4-Pro-Baseの計算量をどう見積もったのか、「4〜12倍」の基準をどう選んだのかをブログで説明しておらず、現時点ではMicrosoft自身の算出基準に頼るしかない。
まだ語られていないこと
MAI-Base-2のポストトレーニングの結果は、完了後に公表される。重みを公開するかどうか、どのような製品形態で提供するのか、Copilotに組み込むのか、Foundryで企業向けに提供するのかについて、Microsoftは何も述べていない。現時点では見通せない。
ブログの最後には、MAI-Base-3がすでに準備中だと書かれている。MAI-Base-1から2にかけて、Microsoftはコーパスを3割以上増やし、パラメータを2.8兆まで引き上げた。同時に、多くのラボが開示したがらないMFUやGPU時間といった数字も公開している。この透明性は、フロンティアラボの中では珍しい。
参考資料：Microsoft AI公式ブログ、CocoLoop。パラメータ規模、学習トークン数、GPU数、MFUの算出基準を確認した。総学習計算量は公開数値をもとに当サイトが概算したもの。