Mistralが、1兆パラメータ級のモデルMistral Large 4のオープンウェイトを公開した。Hugging Faceは10月29日付の記事で、モデルがFP8とNVFP4の2種類の精度で提供され、Transformers、vLLM、llama.cppで公開当日から実行できると紹介している。UnslothもGGUF形式の量子化版を同時に公開した。Mistralは10月6日にリサーチプレビューを発表した際、月末までにオープン化すると約束しており、今回はそれを予定どおり果たした形だ。
構造とライセンス
リポジトリ名はMistral-Large-4-1T-A52B。Hugging Faceの説明によると、モデルは全72層で、128個のエキスパートを持つ混合エキスパート（MoE）構造を採用し、各トークンは4つのルーティング対象エキスパートと1つの共有エキスパートを通る。アテンション部分にはマルチヘッド潜在アテンション（MLA）とスパースインデックスを使い、各クエリが参照するキー位置は最大2048。視覚部分は1.6BのPixtralエンコーダーで、テキストと画像を入力し、テキストを出力する。
アクティブパラメータ数には現状2通りの数字がある。ブログ本文では約490億、リポジトリ名では520億だ。今後のMistralの説明を待つ必要がある。コンテキストウィンドウは100万トークンと表記されているが、実際のデプロイ設定はそれより小さい。vLLMとInference Endpointsの例は131Kに設定されており、llama.cppの2ビット量子化版は80万だ。
ライセンスはMistral Ecosystem Open-Weight License。MITをベースに書き換えたもので、モデルをそのままモデル・アズ・ア・サービスとして販売することを制限している。自社利用、ファインチューニング、プライベート環境での運用には影響しないが、APIとして転売することを考えているクラウド事業者は、事前に条項をよく確認する必要がある。
スコアはセキュリティとコーディングに集中
Hugging Faceが挙げた成績では、セキュリティ分野が特に目立つ。Cybenchのセキュリティ競技40問で93%、脆弱性の再現と修正で82%、Lakera B3の攻撃耐性で93.3%を記録し、Artificial Analysisのサイバーセキュリティ指数では世界トップ5に入った。コーディングエージェント分野では、DeepSWE v1.1が61.7%、SWE-Atlas-QnAが59.4%、Terminal-Bench 4が28.3%。総合インテリジェンス指数はオープンウェイトモデルの中で5位だった。
"Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality."（Mistral Large 4は、サイバーセキュリティ、コーディングエージェント、マルチモーダルで特に強い。）
これらはいずれも公式およびパートナー側の数字だ。コミュニティが重みを入手したうえでどこまで再現できるかは、これから時間をかけて見ていく必要がある。
Large 3からオープンウェイトへ
Mistralの系譜を並べてみると、変化は小さくない。プレビュー版の発表時にArtificial Analysisが示したデータでは、Large 3のインテリジェンス指数は9点にとどまり、Large 4のプレビュー版は38点を記録した。プレビュー段階ではMistral自社のAPIでのみ提供され、開発者、セキュリティ責任者、政府機関が優先された。当時Mistralは、コーディングなどの分野では最先端のクローズドモデルにまだ及ばないことも認めていた。今回公表されたTerminal-Bench 4の28.3%は、セキュリティ分野の9割超というスコアと比べると差が大きく、この自己評価とおおむね一致する。
重みの公開によって、デプロイの選択肢は一気に広がった。Hugging Face Inference EndpointsはH200を8枚、Dell Enterprise Hubの例はB300を4枚使い、TRLによるファインチューニングの例は8基搭載のB300ノード1台を必要とする。llama.cppの2ビット量子化版は、512GBのユニファイドメモリを積んだApple Silicon Ultra機1台に収まる。それ以外の量子化版は複数GPUでの分散実行が必要で、公式はRTX 6000 Pro 4枚で動作を確認している。
プレビュー版の報道時、私たちは8ビット精度では重みを保持するだけで約1TBのVRAMが必要になると試算した。いまはNVFP4や2ビット版によって敷居が下がったものの、多くのチームにとって、8基搭載のBlackwellサーバーが出発点であることに変わりはない。Mistral APIの正式な料金については、今回の発表では触れられていない。
参考資料：Hugging Face公式ブログ、vLLMブログ、CocoLoop、Artificial Analysis。パラメータ構造、コンテキスト長、ライセンス名はHugging Faceのモデルカードで確認。