Mistral、MoEモデルをオープンソース化:119Bパラメータ、活性化はわずか6.5B

3月16日、MistralはSmall 4をリリースした。一見平凡な名前だが、その背後には実用的な製品コンセプトが隠されている。MoEアーキテクチャを活用し、従来3つの独立したモデルを1つに統合、単一のデプロイですべてのシナリオに対応するというものだ。

1つのモデル、3つの用途

Mistralはこれまで、それぞれ異なる役割を持つ3つのモデルを提供していた:

  • Magistral:推論を必要とする複雑なタスクに特化
  • Pixtral:マルチモーダル画像理解を担当
  • Devstral:コード生成と開発に特化

これら3つすべてを使用するには、3つのデプロイ、3つのスケジューリングロジック、3倍の運用コストが必要だった。Small 4はこれらを直接統合した。

1つのモデルで、テキスト推論、画像理解、コード生成、関数呼び出し、JSON出力を同時にサポートし、256Kのコンテキストウィンドウを備える。

MoEの中核ロジック:大規模だが高コストではない

Small 4のパラメータ構成は非常に代表的なものだ:

指標
総パラメータ数119B
エキスパート数128
推論ごとに活性化されるエキスパート数4
実際の活性化パラメータ数6.5B
コンテキストウィンドウ256K

119Bは一見圧倒的だが、各推論で実際に使用されるのはわずか6.5Bパラメータだ。これがMoEアーキテクチャの中核的価値である:モデルはより多くの知識を持つが、計算時にはごく一部のみを使用する。推論コストは6.5Bのdenseモデルに近いが、能力の範囲ははるかに広い。

Small 3と比較して、エンドツーエンドのレイテンシは40%低下し、1秒あたりの処理リクエスト数は3倍になった。

このロジックはDeepSeek V3やQwen3と同じ道筋をたどっている:より大きな全パラメータで驚かせるのではなく、スパース活性化によって効率と能力のバランスを取るというものだ。

reasoning_effort:オンデマンドの推論能力

これは今回の製品設計における実用的なポイントだ。

従来は、高速応答モデルと低速推論モデルのどちらかを選択する必要があり、多くの場合2つの異なるモデルをデプロイすることで実現していた。Small 4はパラメータを追加し、APIリクエストレベルで直接制御できるようにした:今回のリクエストで推論能力を使用するかどうか、どの程度使用するかを指定できる。

簡単な質問には素早い回答を、複雑な質問にはより多くの思考時間を与える——同じモデル、同じAPI、切り替え不要。この設計はエンジニアリングチームにとって大きな手間を省くことができる。

オープンソースライセンスと利用可能チャネル

Mistralは今回もApache 2.0ライセンスでリリースしており、商用利用に制限はなく、ウェイトをダウンロードして自己デプロイが可能だ。

現在利用可能な場所:

  • Mistral APIおよびAI Studio
  • Hugging Face(完全なウェイトダウンロード)
  • NVIDIA build.nvidia.com(無料プロトタイプテスト)
  • NVIDIA NIMコンテナ(本番デプロイ)

Apache 2.0は企業にとって最もクリーンなライセンスだ——使用制限がなく、改変も可能で、配布にも問題がない。

オープンソース大規模モデルの全体的なトレンドの中で

過去2年間、オープンソース大規模モデルの競争環境は急速に変化している。DeepSeek V3はMoEと低コストトレーニングでクローズドソースモデルの堀を削り、AlibabaのQwen3はApacheライセンスで状況を打開し、MetaのLlama 4も4月にMoEバージョンをリリースした。

MistralのSmall 4も同様の道を歩んでいる:119Bの総パラメータ、6.5Bの活性化、Apacheライセンス、推論、マルチモーダル、コードをすべて1つのデプロイユニットにパッケージ化。2年前なら、この構成はトップクラスのクローズドソースモデルにしかなかったものが、今では無料でダウンロードできる。

本番環境でAI機能を自社構築しようとするチームにとって、オープンソースモデルの選択は「とりあえず使う」から「真剣に検討する」へと変わりつつある。Small 4がこの選択肢プールに加わる主な価値は、デプロイの複雑さを軽減することだ——3つのモデルを同時に維持する必要はなく、1つで十分だ。

特定のシナリオに適しているかどうかは、ベンチマークを実行して確認する必要がある。Mistralは公式に、中国語のサポートは英語ほど強力ではないと述べており、中国国内のチームはこれを個別に評価する必要がある。

参考元:CocoLoop、119B Parameters, 6.5B Activated: Mistral Small 4 Collapses Three Open Models Into One(BaristaLabs Blog);Mistral AI Releases Mistral Small 4(MarkTechPost)