Llama 4、初のMoE採用「Scout」と「Maverick」登場
Metaは2025年4月5日、Llamaシリーズ初のMoEアーキテクチャを採用したLlama 4をリリース。Scout（活性化パラメータ17B、1000万トークンコンテキスト）とMaverick（活性化パラメータ17B、128エキスパート、100万トークンコンテキスト）の2モデルを同時発表し、いずれもearly fusionによるネイティブマルチモーダル対応。
MoEのニュースと分析
MoEに関する製品動向と業界分析を全4件掲載しています。
Kimi K2、オープンソースの1兆パラメータMoEモデル
月之暗面（Moonshot AI）が昨年7月、1兆パラメータのMoE大規模モデルKimi K2をオープンソース化。トークンあたり32Bパラメータのみを活性化し、コーディングやエージェント性能で高い成果を挙げている。
DeepSeek V3.1、汎用モデルと推論モデルを融合
DeepSeek V3.1は同社初のハイブリッドモデルで、汎用モデルV3と推論モデルR1の能力を1つのアーキテクチャに統合しました。
DeepSeek V3：671Bパラメーター、活性化はわずか37B
DeepSeek V3はMixture-of-Expertsアーキテクチャを採用し、総パラメーター数671Bながらトークンあたりの活性化は37Bのみ。トップクラスのオープンソースベンチマークスコアを達成し、トレーニングコストはわずか550万ドル。