Metaは2025年4月5日、Llamaシリーズとして初めてMoE（Mixture-of-Experts）アーキテクチャを採用したLlama 4を公開した。同時に2つのモデルが発表された。
Llama 4 Scout
- 活性化パラメータ：17B / 総パラメータ：約109B
- エキスパート数：16
- コンテキストウィンドウ：1000万トークン
そう、1000万トークンのコンテキストである。この数字は当時、オープンソースモデルの記録を更新した。
Llama 4 Maverick
- 活性化パラメータ：17B / 総パラメータ：約400B
- エキスパート数：128
- コンテキストウィンドウ：100万トークン
128のエキスパートを搭載し、MoE層とdense層が交互に配置されている。エキスパートは半分の層でのみ計算に参加する。
ネイティブマルチモーダル
両モデルともearly fusionによりネイティブなマルチモーダル処理を実現。テキストと画像は外部アダプターで接続されるのではなく、モデル内部でネイティブに融合処理される。トレーニングデータは30兆トークン以上で、200以上の言語をカバーする。
パフォーマンス
Maverickはコーディング、推論、多言語処理、長文コンテキスト、画像理解の各分野でGPT-4oやGemini 2.0を上回り、はるかに大規模なDeepSeek V3.1にも互角に渡り合う。
Scoutはより手頃な選択肢として位置づけられており、4ビットおよび8ビット量子化に対応し、シングルGPUで動作可能である。
またLlama 4 Behemoth（活性化パラメータ288B）も発表されたが、当時まだトレーニング中であり、オープンソース化はされていない。
細かい点として、Meta自身はこれを「オープンソース」ではなく「オープンウェイト」と呼んでいる。モデルの重みは公開されておりファインチューニングは可能だが、完全なトレーニングコードとデータセットは公開されていない。
出典：CocoLoop、Meta AI公式ブログ