Pada 5 April 2025, Meta merilis Llama 4, model pertama dalam seri Llama yang menggunakan arsitektur MoE (Mixture-of-Experts). Dua varian diluncurkan secara bersamaan.
Llama 4 Scout
- Parameter aktif: 17B / Total parameter: ~109B
- Jumlah pakar: 16
- Jendela konteks: 10 juta token
Benar, 10 juta token konteks. Angka ini langsung memecahkan rekor model open source pada saat itu.
Llama 4 Maverick
- Parameter aktif: 17B / Total parameter: ~400B
- Jumlah pakar: 128
- Jendela konteks: 1 juta token
128 pakar, dengan lapisan MoE dan lapisan dense yang disusun bergantian — pakar hanya berpartisipasi dalam komputasi di setengah dari total lapisan.
Multimodal Native
Kedua model mencapai multimodalitas native melalui early fusion — teks dan gambar tidak digabungkan melalui adapter eksternal, tetapi diproses dan difusikan secara native di dalam model. Data pelatihan mencapai lebih dari 30 triliun token, mencakup lebih dari 200 bahasa.
Tingkat Performa
Maverick mengungguli GPT-4o dan Gemini 2.0 dalam hal pemrograman, penalaran, multibahasa, konteks panjang, dan pemahaman gambar, serta mampu bersaing dengan DeepSeek V3.1 yang jauh lebih besar.
Scout diposisikan sebagai opsi yang lebih terjangkau — mendukung kuantisasi 4-bit dan 8-bit, dan dapat dijalankan pada satu GPU.
Ada juga Llama 4 Behemoth (parameter aktif 288B) yang diumumkan tetapi tidak dijadikan open source, karena saat itu masih dalam proses pelatihan.
Sebuah detail: Meta sendiri menyebutnya sebagai "open-weight" bukan "open-source". Bobot model tersedia untuk umum dan dapat di-fine-tune, tetapi kode pelatihan lengkap dan dataset tidak dirilis.
Sumber: CocoLoop, blog resmi Meta AI