4 artikel terverifikasi tentang MoE, produk, dan perkembangan industri.
Meta merilis Llama 4 pada 5 April 2025, model pertama dalam seri Llama yang mengadopsi arsitektur MoE, dengan dua varian: Scout (parameter aktif 17B, konteks 10 juta token) dan Maverick (parameter aktif 17B, 128 pakar, konteks 1 juta token), keduanya multimodal native melalui early fusion.
Moonshot AI merilis Kimi K2 sebagai model open-source, sebuah model MoE besar dengan triliunan parameter yang hanya mengaktifkan 32B parameter per token, unggul dalam coding dan kemampuan agen.
DeepSeek V3.1 adalah model hibrida pertama perusahaan, menggabungkan kemampuan model umum V3 dan model penalaran R1 ke dalam satu arsitektur.
DeepSeek V3 menggunakan arsitektur MoE dengan total 671B parameter namun hanya 37B yang diaktifkan per token, mencapai skor benchmark open-source teratas dengan biaya pelatihan hanya $5,5 juta.