3 artikel terverifikasi tentang Arsitektur MoE, produk, dan perkembangan industri.
Moonshot AI minggu lalu merilis versi lengkap Kimi K2.6, yang mencetak 54,0 di HLE-Full, melampaui model tertutup Claude Opus 4.6 dan GPT-5.4. Model MoE dengan 1 triliun parameter ini hanya mengaktifkan 32B parameter per inferensi dan mendukung hingga 300 sub-agen paralel.
NVIDIA telah merilis seri Nemotron 3, termasuk bobot model, dataset pra-pelatihan 3 triliun token, pipeline pembelajaran penguatan, dan alat evaluasi, semuanya di bawah lisensi terbuka.
Mistral merilis Small 4, model MoE yang menggabungkan tiga model independen sebelumnya ke dalam satu deployment, mendukung penalaran teks, pemahaman gambar, pembuatan kode, pemanggilan fungsi, dan output JSON dengan jendela konteks 256K.