Mistral Rilis Model MoE Open Source: 119B Parameter, Hanya 6.5B yang Diaktifkan

Pada 16 Maret, Mistral merilis Small 4, sebuah nama yang terdengar biasa saja namun menyembunyikan ide produk yang praktis—menggunakan arsitektur MoE untuk menggabungkan tiga model independen sebelumnya menjadi satu, memungkinkan satu deployment menangani semua skenario.

Satu Model, Tiga Kegunaan

Mistral sebelumnya memiliki tiga model dengan peran masing-masing:

  • Magistral: Khusus untuk tugas kompleks yang memerlukan penalaran
  • Pixtral: Menangani pemahaman gambar multimodal
  • Devstral: Didedikasikan untuk pembuatan dan pengembangan kode

Jika ketiga model ini harus digunakan, itu berarti tiga deployment, tiga logika penjadwalan, dan tiga kali lipat biaya operasional. Small 4 langsung menggabungkannya.

Satu model secara bersamaan mendukung penalaran teks, pemahaman gambar, pembuatan kode, pemanggilan fungsi, dan output JSON, dengan jendela konteks 256K.

Logika Inti MoE: Besar tapi Tidak Mahal

Konfigurasi parameter Small 4 sangat representatif:

MetrikNilai
Total parameter119B
Jumlah Expert128
Expert yang diaktifkan per inferensi4
Parameter yang benar-benar diaktifkan6.5B
Jendela konteks256K

119B terlihat mengesankan, tetapi setiap inferensi hanya menggunakan 6.5B parameter—inilah nilai inti arsitektur MoE: model tahu lebih banyak, tetapi hanya menggunakan sebagian kecil saat menghitung. Biaya inferensi mendekati model dense 6.5B, namun batas kemampuannya jauh lebih luas.

Dibandingkan dengan Small 3, latensi ujung-ke-ujung turun 40%, dan jumlah permintaan yang diproses per detik tiga kali lipat lebih tinggi.

Logika ini mengikuti jalur yang sama dengan DeepSeek V3 dan Qwen3: tidak mengandalkan parameter total yang lebih besar untuk mengesankan, tetapi menggunakan aktivasi jarang (sparse activation) untuk menemukan keseimbangan antara efisiensi dan kemampuan.

reasoning_effort: Kemampuan Penalaran Sesuai Permintaan

Ini adalah aspek praktis dari desain produk kali ini.

Sebelumnya, Anda harus memilih antara model respons cepat dan model penalaran lambat, seringkali dengan men-deploy dua model berbeda. Small 4 menambahkan parameter yang memungkinkan Anda mengontrol langsung di tingkat permintaan API: apakah akan menggunakan kemampuan penalaran untuk permintaan ini, dan seberapa banyak.

Pertanyaan sederhana mendapat jawaban cepat; pertanyaan kompleks mendapat lebih banyak waktu berpikir—model yang sama, API yang sama, tanpa perlu beralih. Desain ini dapat menghemat banyak kerumitan bagi tim teknik.

Lisensi Open Source dan Ketersediaan

Mistral kembali merilis di bawah lisensi Apache 2.0, tanpa batasan komersial, dan bobot (weights) dapat diunduh untuk deployment mandiri.

Saat ini tersedia di:

  • Mistral API dan AI Studio
  • Hugging Face (unduh bobot lengkap)
  • NVIDIA build.nvidia.com (pengujian prototipe gratis)
  • Kontainer NVIDIA NIM (deployment produksi)

Apache 2.0 adalah lisensi paling bersih untuk perusahaan—tanpa kekhawatiran batasan penggunaan, dapat dimodifikasi, dan dapat didistribusikan tanpa masalah.

Dalam Tren Model Besar Open Source yang Lebih Luas

Dalam dua tahun terakhir, lanskap persaingan model besar open source telah berubah dengan cepat. DeepSeek V3 menggunakan MoE plus pelatihan biaya rendah untuk mengikis pertahanan model tertutup, Qwen3 dari Alibaba membuka lanskap dengan lisensi Apache, dan Llama 4 dari Meta juga baru merilis versi MoE pada bulan April.

Small 4 dari Mistral mengikuti jalur serupa: 119B total, 6.5B diaktifkan, lisensi Apache, mengemas penalaran, multimodal, dan kode ke dalam satu unit deployment. Dua tahun lalu, konfigurasi ini hanya tersedia di model tertutup kelas atas; sekarang gratis untuk diunduh.

Bagi tim yang ingin membangun kemampuan AI di lingkungan produksi, pilihan model open source sedang bergeser dari "cukup dipakai" menjadi "pertimbangan serius." Nilai utama Small 4 dalam kumpulan opsi ini adalah mengurangi kompleksitas deployment—tidak perlu memelihara tiga model secara bersamaan; satu saja sudah cukup.

Apakah cocok untuk skenario spesifik Anda, tetap perlu menjalankan benchmark. Mistral secara resmi menyatakan bahwa dukungan bahasa Mandarin tidak sekuat bahasa Inggris, dan hal ini perlu dievaluasi secara terpisah oleh tim di dalam negeri.

Sumber referensi: CocoLoop, 119B Parameters, 6.5B Activated: Mistral Small 4 Collapses Three Open Models Into One (BaristaLabs Blog); Mistral AI Releases Mistral Small 4 (MarkTechPost)