Mistral merilis bobot terbuka untuk Mistral Large 4, modelnya yang berparameter satu triliun. Dalam tulisan pada 29 Oktober, Hugging Face menyebut model ini tersedia dalam dua presisi, FP8 dan NVFP4, serta bisa langsung dijalankan di Transformers, vLLM, dan llama.cpp pada hari yang sama. Unsloth juga merilis versi kuantisasi GGUF secara bersamaan. Saat meluncurkan pratinjau riset pada 6 Oktober, Mistral berjanji membuka modelnya paling lambat akhir bulan, dan kali ini janji itu ditepati sesuai jadwal.
Struktur dan lisensi
Nama repositori modelnya adalah Mistral-Large-4-1T-A52B. Menurut keterangan Hugging Face, model ini memiliki 72 lapisan dan memakai arsitektur mixture-of-experts (MoE) dengan 128 pakar, di mana setiap token diarahkan ke 4 pakar rute ditambah 1 pakar bersama. Bagian atensi menggunakan multi-head latent attention (MLA) dan pengindeksan jarang, sehingga setiap kueri melihat paling banyak 2.048 posisi kunci. Untuk sisi visual, ada encoder Pixtral 1,6B yang mendukung masukan teks dan gambar dengan keluaran teks.
Untuk parameter aktif, saat ini ada dua angka: teks blog menyebut sekitar 49 miliar, sementara nama repositori menulis 52 miliar. Penjelasan lanjutan dari Mistral akan menjadi rujukan. Jendela konteks tercatat 1 juta token, tetapi konfigurasi penerapan sebenarnya lebih rendah: contoh di vLLM dan Inference Endpoints diatur ke 131K, sedangkan versi kuantisasi 2-bit di llama.cpp mencapai 800 ribu.
Lisensinya bernama Mistral Ecosystem Open-Weight License, yaitu hasil modifikasi dari MIT yang membatasi pengemasan model secara langsung sebagai layanan model (model-as-a-service) untuk dijual. Pemakaian sendiri, fine-tuning, dan penerapan privat tidak terpengaruh, tetapi penyedia cloud yang berencana menjualnya kembali sebagai API perlu membaca ketentuannya dengan saksama terlebih dahulu.
Skor terkonsentrasi di keamanan dan pemrograman
Dari hasil yang didaftarkan Hugging Face, kategori keamanan paling menonjol: 93% pada 40 soal kompetisi keamanan di Cybench, 82% pada reproduksi dan penambalan kerentanan, 93,3% pada ketahanan serangan Lakera B3, dan masuk lima besar dunia dalam indeks keamanan siber Artificial Analysis. Untuk agen pemrograman, DeepSWE v1.1 meraih 61,7%, SWE-Atlas-QnA 59,4%, dan Terminal-Bench 4 sebesar 28,3%. Indeks kecerdasan gabungannya berada di peringkat kelima di antara model berbobot terbuka.
"Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality." (Mistral Large 4 tergolong sangat kuat untuk keamanan siber, agen pemrograman, dan multimodal.)
Semua angka ini berasal dari pihak resmi dan mitra. Seberapa banyak yang bisa direproduksi komunitas setelah memegang bobotnya masih perlu waktu.
Dari Large 3 menuju bobot terbuka
Jika lini Mistral ini dirangkai, perubahannya cukup besar. Menurut data Artificial Analysis saat pratinjau dirilis, indeks kecerdasan Large 3 hanya 9 poin, sedangkan pratinjau Large 4 meraih 38 poin. Pada tahap pratinjau, model hanya dibuka lewat API milik Mistral sendiri, dengan prioritas untuk pengembang, penanggung jawab keamanan, dan lembaga pemerintah. Saat itu Mistral juga mengakui bahwa di bidang seperti pemrograman, modelnya masih tertinggal dari model tertutup terdepan. Angka Terminal-Bench 4 sebesar 28,3% yang diumumkan kali ini jelas jauh di bawah skor keamanan yang di atas 90%, dan hal itu sejalan dengan penilaian diri tersebut.
Setelah bobotnya dilepas, pilihan penerapan langsung bertambah. Hugging Face Inference Endpoints memakai 8 GPU H200, contoh Dell Enterprise Hub memakai 4 GPU B300, dan contoh fine-tuning TRL membutuhkan satu node B300 berisi 8 kartu. Kuantisasi 2-bit di llama.cpp muat di satu mesin Apple Silicon Ultra dengan memori terpadu 512GB, sedangkan kuantisasi lainnya harus dijalankan terdistribusi di banyak GPU; pihak resmi telah mengujinya pada 4 kartu RTX 6000 Pro.
Saat memberitakan versi pratinjau, kami memperkirakan bahwa pada presisi 8-bit, hanya untuk menyimpan bobot saja dibutuhkan sekitar 1TB memori GPU. Kini versi NVFP4 dan 2-bit menurunkan ambang itu, tetapi bagi sebagian besar tim, satu server Blackwell 8 kartu tetap menjadi konfigurasi awal. Harga resmi di API Mistral tidak disinggung dalam pengumuman kali ini.
Sumber: blog resmi Hugging Face, blog vLLM, CocoLoop, Artificial Analysis; struktur parameter, panjang konteks, dan nama lisensi diverifikasi lewat kartu model Hugging Face.