Moonshot AI merilis bobot model Kimi K3.1 Pro di Hugging Face, sesuai janji yang disampaikan saat peluncurannya pada 24 Oktober. ITHome (IT之家) melaporkan kabar ini pada 5 November. Model ini memiliki total 2,8 triliun parameter, mengaktifkan sekitar 104 miliar parameter per inferensi, dan mendukung konteks sekitar 1 juta token.
Ukuran file bobotnya juga mencolok: versi BF16 sekitar 5,6TB, sedangkan versi terkuantisasi INT4 sekitar 1,4TB.
Rincian yang perlu ditunggu kali ini adalah ketentuan lisensi. Menurut informasi publik, generasi sebelumnya, K3, memakai lisensi MIT yang dimodifikasi. Ketentuan K3.1 Pro belum kami verifikasi dari halaman resmi, jadi pembaca yang ingin memakainya secara komersial sebaiknya merujuk pada berkas LICENSE di repositori.
Papan peringkat yang dinilai dari sesi nyata
Hasil yang dikutip bersama rilis bobot ini berasal dari papan peringkat Agent Arena milik Arena. K3.1 Pro menempati peringkat pertama di antara model open-weight dan peringkat ke-13 dari seluruh model yang dinilai, serta menjadi model terbuka teratas di ketiga kategori: pekerjaan, pemrograman, dan obrolan.
Papan peringkat ini tidak memakai pemungutan suara buta berpasangan. Ia mengekstrak sinyal dari sesi agen yang sebenarnya, seperti konfirmasi tugas, pujian dan keluhan, koreksi dari pengguna, serta galat shell, lalu memperkirakan tingkat peningkatan bersih dengan metode inferensi acak yang disebut “pelacakan kausal”. Evaluasi kali ini mencakup lebih dari 17.500 sesi tugas jangka panjang.
| Metrik | K3 | K3.1 Pro |
|---|---|---|
| Tingkat peningkatan bersih | +0,9% | +5,1% |
| Keandalan Bash | -4,5% | +7,9% |
| Pujian vs. keluhan | +1,3% | +7,7% |
Keandalan Bash berbalik dari negatif ke positif dan juga menempati posisi teratas di antara model terbuka. Ini paling langsung terasa bagi pengguna yang menjalankan tugas panjang: agen yang perintahnya terus-menerus gagal sulit dilepas begitu saja. Tingkat keberhasilan konfirmasi tugas +3,9% hanya berada di peringkat keempat di antara model terbuka, jadi model ini tidak unggul di semua aspek.
Dibandingkan dengan dua model unggulan tertutup
Tabel perbandingan yang dipublikasikan Moonshot AI memuat puluhan tolok ukur, termasuk pengujian internal. Di bawah ini hanya dipilih tolok ukur yang bersifat publik.
| Tolok ukur | K3.1 Pro | GPT-6 Astra | Opus 5.5 |
|---|---|---|---|
| Terminal-Bench 4.0 | 65,7 | 58,2 | 66,4 |
| SWE Marathon v1.1 | 51,7 | 42,5 | 46,3 |
| Frontier Finance | 58,6 | 45,0 | 56,7 |
| HLE-Full (dengan alat) | 70,0 | 57,2 | 67,7 |
| Program Bench | 31,5 | 50,0 | 65,0 |
| Terminal-Bench-Science 0.1 | 38,1 | 68,1 | 63,3 |
| HLE-Diamond | 39,4 | 65,8 | 60,9 |
| ExploitBench | 74,7 | 100 | 91,0 |
Tugas-tugas yang dimenangkan umumnya melibatkan alat dan alur kerja panjang, sedangkan yang tertinggal terkonsentrasi pada tugas sains, penalaran tingkat tinggi, dan keamanan siber ofensif-defensif. Di Terminal-Bench 4.0, selisihnya dengan Opus 5.5 hanya 0,7 poin, tetapi pada cabang sains tolok ukur itu selisihnya melebar menjadi lebih dari 25 poin. Tabel ini dipublikasikan oleh vendor, dan sebagian skor belum direproduksi pihak ketiga.
Bagian keamanan ofensif-defensif layak dilihat tersendiri. Model open-weight yang sudah diunduh tidak bisa ditarik kembali. Skor ExploitBench 74,7 dan ExploitGym 20,7 masih berjarak dari model unggulan tertutup, dan bisa menjadi salah satu acuan dalam diskusi keamanan seputar rilis terbuka.
Bisa diunduh belum tentu bisa dijalankan
ITHome secara khusus mengingatkan dalam laporannya bahwa ada jarak yang jauh antara “dapat diunduh” dan “dapat dijalankan secara lokal”, dan kartu grafis konsumen biasa pada dasarnya tidak sanggup menjalankannya.
Hitungan kasarnya: menaruh seluruh versi INT4 sebesar 1,4TB ke memori GPU, dengan 80GB per kartu, membutuhkan sekitar 18 kartu kelas pusat data, belum termasuk beban cache konteks. Arsitektur MoE hanya mengaktifkan sekitar 104 miliar parameter setiap kali, dan sebagian lapisan full attention juga diganti dengan gated sparse attention untuk menekan beban konteks panjang, tetapi bobotnya tetap harus disimpan di suatu tempat.
Karena itu, bagi sebagian besar tim di Tiongkok, manfaat langsung dari rilis bobot ini jatuh ke beberapa penyedia cloud dan penyedia layanan inferensi: mereka bisa men-deploy sendiri dan menetapkan harga sendiri. Perubahan yang lebih mungkin dirasakan pengembang biasa adalah makin banyaknya pintu untuk memanggil model ini. Apakah harga akan turun karenanya, baru bisa dibandingkan setelah versi hosting pihak ketiga tersedia.
Sumber: ITHome, CocoLoop, papan peringkat Arena Agent Arena; skor tolok ukur berasal dari tabel perbandingan yang dipublikasikan Moonshot AI, sedangkan kebutuhan memori GPU adalah perkiraan kami sendiri.