Kimi K3 baru saja membawa 2,8 triliun parameter dan konteks 1 juta token ke panggung utama Moonshot AI. Lalu datang rapor yang sangat berbeda.
Pada 23 Juli, UK AI Security Institute dan US Center for AI Standards and Innovation menerbitkan penilaian bersama atas kemampuan siber ofensif Kimi K3. Hasilnya jelas: Kimi K3 mengalahkan GLM-5.2, tetapi masih jauh di bawah model siber frontier AS.
ExploitBench menunjukkan jarak
Di ExploitBench, benchmark publik berisi 41 tugas eksploit, Kimi K3 mencetak 32,2%. GLM-5.2 mencetak 24,4%, sementara model AS teratas yang tidak disebutkan namanya rata-rata 76,2%. Kimi K3 tidak mencapai arbitrary code execution satu kali pun; kelompok AS mencapainya 20 kali.
Satu rantai penuh tetap penting
Pada The Last Ones, simulasi serangan jaringan perusahaan 32 langkah milik AISI, Kimi K3 rata-rata mencapai langkah ke-17. Model AS teratas mencapai 28,5. Namun Kimi K3 menyelesaikan seluruh rantai serangan sekali dari 10 percobaan.
Artinya, model ini belum setara dengan model siber AS terkuat, tetapi tetap cukup berbahaya untuk sistem kecil yang lemah pertahanannya.
Skor umum bukan skor siber
The Decoder mengaitkan hasil ini dengan debat distilasi. Jika antarmuka publik model frontier memblokir permintaan eksploit berisiko tinggi, model yang belajar dari keluaran publik itu mungkin tidak mewarisi kemampuan serangan yang dalam.
Moonshot belum memberi tanggapan publik. Titik verifikasi berikutnya adalah kartu keamanan siber K3, desain penolakan untuk permintaan berisiko, dan replikasi independen atas pengujian serupa.
Sumber: penilaian bersama UK AISI/CAISI, pengumuman US NIST, The Decoder, CocoLoop, South China Morning Post, blog teknis resmi Kimi K3; memverifikasi 41 tugas ExploitBench, skor 32,2%/24,4%/76,2%, hitungan arbitrary code execution, skenario The Last Ones 32 langkah, satu keberhasilan dari 10 percobaan, serta angka parameter dan konteks Kimi K3.