Kimi K3 vừa đưa 2,8 nghìn tỷ tham số và cửa sổ 1 triệu token vào câu chuyện sản phẩm của Moonshot AI. Sau đó, một bảng điểm khác xuất hiện.
Ngày 23/7, UK AI Security Institute và US Center for AI Standards and Innovation công bố đánh giá chung về năng lực mạng tấn công của Kimi K3. Kết quả: Kimi K3 vượt GLM-5.2, nhưng kém xa các mô hình mạng frontier của Mỹ.
ExploitBench cho thấy khoảng cách
Ở ExploitBench, benchmark công khai gồm 41 nhiệm vụ phát triển khai thác, Kimi K3 đạt 32,2%. GLM-5.2 đạt 24,4%, còn nhóm mô hình Mỹ dẫn đầu đạt trung bình 76,2%. Kimi K3 không đạt arbitrary code execution trong nhiệm vụ nào; nhóm Mỹ đạt 20 lần.
Một chuỗi hoàn chỉnh vẫn đáng chú ý
Bài The Last Ones là mô phỏng tấn công mạng doanh nghiệp 32 bước của AISI, thường mất 20 giờ với chuyên gia con người. Kimi K3 đi trung bình tới bước 17, trong khi nhóm Mỹ tới 28,5. Dù vậy, nó hoàn tất cả chuỗi tấn công 1 lần trong 10 lượt thử.
Kết luận vì thế không đơn giản. Kimi K3 chưa ngang nhóm mô hình mạng mạnh nhất của Mỹ, nhưng vẫn có thể tấn công tự động vào hệ thống nhỏ và phòng thủ yếu.
Điểm tổng quát không thay điểm mạng
The Decoder đặt kết quả này cạnh tranh luận về distillation. Nếu giao diện công khai của mô hình frontier chặn yêu cầu khai thác rủi ro cao, mô hình học từ đầu ra công khai khó hấp thụ năng lực tấn công sâu.
Moonshot chưa phản hồi công khai. Các điểm cần kiểm chứng tiếp theo là thẻ an toàn mạng của K3, cơ chế từ chối yêu cầu nguy hiểm và khả năng tái lập bởi nhóm độc lập.
Nguồn: đánh giá chung UK AISI/CAISI, thông báo US NIST, The Decoder, CocoLoop, South China Morning Post, blog kỹ thuật chính thức Kimi K3; kiểm chứng 41 nhiệm vụ ExploitBench, điểm 32,2%/24,4%/76,2%, số lần arbitrary code execution, bài The Last Ones 32 bước, 1 lần hoàn tất trong 10 lượt thử, cùng thông số tham số và ngữ cảnh của Kimi K3.