Đúng như cam kết khi ra mắt hôm 24/10, Moonshot AI đã đăng trọng số mô hình Kimi K3.1 Pro lên Hugging Face, theo bản tin ITHome ngày 5/11. Mô hình có tổng cộng 2,8 nghìn tỷ tham số, mỗi lần suy luận kích hoạt khoảng 104 tỷ, ngữ cảnh khoảng 1 triệu token.
Dung lượng tệp trọng số cũng đáng chú ý không kém: bản BF16 nặng khoảng 5,6 TB, còn sau khi lượng tử hóa INT4 vào khoảng 1,4 TB.
Điều khoản giấy phép là chi tiết cần chờ thêm. Theo thông tin công khai, thế hệ K3 trước đó dùng giấy phép MIT bản sửa đổi; với K3.1 Pro, chúng tôi chưa xác minh được điều khoản trên trang chính thức. Bạn đọc có nhu cầu dùng thương mại nên lấy tệp LICENSE trong kho mã làm chuẩn.
Bảng xếp hạng chấm điểm bằng phiên làm việc thực
Thành tích được trích dẫn cùng với trọng số đến từ bảng Agent Arena của Arena. K3.1 Pro đứng đầu nhóm mô hình trọng số mở, đứng thứ 13 trong toàn bộ mô hình tham gia, và dẫn đầu nhóm mô hình mở ở cả ba hạng mục: công việc, lập trình và trò chuyện.
Bảng này không dùng bỏ phiếu mù theo cặp. Nó rút tín hiệu từ các phiên làm việc thực của tác tử (agent), chẳng hạn xác nhận hoàn thành nhiệm vụ, lời khen và lời phàn nàn, người dùng sửa lại, lỗi Shell, rồi dùng một phương pháp suy luận ngẫu nhiên hóa gọi là "truy vết nhân quả" để ước tính tỷ lệ cải thiện ròng. Đợt đánh giá lần này bao phủ hơn 17.500 phiên làm việc cho tác vụ dài hạn.
| Chỉ số | K3 | K3.1 Pro |
|---|---|---|
| Tỷ lệ cải thiện ròng | +0,9% | +5,1% |
| Độ tin cậy Bash | -4,5% | +7,9% |
| Khen so với phàn nàn | +1,3% | +7,7% |
Độ tin cậy Bash chuyển từ âm sang dương và còn đứng đầu nhóm mô hình mở. Điều này tác động trực tiếp nhất tới người chạy tác vụ dài, vì một tác tử liên tục gặp lỗi lệnh thì khó mà yên tâm giao việc. Tỷ lệ xác nhận hoàn thành nhiệm vụ đạt +3,9%, xếp thứ tư trong nhóm mô hình mở, tức là mô hình không dẫn đầu ở mọi mặt.
Đặt cạnh hai mô hình đóng hàng đầu
Bảng so sánh do Moonshot AI công bố có hàng chục bài đánh giá, kể cả bài kiểm tra nội bộ; dưới đây chỉ chọn các bài đánh giá công khai.
| Bài đánh giá | K3.1 Pro | GPT-6 Astra | Opus 5.5 |
|---|---|---|---|
| Terminal-Bench 4.0 | 65,7 | 58,2 | 66,4 |
| SWE Marathon v1.1 | 51,7 | 42,5 | 46,3 |
| Frontier Finance | 58,6 | 45,0 | 56,7 |
| HLE-Full (có công cụ) | 70,0 | 57,2 | 67,7 |
| Program Bench | 31,5 | 50,0 | 65,0 |
| Terminal-Bench-Science 0.1 | 38,1 | 68,1 | 63,3 |
| HLE-Diamond | 39,4 | 65,8 | 60,9 |
| ExploitBench | 74,7 | 100 | 91,0 |
Những bài dẫn đầu phần lớn là tác vụ có công cụ, quy trình dài; những bài tụt lại tập trung ở nhiệm vụ khoa học, suy luận độ khó cao và tấn công - phòng thủ mạng. Ở Terminal-Bench 4.0, K3.1 Pro chỉ kém Opus 5.5 0,7 điểm, nhưng sang nhánh khoa học của bài này, khoảng cách nới ra hơn 25 điểm. Bảng do nhà phát triển công bố, một số điểm số chưa được bên thứ ba tái lập.
Mục tấn công - phòng thủ đáng được xem riêng. Mô hình trọng số mở một khi đã tải về thì không thể thu hồi; với 74,7 điểm ở ExploitBench và 20,7 điểm ở ExploitGym, mô hình vẫn còn cách các mô hình đóng hàng đầu một quãng, và hai con số này có thể làm mốc tham chiếu cho cuộc thảo luận về an toàn khi phát hành mở.
Tải về được và chạy được là hai chuyện khác nhau
ITHome đặc biệt nhắc rằng khoảng cách giữa "có thể tải về" và "có thể chạy cục bộ" rất lớn, card đồ họa tiêu dùng phổ thông gần như không triển khai nổi.
Tính nhẩm: nếu nạp toàn bộ bản INT4 1,4 TB vào bộ nhớ đồ họa, tính theo mỗi card 80 GB thì cần khoảng 18 card đồ họa cấp trung tâm dữ liệu, chưa kể chi phí bộ nhớ đệm ngữ cảnh. Kiến trúc MoE mỗi lần chỉ kích hoạt khoảng 104 tỷ tham số, một số lớp chú ý toàn phần cũng được thay bằng chú ý thưa có cổng để giảm chi phí cho ngữ cảnh dài, nhưng trọng số vẫn phải có chỗ để chứa.
Vì vậy, với đa số đội ngũ ở Trung Quốc, lợi ích trực tiếp của việc mở trọng số lần này rơi vào một vài nhà cung cấp đám mây và dịch vụ suy luận: họ có thể tự triển khai và tự định giá. Thay đổi mà lập trình viên thông thường dễ cảm nhận hơn là số điểm truy cập để gọi mô hình nhiều lên. Giá có vì thế mà giảm hay không thì phải chờ các phiên bản do bên thứ ba lưu trữ ra mắt rồi mới so sánh được.
Nguồn tham khảo: ITHome, CocoLoop, bảng xếp hạng Agent Arena của Arena; điểm chuẩn lấy từ bảng so sánh do Moonshot AI công bố, nhu cầu bộ nhớ đồ họa là ước tính của chúng tôi.