Mô hình nghìn tỷ tham số Mistral Large 4 của Mistral đã được mở trọng số. Hugging Face đăng bài giới thiệu vào ngày 29/10: mô hình có mặt ở hai định dạng FP8 và NVFP4, chạy được ngay trong ngày trên Transformers, vLLM và llama.cpp, còn Unsloth cũng đồng thời phát hành bản lượng tử hóa GGUF. Mistral từng hứa sẽ mở mã nguồn vào cuối tháng khi ra mắt bản xem trước nghiên cứu hôm 6/10, và lần này coi như họ giữ đúng hẹn.
Cấu trúc và giấy phép
Kho mô hình có tên Mistral-Large-4-1T-A52B. Theo giới thiệu của Hugging Face, mô hình gồm 72 lớp, dùng kiến trúc hỗn hợp chuyên gia (MoE) với 128 chuyên gia; mỗi token đi qua 4 chuyên gia định tuyến cộng 1 chuyên gia dùng chung. Phần attention dùng multi-head latent attention (MLA) và chỉ mục thưa, mỗi truy vấn nhìn tối đa 2048 vị trí khóa. Phần thị giác là bộ mã hóa Pixtral 1,6B, hỗ trợ đầu vào gồm văn bản kèm hình ảnh và đầu ra là văn bản.
Hiện có hai cách nêu số tham số kích hoạt: phần nội dung blog ghi khoảng 49 tỷ, còn tên kho ghi 52 tỷ, nên cần chờ giải thích tiếp theo từ Mistral. Cửa sổ ngữ cảnh được công bố là 1 triệu token, nhưng cấu hình triển khai thực tế thấp hơn: ví dụ của vLLM và Inference Endpoints đặt ở 131K, còn bản lượng tử hóa 2-bit trên llama.cpp là 800 nghìn.
Giấy phép mang tên Mistral Ecosystem Open-Weight License, được sửa đổi từ MIT, hạn chế việc đóng gói trực tiếp mô hình thành dịch vụ mô hình (model-as-a-service) để bán ra ngoài. Việc tự dùng, tinh chỉnh và triển khai riêng không bị ảnh hưởng bởi điều khoản này; các nhà cung cấp đám mây định bán lại API cần đọc kỹ điều khoản trước.
Điểm số tập trung ở an ninh và lập trình
Trong các kết quả mà Hugging Face liệt kê, nhóm an ninh nổi bật nhất: 93% trên 40 đề thi an ninh của Cybench, 82% ở tái hiện và vá lỗ hổng, 93,3% ở khả năng chống tấn công Lakera B3, và chỉ số an ninh mạng của Artificial Analysis xếp trong top 5 toàn cầu. Ở mảng tác tử lập trình, DeepSWE v1.1 đạt 61,7%, SWE-Atlas-QnA đạt 59,4%, Terminal-Bench 4 đạt 28,3%. Chỉ số trí tuệ tổng hợp xếp thứ năm trong số các mô hình mở trọng số.
“Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality.”
(Mistral Large 4 đặc biệt mạnh về an ninh mạng, tác tử lập trình và đa phương thức.)
Tất cả đều là số liệu từ phía chính thức và đối tác; cộng đồng cần thêm thời gian để kiểm chứng xem sau khi có trọng số trong tay thì tái hiện được đến đâu.
Từ Large 3 đến trọng số mở
Nhìn lại cả dòng sản phẩm của Mistral, thay đổi không nhỏ. Theo số liệu Artificial Analysis đưa ra khi bản xem trước ra mắt, chỉ số trí tuệ của Large 3 chỉ có 9 điểm, còn bản xem trước của Large 4 đạt 38 điểm. Ở giai đoạn xem trước, mô hình chỉ mở qua API riêng của Mistral, ưu tiên nhà phát triển, người phụ trách an ninh và cơ quan chính phủ; khi đó Mistral cũng thừa nhận mô hình vẫn đứng sau các mô hình đóng tiên phong ở những lĩnh vực như lập trình. Con số Terminal-Bench 4 chỉ 28,3% lần này chênh lệch rõ so với mức trên 90% ở nhóm an ninh, và khá khớp với lời tự đánh giá đó.
Sau khi trọng số được mở, cách triển khai đa dạng hơn hẳn. Hugging Face Inference Endpoints dùng 8 GPU H200, ví dụ của Dell Enterprise Hub dùng 4 GPU B300, còn ví dụ tinh chỉnh bằng TRL cần một nút 8 GPU B300. Bản lượng tử hóa 2-bit của llama.cpp có thể nhét vừa một máy Apple Silicon Ultra với 512GB bộ nhớ hợp nhất; các bản lượng tử hóa khác phải chạy phân tán trên nhiều GPU, và phía chính thức đã thử nghiệm trên 4 card RTX 6000 Pro.
Khi đưa tin về bản xem trước, chúng tôi từng ước tính rằng ở độ chính xác 8-bit, riêng việc lưu trọng số đã cần khoảng 1TB bộ nhớ video. Nay các phiên bản NVFP4 và 2-bit đã hạ ngưỡng này xuống, nhưng với đa số nhóm, một máy chủ Blackwell 8 GPU vẫn là cấu hình khởi điểm. Phần giới thiệu lần này không đề cập đến bảng giá chính thức trên Mistral API.
Nguồn tham khảo: blog chính thức của Hugging Face, blog vLLM, CocoLoop, Artificial Analysis; thẻ mô hình trên Hugging Face được dùng để đối chiếu thông số cấu trúc, độ dài ngữ cảnh và tên giấy phép.