Ngày 15/10, Microsoft AI công bố chi tiết giai đoạn tiền huấn luyện của MAI-Base-2, mô hình nền tảng thế hệ mới. Đây là mô hình hỗn hợp chuyên gia (MoE) với tổng cộng 2,8 nghìn tỷ tham số, trong đó 80 tỷ tham số được kích hoạt. Giai đoạn tiền huấn luyện đã hoàn tất và hiện nhóm đang làm hậu huấn luyện. MAI-Thinking-1 ra mắt hồi tháng 6 được xây trên thế hệ trước là MAI-Base-1.
Microsoft đưa ra hai tuyên bố chính. Thứ nhất: “MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations” (trên các bài đánh giá giữ kín nội bộ, MAI-Base-2 vượt mọi mô hình trọng số mở đã được thử nghiệm). Thứ hai là về hiệu quả: so với DeepSeek-V4-Pro-Base, mô hình nền tảng mã nguồn mở mạnh nhất theo đánh giá của Microsoft, MAI-Base-2 cần ít hơn 4,2 đến 12,3 lần sức mạnh tính toán tiền huấn luyện để đạt cùng mức năng lực, và ít hơn 6,3 đến 12,7 lần so với MAI-Base-1 của chính hãng; phần tính toán tiết kiệm được đã dùng để huấn luyện một mô hình lớn hơn. Phiên bản 2.4T-A95B của Qwen3.8 cũng nằm trong nhóm đối chiếu.
Các bài đánh giá này dùng tập giữ kín của riêng Microsoft; đề bài và điểm số từng hạng mục chưa được công bố, nên bên ngoài hiện chưa thể tái lập kết quả.
Dữ liệu và quá trình huấn luyện
Trong bài đăng blog, Microsoft nêu rõ toàn bộ dữ liệu huấn luyện do nhóm tự xử lý và “does not involve distillation from other models” (không liên quan đến chưng cất từ các mô hình khác). Hỗn hợp huấn luyện gồm 50 nghìn tỷ token; tính theo token độc nhất, ngữ liệu nhiều hơn khoảng 36% so với MAI-Base-1. Dữ liệu hình ảnh được đưa vào theo hướng gốc (native), với 4,5 nghìn tỷ token hình ảnh độc nhất, chiếm 18% hỗn hợp huấn luyện.
Phần cứng là 16.000 GPU GB200, chạy liên tục 38 ngày trong khoảng tháng 8 đến tháng 9 năm 2026. MFU (tỷ lệ sử dụng sức mạnh tính toán của mô hình) trung bình đạt 21%, thời gian huấn luyện hiệu dụng chiếm 89%. Các cải tiến kỹ thuật tập trung vào lớp MoE và bộ tối ưu hóa: MFU của lớp MoE được nâng từ 24% lên 35%; bộ tối ưu hóa Muon, sau khi được phân mảnh và tối ưu giao tiếp, chỉ còn tốn 2,1% thời gian mỗi vòng lặp, khoảng 165 mili giây cho mỗi bước; độ ổn định huấn luyện dựa vào việc cắt gradient kích hoạt, và Microsoft cho biết kỹ thuật này tiện thể trở thành công cụ chẩn đoán để phát hiện vấn đề trong dữ liệu huấn luyện.
Về phương pháp, nhóm dùng một scaling ladder để đánh giá các thay đổi của mô hình ở quy mô nhỏ, đồng thời đề xuất source scaling nhằm bảo đảm kết luận từ các thí nghiệm nhỏ có thể chuyển sang quy mô lớn; quy luật co giãn của tốc độ học, suy giảm trọng số (weight decay) và dropout cũng được suy ra lại từ đầu.
Thử nhẩm một phép tính
Các con số trong blog đủ để tự kiểm tra. Theo blog, đỉnh lý thuyết BF16 của GB200 là 2,5 PFLOPS; với 16.000 GPU và mức sử dụng 21%, sức mạnh tính toán hiệu dụng mỗi giây vào khoảng 8,4×10^18 phép tính dấu phẩy động. Nhân với 38 ngày và 89% thời gian hiệu dụng, tức khoảng 2,92 triệu giây, ta được tổng sức mạnh tính toán huấn luyện ước tính khoảng 2,5×10^25 FLOPs.
Đối chiếu bằng công thức kinh nghiệm quen thuộc: sức mạnh tính toán huấn luyện xấp xỉ 6 × số tham số kích hoạt × số token huấn luyện, tức 6 × 80 tỷ × 50 nghìn tỷ, khoảng 2,4×10^25. Hai cách tính cho cùng một bậc độ lớn, chênh lệch trong vòng 5%, cho thấy MFU, thời lượng và lượng dữ liệu mà Microsoft công bố khớp với nhau. Quy đổi ra giờ GPU, con số này khoảng 14,6 triệu giờ GPU.
Trong số các mô hình đã công bố số liệu huấn luyện, quy mô này nằm ở nhóm đầu. Còn thiếu một mảnh của phép so sánh: Microsoft không nêu cách ước tính sức mạnh tính toán của DeepSeek-V4-Pro-Base, cũng không giải thích cách chọn mốc cho con số “4 đến 12 lần” trong blog, nên hiện chỉ có thể lấy cách tính của chính Microsoft làm chuẩn.
Những điều chưa được nói
Kết quả hậu huấn luyện của MAI-Base-2 sẽ được công bố sau khi hoàn tất. Microsoft chưa cho biết có mở trọng số hay không, cũng chưa nói mô hình sẽ ra mắt dưới hình thức sản phẩm nào, tích hợp vào Copilot hay đưa lên Foundry cho doanh nghiệp gọi dùng; hiện chưa thể đoán được.
Cuối blog có nhắc MAI-Base-3 đã đang được chuẩn bị. Từ MAI-Base-1 lên MAI-Base-2, Microsoft mở rộng ngữ liệu thêm hơn ba mươi phần trăm, đẩy số tham số lên 2,8 nghìn tỷ, đồng thời công khai những con số như MFU và giờ GPU mà phần lớn các phòng thí nghiệm không muốn tiết lộ; mức độ minh bạch này khá hiếm gặp trong các phòng thí nghiệm tiên phong.
Nguồn tham khảo: CocoLoop, blog chính thức của Microsoft AI; đã đối chiếu quy mô tham số, số token huấn luyện, số lượng GPU và cách tính MFU, còn tổng sức mạnh tính toán huấn luyện do trang này tự ước tính từ các số liệu công khai.