MiniMax M3 áp dụng sparse attention, hỗ trợ ngữ cảnh triệu token

Ngày 1 tháng 6, MiniMax đã phát hành M3. Tóm gọn: một mô hình open-weight tích hợp ngữ cảnh 1 triệu token, khả năng lập trình tiên tiến và đa phương thức gốc. MiniMax cho biết đây là mô hình đầu tiên kết hợp cả ba.

Công việc thực sự nằm ở 'sparse attention'

M3 được xây dựng trên kiến trúc mới có tên MSA (MiniMax Sparse Attention).

Để hiểu nó giải quyết vấn đề gì, cần biết vấn đề cũ: attention đầy đủ tiêu chuẩn yêu cầu tính toán tăng theo cấp số nhân với độ dài ngữ cảnh—ngữ cảnh càng dài, chi phí càng bùng nổ. Đó là lý do tại sao 'ngữ cảnh triệu token' đã được nhắc đến lâu nhưng vẫn đắt đỏ khi sử dụng.

MSA nhắm trực tiếp vào điều này. Số liệu từ MiniMax: ở 1 triệu token, M3 chỉ sử dụng 1/20 tính toán mỗi token so với thế hệ trước M2; prefilling nhanh hơn 9 lần, decoding nhanh hơn 15 lần.

Nói cách khác, ngữ cảnh triệu token giờ không chỉ 'có thể dùng' mà còn 'phải chăng'.

Điểm chuẩn: tự báo cáo, ấn tượng

Lập trình là trọng tâm chính của M3. MiniMax công bố các điểm số sau:

  • SWE-Bench Pro: 59,0% (vượt GPT-5.5, Gemini 3.1 Pro, gần Opus 4.7)
  • Terminal-Bench 2.1: 66,0%
  • MCP Atlas: 74,2%
  • OSWorld (điều khiển máy tính): 70,06%

Nếu những con số này đúng, chúng khá cạnh tranh đối với một mô hình open-weight.

Nhưng cần thận trọng: tất cả đều do MiniMax tự báo cáo và chưa được bên thứ ba xác minh. Một số phương tiện truyền thông nước ngoài đã đặt tiêu đề 'Tuyên bố tiên tiến, điểm chuẩn chưa được xác minh.' Cách thông minh là chờ trọng số và báo cáo kỹ thuật—dự kiến trong khoảng mười ngày—và để cộng đồng tự kiểm tra.

Giá cả cũng được công bố

MiniMax cũng công bố các gói giá:

  • Plus: ~1,7 tỷ token mỗi tháng, 20 USD
  • Max: ~5,1 tỷ token mỗi tháng, 50 USD
  • Ultra: ~9,8 tỷ token mỗi tháng, 120 USD

API đã có sẵn. Trọng số mô hình và báo cáo kỹ thuật dự kiến sẽ được đưa lên Hugging Face và GitHub trong vòng khoảng mười ngày.

Trong bối cảnh rộng hơn, đây là một động thái khác của các LLM mã nguồn mở Trung Quốc hướng tới 'ngữ cảnh dài + tác nhân có năng lực.' DeepSeek, Qwen và Kimi đã cạnh tranh trong lĩnh vực này suốt một năm. Sự khác biệt của MiniMax nằm ở hiệu quả kiến trúc—không phải ai có tham số lớn hơn, mà là ai có thể tính toán nhanh hơn và rẻ hơn ở quy mô triệu token.

Điều này cắt vào hào của các mô hình độc quyền: 'ngữ cảnh dài quá đắt.'

Nguồn: CocoLoop, MiniMax Releases MiniMax M3 with MSA Architecture Supporting 1M-Token Context (MarkTechPost); MiniMax M3: Open-weight model with a million-token context challenges proprietary leaders (The Decoder); MiniMax M3 Open-Weight Coding Model: Frontier Claims, Unverified Benchmarks (TechTimes)