Ngày 13/10, ModelBest (Mianbi Zhineng) cùng cộng đồng OpenBMB chính thức phát hành mô hình đa phương thức MiniCPM-V 4.7, gồm hai phiên bản: 35B-A3B và 1B. Bản đầu là mô hình hỗn hợp chuyên gia (MoE) đầu tiên trong dòng MiniCPM-V, tổng khoảng 35 tỷ tham số, mỗi lần suy luận chỉ kích hoạt khoảng 3 tỷ; bản sau nhắm tới điện thoại phổ thông.
Con số trên thiết bị do nhà phát triển công bố là: 35B-A3B chiếm khoảng 3GB bộ nhớ trên iPhone 17 Pro Max, tốc độ giải mã trên 13 token/giây. Mã nguồn và trọng số dùng giấy phép Apache-2.0, theo phần chân trang của kho GitHub.
3GB chứa được 35B nhờ lập lịch chuyên gia từ trước
Rắc rối của mô hình MoE là tổng số tham số rất lớn nhưng mỗi bước chỉ dùng một phần nhỏ. Trên máy chủ, toàn bộ có thể nằm gọn trong VRAM; trên điện thoại thì không, nên các chuyên gia cần thiết phải được đọc từ bộ nhớ lưu trữ vào ngay trong lúc tính toán, và đọc chậm thì máy giật.
Cách ModelBest xử lý có tên LES (Look-ahead Expert Scheduling, lập lịch chuyên gia nhìn trước). Theo mô tả trên trang GitHub, nó làm ba việc:
- dự đoán định tuyến xuyên lớp, nạp sẵn những chuyên gia nhiều khả năng được lớp kế tiếp dùng đến;
- ở lớp hiện tại, ưu tiên tính các chuyên gia đã nằm trong bộ nhớ và đồng thời được bộ định tuyến chọn;
- kết hợp lượng tử hóa trọng số với cách bố trí lưu trữ được thiết kế lại để giảm dung lượng và đọc nhanh hơn.
Công ty cho biết cách làm này giúp tăng tốc khoảng 5 lần trên máy thật. Một kỹ thuật cũ vẫn được giữ lại: phần thị giác nén token hình ảnh theo kiểu hỗn hợp 4 lần và 16 lần, từng xuất hiện trong MiniCPM-V 4.6 phát hành hồi tháng 5.
Một nhà phát triển bên thứ ba trước đó đã xem tệp cấu hình của mô hình: 40 lớp, trong đó 30 lớp dùng chú ý tuyến tính và 10 lớp dùng chú ý đầy đủ; mỗi token chọn 8 trong 256 chuyên gia; ngữ cảnh 256K. Tổng trọng số BF16 vào khoảng 70,4GB. Nói cách khác, 3GB là mức bộ nhớ khi chạy sau lượng tử hóa và nạp theo nhu cầu; muốn chạy thẳng không lượng tử hóa thì máy tính thông thường cũng không kham nổi.
Điểm benchmark chỉ nên so trong cùng phân khúc
Theo ModelBest, 35B-A3B được đánh giá trên 34 benchmark, bao gồm thị giác tổng quát, suy luận STEM, OCR và biểu đồ, video dài. Ở chế độ Instruct, điểm tổng hợp cao hơn Qwen3.6-35B-A3B cùng quy mô 35B-A3B, thời gian suy luận ngắn hơn, và ở một số hạng mục vượt Qwen 27B và Gemma-4 31B. Bản 1B được đặt cạnh Qwen3.5 0.8B, với điểm tổng hợp và hiệu quả suy luận đều tốt hơn.
Đây đều là số liệu do nhà phát triển tự công bố. Bảng điểm trên trang GitHub là hình ảnh, các báo cáo truyền thông cũng không đi vào điểm số cụ thể, và hiện chưa thấy kết quả tái lập độc lập nào.
Quá trình phát hành còn có một tình tiết nhỏ. Theo ghi nhận của nhà phát triển bên thứ ba, trọng số 35B-A3B đã xuất hiện trên Hugging Face từ tối 6/10, khi đó chưa có model card, giấy phép hay dữ liệu đánh giá; các mô tả liên quan đến khoảng 12/10 mới được bổ sung đầy đủ.
Với lập trình viên Trung Quốc, rào cản nằm ở đâu
Lần này ModelBest liệt kê danh sách tương thích rất dài: hệ điều hành gồm iOS, Android và HarmonyOS, chip gồm Intel, AMD, Arm, Rockchip và Houmo AI. Việc Rockchip và Houmo AI có tên trong danh sách cho thấy mục tiêu không chỉ là điện thoại mà còn là hộp biên, robot và thiết bị trên xe trong nước, những nơi thường không thể gọi mô hình lớn trên đám mây qua mạng.
Cũng được mở mã nguồn đồng thời là phương án tinh chỉnh SRFT (Self-Replay Fine-Tuning); theo công ty, đây là cách mở rộng năng lực với chi phí thấp mà vẫn hạn chế quên những gì mô hình đã biết. Với các nhóm muốn tùy biến trên thiết bị riêng, điều này hữu ích hơn việc chỉ phát hành một bộ trọng số.
Tuy vậy, có mấy điểm cần nhìn cho rõ:
- Mức 13 token/giây được đo trên iPhone 17 Pro Max; có báo dẫn lại rằng iPad Pro đạt trên 15 token/giây. Với Android tầm trung và máy HarmonyOS, nhà phát triển chưa công bố con số.
- 3GB là bộ nhớ khi chạy; bản thân tệp mô hình vẫn chiếm dung lượng lưu trữ của điện thoại, kích thước cụ thể sau lượng tử hóa cần dựa vào tệp chính thức.
- Danh sách chỉ ghi là "tương thích"; khung suy luận và định dạng lượng tử hóa trên từng nền tảng đã dùng được ngay hay chưa thì lập trình viên phải tự kiểm chứng từng cái.
Qua nhiều thế hệ MiniCPM-V, ModelBest luôn theo hướng "ít tham số, chạy trên điện thoại". Lần này đưa MoE lên máy, nhìn từ cấu trúc tham số thì đó là một cách phân bổ khác giữa tổng tham số và bộ nhớ điện thoại: tổng số làm lớn, còn phần dùng ở mỗi bước vẫn giữ quanh mức 3 tỷ. Có hai điều đáng theo dõi tiếp: LES có giữ được tốc độ ổn định trên thiết bị có ít bộ nhớ hơn hay không, và các đánh giá độc lập có tái lập được 34 kết quả kia hay không.
Nguồn tham khảo: kho GitHub OpenBMB MiniCPM-V (nguyên lý LES, nền tảng tương thích, giấy phép); ITHome; CocoLoop; Ifeng Tech; trang mô hình và tệp cấu hình trên Hugging Face (số lớp, số chuyên gia, dung lượng trọng số).