Ngày 6/11, nhóm MNN của Taobao đã mở mã nguồn mô hình ngôn ngữ chạy trên thiết bị MNN-Pocket-0.3B. Mô hình có khoảng 300 triệu tham số, tập trung vào tiếng Trung và tiếng Anh, hướng tới việc chạy ngay bên trong ứng dụng di động. Theo nhóm, từ kiến trúc, bộ từ vựng, dữ liệu huấn luyện cho đến lượng tử hóa và engine suy luận đều được thiết kế đồng bộ và huấn luyện từ đầu.
Trên iPhone 18 Pro, mô hình chạy hoàn toàn ngoại tuyến với tốc độ giải mã trung bình khoảng 350 token/s; tệp triển khai INT4 nặng 173MB, bao gồm trọng số, bộ tách từ, đồ thị tính toán và cấu hình.
Đặt chỉ tiêu trước, suy ngược ra mô hình
Nhóm tự đặt ra bốn chỉ tiêu cứng: tốc độ giải mã vượt 200 token/s; bộ nhớ đỉnh dưới 300MB; năng lượng cho mỗi lần suy luận không quá một phần mười nghìn dung lượng pin của máy tham chiếu, tức chạy 100 lần không tốn quá 1% pin; và trong các ràng buộc đó, năng lực phải cao nhất có thể.
Số tham số được suy ngược ra từ các chỉ tiêu này. Nhóm đã thử nhiều cấu hình dense từ khoảng 50 triệu đến 1,3 tỷ tham số, và mức khoảng 300 triệu là quy mô lớn nhất đáp ứng đồng thời ràng buộc về bộ nhớ và tốc độ. Khi tăng số lớp từ 16 lên 28, năng lực tăng theo; lên 36 lớp thì điểm số không tăng thêm nữa, còn tốc độ giải mã giảm từ 355 xuống 323 token/s, nên nhóm chốt ở 28 lớp. Bộ từ vựng được rút gọn từ khoảng 151 nghìn xuống 64 nghìn mục trên nền bộ tách từ của Qwen3, giảm khoảng 57%, kéo theo chi phí của lớp embedding và lớp đầu ra cũng giảm.
Điểm số và so sánh đối chứng
So sánh trên iPad Pro M5 (backend Metal, cấu hình 512 token):
| Hạng mục | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Tốc độ giải mã | 466 token/s | 286 token/s |
| Gói triển khai INT4 | 173MB | 340MB |
| Mức tăng bộ nhớ đỉnh | 228MB | 427MB |
Trên backend CPU của Snapdragon 8 Gen 5, tốc độ giải mã đạt 251 token/s. Bài đo năng lượng dùng OnePlus 13, CPU 4 luồng, đầu vào 1024 token, đầu ra 128 token, mỗi lần tốn khoảng 2.7 joule; quy đổi theo pin 6000mAh, 100 lần chạy tiêu hao khoảng 0.3% pin, thấp hơn khá nhiều so với mức trần 1% nhóm tự đặt.
Về năng lực, mô hình đạt 73.20 điểm IFEval tiếng Anh, 74.59 điểm IFEval-zh (tuân thủ chỉ dẫn tiếng Trung), 51.20 điểm MGSM-zh (toán tiếng Trung) và 53.66 điểm HumanEval. Trung bình trên 11 bài đánh giá bao quát kiến thức, suy luận, toán, lập trình và tuân thủ chỉ dẫn là 50.00; nhóm cho biết con số này cao hơn MiniCPM4-0.5B và Qwen3-0.6B. Cần lưu ý IFEval-zh là bộ đánh giá do chính nhóm xây dựng, hiện chưa có kết quả tái hiện từ bên ngoài.
Tổng cộng có sáu phiên bản được mở mã nguồn: Base, SFT, bản chỉ dẫn, bản chạy trên thiết bị được huấn luyện lượng tử hóa W4A16, mô hình nháp DFlash2 dùng cho giải mã suy đoán (tăng tốc giải mã tối đa 2.06 lần ở một số tác vụ nhất định), và đầu quyết định Dec dùng để xếp hạng ứng viên. Mã nguồn nằm trong kho alibaba/MNN trên GitHub.
Ý nghĩa với nhà phát triển ứng dụng tại Trung Quốc
MNN là engine suy luận trên thiết bị do Alibaba tự phát triển, mở mã nguồn từ năm 2019; các ứng dụng như Taobao di động đã dùng nó để chạy mô hình cục bộ trong nhiều năm. Lần này mô hình và engine được phát hành đồng bộ, nên các nhóm làm ứng dụng trong nước nhận được một giải pháp trọn bộ có thể đưa thẳng vào ứng dụng khách, không phải tự cắt gọn, lượng tử hóa và tinh chỉnh tốc độ từ một mô hình lớn mã nguồn mở.
Mô hình 300 triệu tham số không đảm đương được suy luận phức tạp; nó phù hợp với các tác vụ nhỏ, tần suất cao như nhận diện ý định, viết lại văn bản ngắn, gợi ý hoàn tất từ khóa tìm kiếm và xếp hạng ứng viên. Nếu trước đây các yêu cầu này đi qua đám mây thì lần nào cũng phải chịu độ trễ mạng và phí gọi API; đưa xuống máy thì dùng được cả khi ngoại tuyến, và dữ liệu người dùng nhập không rời khỏi điện thoại. Tuy nhiên 173MB vẫn là gánh nặng đối với dung lượng gói cài đặt của các ứng dụng thương mại điện tử hay tiện ích; cách thực tế hơn có thể là tải về theo nhu cầu.
Trong sáu phiên bản có riêng đầu quyết định Dec, cho thấy hướng triển khai của nhóm có vẻ nghiêng về các tác vụ xếp hạng và lựa chọn. Còn việc chính Taobao đã dùng mô hình này trong những tính năng nào thì tài liệu công bố không nói rõ.
Nguồn tham khảo: IT Home, CocoLoop, kho mã nguồn mở MNN; đã đối chiếu tốc độ giải mã trên iPhone 18 Pro và iPad Pro M5, dung lượng gói triển khai INT4 và cách tính điểm đánh giá.