Mô hình Ling nhỏ mới của InclusionAI rất dễ bị xem là một bản phát hành tối ưu tham số. Mục tiêu thật cụ thể hơn: nền chạy cho agent cục bộ.
Ngày 11 tháng 8, nhóm Ling của Ant Group mở nguồn Ling-3.0-tiny. Jiemian đưa các dữ kiện chính: tổng 7,9B tham số, chỉ 1,3B tham số được kích hoạt mỗi token, cùng ba loại trọng số BF16, FP8 và INT4. Thẻ mô hình Hugging Face, trang ModelScope và tài liệu SGLang bổ sung khẩu kính triển khai chi tiết hơn.
“We are introducing Ling-3.0-tiny, a lightweight hybrid reasoning MoE model”
Vì sao mô hình nhỏ nói về agent
Ling-3.0-tiny dùng cấu trúc xếp xen kẽ 3:1 giữa Kimi Delta Attention và Multi-Head Latent Attention. Lớp MoE FFN có 128 routed experts; mỗi token kích hoạt 8 routed experts và 1 shared expert.
Điểm kỹ thuật khá rõ: ngữ cảnh dài, bộ nhớ thấp và tác vụ agent dùng công cụ phải cùng tồn tại. Mô hình chat nhỏ có thể rẻ, nhưng phiên lập trình dài, gọi công cụ và quyết định nhiều bước thường làm lộ giới hạn lập kế hoạch. Ling-3.0-tiny được đặt trong agentic workflows, thay vì hội thoại một lượt.
Triển khai cục bộ là phần chính
Thẻ mô hình nói Ling-3.0-tiny đã được kiểm chứng trên NVIDIA DGX Spark, Apple Silicon MacBook và Mac mini. Với FP8, mô hình đạt khoảng 100-105 tokens/s trên DGX Spark và 86-90 tokens/s trên M4 Pro MacBook, với bộ nhớ đỉnh khoảng 8,34 GiB ở ngữ cảnh 8K.
Các số liệu này đưa mô hình về thiết bị mà lập trình viên đang có. Một MacBook mới hoặc workstation nhỏ bắt đầu có khả năng chạy agent cục bộ có reasoning và gọi công cụ. Dữ liệu có thể ở lại máy, còn chi phí chuyển từ token cloud sang phần cứng và điện.
Giới hạn cũng rõ. Công thức độ trễ thấp của SGLang cho ngữ cảnh 256K YaRN và NEXTN speculative decoding vẫn nhắc tới GPU hạng 141GB hoặc node Blackwell một GPU. Số trên MacBook là khẩu kính FP8, phần cứng cục bộ và ngữ cảnh 8K.
Benchmark đặt ra ranh giới
Thẻ mô hình cho biết Ling-3.0-tiny đạt 25 điểm trên Artificial Analysis Intelligence Index v4.1.1 và 16 điểm trên Agentic Index. Trong thử nghiệm đó, tốc độ xuất vượt 160 tokens/s, còn phản hồi 500 token mất khoảng 18 giây end-to-end, gồm cả thời gian reasoning.
Đây không phải điểm của mô hình đầu bảng. Giá trị nằm ở hiệu quả trên mỗi tham số hoạt động. Ling-3.0-flash cao điểm hơn trên cùng nền tảng, nhưng cũng lớn hơn nhiều. Bản tiny giống một lõi thực thi cục bộ: chạy được, gọi được công cụ và có thể thường trú.
Ba điểm cần theo dõi là hỗ trợ SGLang/vLLM có ổn định không, bản INT4 chạy ra sao trên thiết bị tiêu dùng, và lập trình viên có đưa nó vào IDE, tự động hóa trình duyệt hay công cụ nội bộ hay không. Thẻ mô hình đã chỉ cách khởi động; tác vụ dài sẽ quyết định giá trị.
Nguồn: thẻ mô hình Hugging Face, ModelScope, Jiemian, Artificial Analysis, CocoLoop, tài liệu SGLang; kiểm chứng tổng 7,9B tham số, 1,3B tham số hoạt động, trọng số BF16/FP8/INT4, cấu trúc KDA/MLA và 128 expert, tốc độ DGX Spark/M4 Pro cục bộ, phạm vi bộ nhớ 8K, chỉ số Artificial Analysis và phạm vi triển khai SGLang 256K.