Ngày 20/11, Thinking Machines Lab đã phát hành Inkling 2 Mini và công khai toàn bộ trọng số. Đây là mô hình hỗn hợp chuyên gia (MoE) với tổng 26.4B tham số, mỗi token kích hoạt 3.4B tham số, tổng dung lượng bộ nhớ chiếm khoảng 20GB. Theo hãng, mô hình đủ nhỏ để chạy trên laptop. Giải pháp chạy cục bộ được hỗ trợ ngay từ đầu là Ollama, yêu cầu là một chiếc Mac bất kỳ có bộ nhớ từ 32GB trở lên.
Trọng số đã có trên Hugging Face. Cùng lúc, hãng còn phát hành một phiên bản vòng lặp biến thiên chỉ dành cho nghiên cứu, mang tên TML-d24-varloop-research.
“Transformer vòng lặp” chạy lớp giữa ba lần
Kiến trúc của Inkling 2 Mini khác với các mô hình nhỏ thông thường. Mô hình lưu 24 lớp, chia thành bốn khối sáu lớp, trong đó khối thứ hai và thứ ba được lặp lại ba lần cho mỗi token, nên thực tế mỗi token đi qua 48 lần tính toán lớp. Số tham số lưu trữ không tăng thêm, nhưng độ sâu tính toán tăng gấp đôi. Nếu tính cả các vòng lặp, lượng trọng số được kích hoạt cho mỗi token là 5.4B.
Quá trình huấn luyện có một bước cắt tỉa: ban đầu mô hình có 384 chuyên gia, mỗi token chọn 8; giữa chừng nhóm loại bỏ hai phần ba, mỗi lớp chỉ giữ lại 128 chuyên gia được dùng nhiều nhất, rồi khôi phục bằng 1 nghìn tỷ token chưng cất từ một mô hình Inkling nội bộ lớn hơn. Giai đoạn hậu huấn luyện gồm tinh chỉnh có giám sát và học tăng cường với tổng cộng 2.2 nghìn tỷ token.
Về lượng tử hóa, nhóm cho biết mô hình dùng trực tiếp định dạng NVFP4 từ huấn luyện đến triển khai (4 lớp cuối dùng MXFP8), vì vậy không bị mất độ chính xác do chuyển đổi lượng tử hóa. Bản GGUF có thể lấy qua Unsloth và llama.cpp.
Toàn bộ phần demo chính thức được thực hiện trên một chiếc MacBook Pro (M5 Pro, 48GB bộ nhớ) đã bật chế độ máy bay: viết xong một trình mô phỏng bay trong vài phút, cùng một thị trấn pixel gồm 20 tác tử.
So sánh từng hạng mục với Qwen3.8-27B
Bảng so sánh chính thức chọn bốn mô hình có quy mô tương đương: Gemma 4 31B, Muse Glimmer, Qwen3.8-27B và Nemotron 3.5 Super VL. Đối thủ sát sao nhất của Inkling 2 Mini là Qwen3.8-27B.
| Bài đánh giá | Inkling 2 Mini | Qwen3.8-27B |
|---|---|---|
| DeepSWE v1.1 | 48.2% | 42.2% |
| SWE-bench Pro v2 Hard | 77.9% | 73.8% |
| MCP Atlas | 82.7% | 77.3% |
| ARC-AGI v2 | 49.3% | 42.4% |
| Terminal Bench v2.1 | 71.6% | 73.0% |
| MMMU Pro | 74.9% | 76.3% |
| AA-Omniscience (tỷ lệ không ảo giác) | 63.4% | 71.4% |
Trên Chỉ số Trí tuệ của Artificial Analysis, hai mô hình bằng nhau với 20.1. Bức tranh chung là: Inkling 2 Mini dẫn trước ở các tác vụ lập trình tác tử và gọi công cụ, còn Qwen3.8-27B tốt hơn ở thao tác terminal, hiểu đa phương thức và độ chính xác kiến thức. Toàn bộ số liệu này đến từ đợt đánh giá của chính Thinking Machines; trang công bố lưu ý rằng thiết lập đánh giá của từng mô hình không hoàn toàn giống nhau, và hiện chưa có kết quả kiểm chứng lại từ bảng xếp hạng bên thứ ba.
Hiệu quả năng lượng là phần duy nhất có tổ chức bên ngoài tham gia. Hai phòng thí nghiệm của Stanford đo trên NVIDIA DGX Spark 128GB cho thấy điểm “trí tuệ trên mỗi watt” của Inkling 2 Mini là 0.703, còn Qwen3.6-35B-A3B là 0.430. Khi thử nghiệm, Inkling dùng MXFP8 với mức suy luận thấp, trong khi các mô hình khác dùng NVFP4 hoặc INT4, nên điều kiện không hoàn toàn ngang nhau.
Những điểm yếu do chính hãng liệt kê
Thông báo chính thức có hẳn một mục riêng về các hạn chế, với độ dài không hề ngắn.
Nhóm thừa nhận Inkling 2 Mini không phải mô hình nhỏ mạnh nhất trong hội thoại nhiều lượt hay các chỉ dẫn nhiều ràng buộc, với điểm MultiChallenge là 50.0%. Ở các bài đánh giá thiên về suy luận nặng như CritPt v2 và HLE-Diamond, mô hình thua các mô hình lớn hơn. Cấu trúc vòng lặp bổ sung độ sâu tính toán chứ không lưu thêm được kiến thức, nên điểm ở các bài đánh giá kiến thức ngang với các mô hình cùng cỡ; cách khắc phục hãng đưa ra là để mô hình dùng nhiều hơn công cụ tìm kiếm và các công cụ khác.
Phần đánh giá an toàn còn có một con số hiếm thấy: khả năng kiểm soát chuỗi suy luận của chính mô hình rất thấp, trong khoảng 750 đến 1250 token, tỷ lệ điều chỉnh chuỗi suy luận theo chỉ dẫn thành công cao nhất chỉ đạt 0.1%.
Một số thông tin thường được hỏi đến lại không có trong nội dung thông báo: tên giấy phép, độ dài ngữ cảnh và giá trên Tinker. Inkling 2 Small ngày 5/11 từng được cam kết phát hành theo Apache 2.0; Mini có tiếp tục dùng giấy phép này hay không thì phải chờ thẻ mô hình xác nhận.
Với các nhà phát triển ở Trung Quốc, mức 20GB nằm gần cấu hình Mac 32GB bộ nhớ và các card đồ họa phổ biến 24GB VRAM; SGLang, vLLM và Ollama đều đã hỗ trợ, nên ngưỡng để chạy cục bộ không cao. Trước khi thay thế các mô hình nhỏ Qwen đang dùng, nên tự chạy thử bằng tác vụ của mình để kiểm tra hội thoại nhiều lượt và hiệu quả tiếng Trung, vì hãng không công bố số liệu cho cả hai mảng này.
Nguồn tham khảo: thông báo chính thức của Thinking Machines Lab, CocoLoop, trang mô hình trên Hugging Face; quy mô tham số, mức chiếm bộ nhớ và các điểm đánh giá đều lấy từ bảng so sánh chính thức, số liệu hiệu quả năng lượng theo cách tính của các phòng thí nghiệm Stanford.