Thinking Machines phát hành Inkling-Small vào ngày 30/7. Mô hình có 276B tham số tổng, 12B tham số kích hoạt, nhận đầu vào văn bản, hình ảnh và âm thanh, đồng thời được phát hành dưới dạng open weights.
Theo công bố chính thức, Inkling-Small được huấn luyện sau Inkling nên tận dụng công thức dữ liệu và training đã sửa. Công ty dùng on-policy distillation từ Inkling rồi chạy thêm hai tuần reinforcement learning cho agentic coding.
“Inkling-Small’s combination of broad performance and efficiency will make it easy to experiment with and test in real applications.”
Nhỏ hơn, nhưng vẫn cần hạ tầng mạnh
Model card cho biết đây là Transformer decoder-only 42 lớp, mỗi token đi qua 6 trong 256 expert và 2 shared expert, hỗ trợ ngữ cảnh tối đa 1 triệu token, giấy phép Apache 2.0.
vLLM Recipes ghi rõ bản NVFP4 cần ít nhất 180GB VRAM tổng hợp, còn BF16 cần ít nhất 600GB. Mức này chưa dành cho laptop, nhưng đã dễ tiếp cận hơn nhiều so với cấu hình nhiều terabyte của Inkling mà 36Kr/Xinzhiyuan nhắc tới.
Điểm mạnh đi cùng giới hạn
Trong model card chính thức, Inkling-Small đạt 80.2% trên SWE-bench Verified, 64.7% trên Terminal Bench 2.1, 31.6% trên HLE text only và 40.1% trên ARC-AGI-2. Các điểm này đều cao hơn Inkling trong cùng bảng.
Artificial Analysis đưa góc nhìn thận trọng hơn: Intelligence Index là 40, chỉ kém Inkling 41 một điểm, nhưng mô hình vẫn yếu hơn ở kiến thức sự kiện và một số tác vụ agentic.
Phép thử thật bắt đầu sau khi tải về
Thinking Machines đưa ra không chỉ một file weights, mà cả model card, Hugging Face và hướng dẫn triển khai qua vLLM/SGLang. Các chỉ dấu tiếp theo là chạy ổn ở cấu hình 180GB/600GB, fine-tune tốt trên codebase riêng, và tái lập được lợi thế coding/multimodal ngoài harness chính thức.
Nguồn: 36Kr/Xinzhiyuan, công bố Thinking Machines, CocoLoop, model card Inkling-Small, Artificial Analysis, Hugging Face và vLLM Recipes; nguồn chính thức xác minh mốc phát hành, tham số, giấy phép, ngữ cảnh, training và benchmark, còn nguồn bên thứ ba xác minh yêu cầu triển khai và điểm độc lập.