Inkling 2 Mini开源,笔记本能跑

开源题图:几只手把枝条接到中央的节点树上

Thinking Machines Lab 11 月 20 日发布 Inkling 2 Mini 并公开了完整权重。这是一个总参数 26.4B 的混合专家模型,每个 token 激活 3.4B 参数,整体内存占用约 20GB,官方的说法是小到可以在笔记本上运行。首发支持的本地方案是 Ollama,要求是任意一台内存不低于 32GB 的 Mac。

权重已经放在 Hugging Face 上,同时发布的还有一个仅供研究用的可变循环版本 TML-d24-varloop-research。

中间层跑三遍的“循环 Transformer”

Inkling 2 Mini 的结构和常见小模型不太一样。它存了 24 层,分成四个六层的块,其中第二、第三块每个 token 要重复执行三次,算下来每个 token 实际经过 48 次层计算。存储的参数没有变多,计算深度翻了一倍。把循环算进去,每个 token 的权重激活量是 5.4B。

训练过程里有一步剪枝:模型最初有 384 个专家、每个 token 选 8 个,训练中途砍掉了三分之二,每层只留使用最多的 128 个,再用一个更大的内部 Inkling 模型蒸馏出的 1 万亿 token 做恢复。后训练阶段包括监督微调和总量 2.2 万亿 token 的强化学习。

量化方面,团队称模型从训练到部署都直接使用 NVFP4 格式(最后 4 层用 MXFP8),所以不存在量化转换带来的精度损失。GGUF 版本可以通过 Unsloth 和 llama.cpp 获取。

官方演示全部在一台开了飞行模式的 MacBook Pro(M5 Pro,48GB 内存)上完成:几分钟写出一个飞行模拟器,以及一个由 20 个智能体组成的像素小镇。

和 Qwen3.8-27B 逐项对比

官方对比表选了四个体量相近的模型:Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL。和 Inkling 2 Mini 咬得最紧的是 Qwen3.8-27B。

评测Inkling 2 MiniQwen3.8-27B
DeepSWE v1.148.2%42.2%
SWE-bench Pro v2 Hard77.9%73.8%
MCP Atlas82.7%77.3%
ARC-AGI v249.3%42.4%
Terminal Bench v2.171.6%73.0%
MMMU Pro74.9%76.3%
AA-Omniscience 非幻觉率63.4%71.4%

Artificial Analysis 智能指数上两者同为 20.1。大致的分布是:智能体编程和工具调用类任务 Inkling 2 Mini 领先,终端操作、多模态理解和知识准确性上 Qwen3.8-27B 更好。这些数字都来自 Thinking Machines 自己的评测,页面注明各模型的评测设置不完全一致,目前还没有第三方榜单的复测结果。

能效是唯一有外部机构参与的部分。斯坦福两个实验室在 128GB 的 NVIDIA DGX Spark 上测得 Inkling 2 Mini 的“每瓦智能”得分为 0.703,Qwen3.6-35B-A3B 为 0.430。测试时 Inkling 用的是 MXFP8 和低推理强度,其他模型用 NVFP4 或 INT4,条件并不对等。

官方自己列出的短板

公告里有一节专门写不足,篇幅不短。

团队承认,Inkling 2 Mini 不是多轮对话或多约束指令场景下最强的小模型,MultiChallenge 得分 50.0%。在 CritPt v2、HLE-Diamond 这类重推理的评测上,它落后于更大的模型。循环结构加的是计算深度,存不进更多知识,所以知识类评测的成绩和同尺寸模型持平,官方给的补救办法是让它多用搜索和工具。

安全评估部分还有一个少见的数字:模型对自己思维链的可控性很低,在 750 到 1250 token 的区间里,按指令调整思维链的成功率最高只有 0.1%。

几项常被问到的信息公告正文没有写:许可证名称、上下文长度、Tinker 上的定价。11 月 5 日的 Inkling 2 Small 当时承诺以 Apache 2.0 放出,Mini 是否沿用,要等模型卡确认。

对国内开发者,20GB 的体量落在 32GB 内存的 Mac 和主流 24GB 显存显卡附近,SGLang、vLLM、Ollama 都已支持,本地跑通的门槛不高。拿它替换现有的千问小模型之前,先用自己的任务测一遍多轮对话和中文表现比较稳妥,这两项官方都没有给数据。

参考来源:Thinking Machines Lab 官方公告、CocoLoop、Hugging Face 模型页;参数规模、内存占用与各项评测分数均取自官方对比表,能效数据为斯坦福实验室口径。