Inkling 2 Mini 開源,筆電可跑

Open source illustration: hands joining branches to a shared node tree

Thinking Machines Lab 於 11 月 20 日發表 Inkling 2 Mini,並公開完整權重。這是一個總參數 26.4B 的混合專家(MoE)模型,每個 token 啟用 3.4B 參數,整體記憶體佔用約 20GB,官方的說法是小到可以在筆電上執行。首發支援的本地方案是 Ollama,需求為任一台記憶體不低於 32GB 的 Mac。

權重已上架 Hugging Face,同時釋出的還有一個僅供研究用的可變迴圈版本 TML-d24-varloop-research。

中間層跑三遍的「迴圈 Transformer」

Inkling 2 Mini 的架構和常見的小模型不太一樣。它儲存了 24 層,分成四個六層的區塊,其中第二、第三個區塊對每個 token 要重複執行三次,算下來每個 token 實際經過 48 次層運算。儲存的參數沒有變多,運算深度卻增加了一倍。把迴圈算進去,每個 token 的權重啟用量是 5.4B。

訓練過程中有一個剪枝步驟:模型最初有 384 個專家、每個 token 選用 8 個,訓練中途砍掉三分之二,每層只留下使用最多的 128 個,再以一個更大的內部 Inkling 模型蒸餾出的 1 兆 token 做恢復。後訓練階段包括監督式微調,以及總量 2.2 兆 token 的強化學習。

量化方面,團隊表示模型從訓練到部署都直接使用 NVFP4 格式(最後 4 層用 MXFP8),因此不存在量化轉換造成的精度損失。GGUF 版本可透過 Unsloth 和 llama.cpp 取得。

官方示範全部在一台開啟飛航模式的 MacBook Pro(M5 Pro,48GB 記憶體)上完成:幾分鐘寫出一個飛行模擬器,以及一座由 20 個代理(agent)組成的像素小鎮。

與 Qwen3.8-27B 逐項比較

官方比較表選了四個規模相近的模型:Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL。和 Inkling 2 Mini 咬得最緊的是 Qwen3.8-27B。

評測Inkling 2 MiniQwen3.8-27B
DeepSWE v1.148.2%42.2%
SWE-bench Pro v2 Hard77.9%73.8%
MCP Atlas82.7%77.3%
ARC-AGI v249.3%42.4%
Terminal Bench v2.171.6%73.0%
MMMU Pro74.9%76.3%
AA-Omniscience 非幻覺率63.4%71.4%

在 Artificial Analysis 智慧指數上,兩者同為 20.1。大致的分布是:代理式程式設計與工具呼叫類任務由 Inkling 2 Mini 領先,終端機操作、多模態理解與知識正確性則是 Qwen3.8-27B 表現較好。這些數字都來自 Thinking Machines 自家的評測,頁面註明各模型的評測設定並不完全一致,目前也還沒有第三方排行榜的複測結果。

能源效率是唯一有外部機構參與的部分。史丹佛的兩個實驗室在 128GB 的 NVIDIA DGX Spark 上測得 Inkling 2 Mini 的「每瓦智慧」分數為 0.703,Qwen3.6-35B-A3B 為 0.430。測試時 Inkling 使用的是 MXFP8 和低推理強度,其他模型則用 NVFP4 或 INT4,條件並不對等。

官方自己列出的短板

公告中有一節專門談不足之處,篇幅不短。

團隊承認,Inkling 2 Mini 並非多輪對話或多重限制指令場景下最強的小模型,MultiChallenge 得分為 50.0%。在 CritPt v2、HLE-Diamond 這類重推理的評測上,它落後於更大的模型。迴圈架構增加的是運算深度,存不進更多知識,所以知識類評測的成績與同尺寸模型持平,官方給的補救辦法是讓它多使用搜尋和工具。

安全評估部分還有一個罕見的數字:模型對自身思維鏈的可控性很低,在 750 到 1250 個 token 的區間內,依指令調整思維鏈的成功率最高只有 0.1%。

有幾項常被詢問的資訊,公告正文並未提及:授權條款名稱、上下文長度、Tinker 上的定價。11 月 5 日的 Inkling 2 Small 當時承諾以 Apache 2.0 釋出,Mini 是否沿用,要等模型卡確認。

對中國大陸的開發者而言,20GB 的體量落在 32GB 記憶體的 Mac 與主流 24GB 顯示記憶體的顯示卡附近,SGLang、vLLM、Ollama 都已支援,在本機跑通的門檻不高。在用它取代現有的千問(Qwen)小模型之前,先用自己的任務測過多輪對話和中文表現會比較穩妥,這兩項官方都沒有提供數據。

參考來源:Thinking Machines Lab 官方公告、CocoLoop、Hugging Face 模型頁面;參數規模、記憶體佔用與各項評測分數均取自官方比較表,能源效率數據為史丹佛實驗室的測試口徑。