淘寶 MNN 開源 0.3B 端側模型，部署包 173MB

淘寶 MNN 團隊 11 月 6 日開源端側語言模型 MNN-Pocket-0.3B。模型約 3 億參數，主攻中英文，面向手機 App 內執行。團隊稱，從架構、詞表、訓練資料，到量化和推論引擎，都是放在一起設計、從零訓練的。

在 iPhone 18 Pro 上完全離線執行，平均解碼速度約 350 token/s；INT4 部署檔案為 173MB，內含權重、分詞器、運算圖和設定檔。

先訂指標，再倒推模型

團隊先替自己訂了四項硬指標：解碼速度超過 200 token/s；尖峰記憶體低於 300MB；單次推論耗能不超過參考機電池的萬分之一，也就是跑 100 次耗電不超過 1%；在這些限制下讓能力盡量提高。

參數量是倒推出來的。團隊試了約 5,000 萬到 13 億參數的多種稠密（Dense）配置，3 億左右是同時滿足記憶體和速度限制的最大規模。層數從 16 層加到 28 層，能力跟著提升；加到 36 層，分數不再增加，解碼速度還從 355 降到 323 token/s，於是定在 28 層。詞表以 Qwen3 分詞器為基礎，從約 15.1 萬精簡到 6.4 萬，砍掉約 57%，嵌入層和輸出層的負擔也一併降了下來。

跑分與對照

iPad Pro M5（Metal 後端，512 token 配置）上的比較如下：

在 Snapdragon 8 Gen 5 的 CPU 後端上，解碼速度為 251 token/s。耗能測試使用 OnePlus 13，4 執行緒 CPU，輸入 1024 token、輸出 128 token，每次約 2.7 焦耳；以 6000mAh 電池換算，100 次約耗電 0.3%，比團隊自訂的 1% 上限低不少。

能力方面，英文 IFEval 為 73.20，中文指令遵循 IFEval-zh 為 74.59，中文數學 MGSM-zh 為 51.20，HumanEval 為 53.66。涵蓋知識、推理、數學、程式碼和指令遵循的 11 項評測平均 50.00，團隊稱高於 MiniCPM4-0.5B 和 Qwen3-0.6B。其中 IFEval-zh 是團隊自建的評測集，目前還沒有外部複現結果。

開源的共有六個版本：Base、SFT、指令版、以 W4A16 量化訓練的端側版、供推測解碼使用的草稿模型 DFlash2（特定任務下解碼最高提速 2.06 倍），以及用來替候選項排序的決策頭 Dec。程式碼位於 GitHub 的 alibaba/MNN 儲存庫。

對中國 App 開發者的意義

MNN 是阿里巴巴自研的端側推論引擎，2019 年開源，手機淘寶等 App 用它執行本地模型已有多年。這次模型和引擎配套釋出，中國做 App 的團隊拿到的是一整套可以直接放進用戶端的方案，不必自己從開源大模型裡裁剪、量化、調校速度。

3 億參數做不了複雜推理，適合的是意圖辨識、短文本改寫、搜尋詞補全、候選項排序這類高頻的小任務。這些請求如果原本走雲端，每次都要承擔網路延遲和 API 費用；放到本機，離線也能用，使用者輸入也不會離開手機。173MB 對電商、工具類 App 的安裝包大小仍是一筆負擔，更務實的做法可能是按需下載。

六個版本裡特地放了 Dec 決策頭，團隊的落地方向看起來偏向排序和選擇類任務。淘寶自己在哪些功能裡用上了這個模型，發表資料沒有說明。

參考來源：IT之家、CocoLoop、MNN 開源儲存庫；查核 iPhone 18 Pro、iPad Pro M5 解碼速度與 INT4 部署包大小、評測分數口徑。