淘宝 MNN 团队 11 月 6 日开源端侧语言模型 MNN-Pocket-0.3B。模型约 3 亿参数，主攻中英文，面向手机 App 内运行。团队称，从架构、词表、训练数据，到量化和推理引擎，都是放在一起设计、从零训练的。
在 iPhone 18 Pro 上完全离线运行，平均解码约 350 token/s；INT4 部署文件 173MB，里面包括权重、分词器、计算图和配置。
先定指标，再倒推模型
团队先给自己定了四个硬指标：解码速度超过 200 token/s；峰值内存低于 300MB；单次推理能耗不超过参考机电池的万分之一，也就是跑 100 次耗电不超过 1%；在这些约束下能力尽量高。
参数量是倒推出来的。团队试了约 5000 万到 13 亿参数的多种稠密配置，3 亿左右是同时满足内存和速度约束的最大规模。层数从 16 加到 28，能力跟着涨；加到 36，分数不再涨，解码速度从 355 降到 323 token/s，于是定在 28 层。词表在 Qwen3 分词器的基础上从约 15.1 万精简到 6.4 万，砍掉约 57%，嵌入层和输出层的开销一起降了下来。
跑分和对照
iPad Pro M5（Metal 后端，512 token 配置）上的对比：
| 测试 | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| 解码速度 | 466 token/s | 286 token/s |
| INT4 部署包 | 173MB | 340MB |
| 峰值内存增量 | 228MB | 427MB |
骁龙 8 Gen 5 的 CPU 后端上，解码 251 token/s。能耗测试用一加 13，4 线程 CPU，输入 1024 token、输出 128 token，每次约 2.7 焦耳；按 6000mAh 电池换算，100 次约耗电 0.3%，比团队自定的 1% 上限低不少。
能力方面，英文 IFEval 73.20，中文指令遵循 IFEval-zh 74.59，中文数学 MGSM-zh 51.20，HumanEval 53.66。覆盖知识、推理、数学、代码和指令遵循的 11 项评测平均 50.00，团队称高于 MiniCPM4-0.5B 和 Qwen3-0.6B。其中 IFEval-zh 是团队自建的评测集，外部复现结果目前还没有。
开源的一共六个版本：Base、SFT、指令版、W4A16 量化训练的端侧版、投机解码用的草稿模型 DFlash2（特定任务下解码最高提速 2.06 倍），以及给候选排序用的决策头 Dec。代码在 GitHub 的 alibaba/MNN 仓库。
对国内 App 开发者
MNN 是阿里自研的端侧推理引擎，2019 年开源，手机淘宝等 App 用它跑本地模型已有多年。这次模型和引擎配套放出，国内做 App 的团队拿到的是一整套可以直接放进客户端的方案，不必自己从开源大模型里裁剪、量化、调速度。
3 亿参数做不了复杂推理，适合的是意图识别、短文本改写、搜索词补全、候选排序这类高频小任务。这些请求如果原来走云端，每次都要承担网络延迟和接口费用；放到本机，离线也能用，用户输入不出手机。173MB 对电商、工具类 App 的包体仍是一笔负担，更现实的做法可能是按需下载。
六个版本里专门放了 Dec 决策头，团队的落地方向看起来偏排序和选择类任务。淘宝自己在哪些功能里用上了这个模型，发布材料没有说明。
参考来源：IT之家、CocoLoop、MNN 开源仓库；核验 iPhone 18 Pro、iPad Pro M5 解码速度与 INT4 部署包体积、评测分数口径。