面壁开源MiniCPM-V 4.7,35B模型手机占3GB

面壁智能和 OpenBMB 社区 10 月 13 日正式发布多模态模型 MiniCPM-V 4.7,一次放出两个版本:35B-A3B 和 1B。前者是 MiniCPM-V 系列第一个混合专家(MoE)模型,总参数约 350 亿,每次推理只激活约 30 亿;后者面向入门级手机。

官方给出的端侧数字是:35B-A3B 在 iPhone 17 Pro Max 上占用约 3GB 内存,解码速度 13 token/s 以上。代码和权重按 GitHub 仓库页脚标注,采用 Apache-2.0 协议。

3GB 装下 35B,靠提前调度专家

MoE 模型的麻烦在于,参数总量大,但每一步只用其中一小部分。放在服务器上可以全塞进显存,放在手机上就塞不下,只能边算边从存储里把需要的专家读进来,读得慢就卡。

面壁的办法叫 LES(前瞻专家调度)。按 GitHub 页面的说明,它做了三件事:

  • 跨层预测路由,提前把下一层大概率要用的专家加载好;
  • 当前层优先计算已经在内存里、又被路由选中的专家;
  • 配合权重量化和重新设计的存储布局,减小体积、加快读取。

官方称这套办法在真机上带来约 5 倍提速。另一项老技术延续下来,视觉部分用 4 倍和 16 倍混合压缩视觉 token,这在 5 月发布的 MiniCPM-V 4.6 里已经出现过。

第三方开发者此前翻过模型的配置文件:40 层,其中 30 层线性注意力、10 层全注意力,256 个专家里每个 token 选 8 个,上下文 256K。BF16 权重合计约 70.4GB。换句话说,3GB 是量化加按需加载之后的运行占用,想不量化直接跑,普通电脑也吃不消。

跑分只和同档比

面壁的说法是,35B-A3B 在 34 项基准上覆盖通用视觉、STEM 推理、OCR 与图表、长视频等任务,Instruct 模式下综合得分高于同为 35B-A3B 规格的 Qwen3.6-35B-A3B,推理时间更短,部分项目超过 Qwen 27B 和 Gemma-4 31B。1B 版本则对标 Qwen3.5 0.8B,综合得分和推理效率都更好。

这些都是厂商自报。GitHub 页面上的成绩表是图片,具体分数媒体报道里也没有展开,目前还没看到独立复现。

发布过程本身有一段小插曲。按第三方开发者的记录,35B-A3B 的权重 10 月 6 日晚就出现在 Hugging Face 上,当时没有模型卡、没有许可证,也没有评测数据,相关说明到 10 月 12 日前后才补齐。

对国内开发者,门槛在哪

这次面壁把适配名单写得很长:系统覆盖 iOS、安卓和鸿蒙,芯片列了 Intel、AMD、Arm、瑞芯微和后摩。瑞芯微和后摩出现在名单里,说明面壁瞄的不只是手机,还有国内的边缘盒子、机器人和车载这类设备,这些场景往往不能联网调用云端大模型。

同步开源的还有一套叫 SRFT(Self-Replay Fine-Tuning) 的微调方案,官方说法是低成本扩展能力,同时减少遗忘原有能力。对要在自家设备上做定制的团队,这比单放一个权重更实用。

不过有几处要看清:

  • 13 token/s 是在 iPhone 17 Pro Max 上测的,有媒体引述 iPad Pro 能到 15 token/s 以上。中端安卓机、鸿蒙机上的速度,官方还没给出数字。
  • 3GB 是运行时内存,模型文件本身仍然要占手机存储,量化后的具体体积要以官方发布的文件为准。
  • 适配名单写的是”适配”,各平台的推理框架、量化格式是否已经现成可用,要开发者自己逐个验证。

面壁过去几代 MiniCPM-V 的路线一直是”小参数、上手机”。这次把 MoE 搬上来,从参数结构看,是在总参数和手机内存之间换了一种分配:总量做大,每步用到的仍然控制在 30 亿左右。后面看两件事:LES 在内存更小的设备上还能不能稳住速度,以及第三方评测能不能把那 34 项成绩复现出来。

参考来源:OpenBMB GitHub 仓库 MiniCPM-V(LES 原理、平台适配、协议);IT之家;CocoLoop;凤凰网科技;Hugging Face 模型页与配置文件(层数、专家数、权重体积)。