面壁開源 MiniCPM-V 4.7,350 億參數模型手機僅占 3GB

面壁智能與 OpenBMB 社群於 10 月 13 日正式發表多模態模型 MiniCPM-V 4.7,一次釋出兩個版本:35B-A3B 與 1B。前者是 MiniCPM-V 系列第一個混合專家(MoE)模型,總參數約 350 億,每次推論只啟用約 30 億;後者則鎖定入門級手機。

官方公布的端側數字是:35B-A3B 在 iPhone 17 Pro Max 上占用約 3GB 記憶體,解碼速度達 每秒 13 token 以上。程式碼與權重依 GitHub 儲存庫頁尾標示,採用 Apache-2.0 授權。

3GB 裝下 35B,靠的是提前調度專家

MoE 模型的難處在於,參數總量龐大,但每一步只會用到其中一小部分。放在伺服器上,可以全部塞進顯示記憶體;放到手機上就塞不下,只能邊運算邊從儲存空間把需要的專家讀進來,讀得慢就會卡頓。

面壁的做法稱為 LES(前瞻專家調度)。依 GitHub 頁面的說明,它做了三件事:

  • 跨層預測路由,提前載入下一層大機率會用到的專家;
  • 當前層優先運算已經在記憶體中、又被路由選中的專家;
  • 搭配權重量化與重新設計的儲存配置,縮小體積並加快讀取。

官方表示,這套做法在真機上帶來約 5 倍的加速。另有一項既有技術沿用下來:視覺部分以 4 倍與 16 倍混合壓縮視覺 token,這在 5 月發表的 MiniCPM-V 4.6 中就已出現。

第三方開發者先前翻過模型的設定檔:共 40 層,其中 30 層為線性注意力、10 層為全注意力,256 個專家中每個 token 選用 8 個,上下文長度 256K。BF16 權重合計約 70.4GB。換句話說,3GB 是量化加上按需載入之後的執行占用,想不量化直接跑,一般電腦也吃不消。

跑分只和同級產品比

面壁的說法是,35B-A3B 在 34 項基準測試中涵蓋通用視覺、STEM 推理、OCR 與圖表、長影片等任務,Instruct 模式下的綜合得分高於同為 35B-A3B 規格的 Qwen3.6-35B-A3B,推理時間也更短,部分項目超越 Qwen 27B 與 Gemma-4 31B。1B 版本則對標 Qwen3.5 0.8B,綜合得分與推理效率都更好。

這些都是廠商自行公布的數字。GitHub 頁面上的成績表是圖片,具體分數在媒體報導中也沒有細談,目前尚未看到獨立複現。

發表過程本身有段小插曲。依第三方開發者的紀錄,35B-A3B 的權重在 10 月 6 日晚間就出現在 Hugging Face 上,當時沒有模型卡、沒有授權條款,也沒有評測資料,相關說明直到 10 月 12 日前後才補齊。

對中國大陸開發者,門檻在哪

這次面壁把適配名單寫得很長:作業系統涵蓋 iOS、Android 與鴻蒙,晶片列出 Intel、AMD、Arm、瑞芯微與後摩。瑞芯微和後摩出現在名單中,顯示面壁瞄準的不只是手機,還有大陸的邊緣運算盒、機器人與車載這類裝置,這些場景往往無法連網呼叫雲端大模型。

同步開源的還有一套名為 SRFT(Self-Replay Fine-Tuning)的微調方案,官方說法是能以低成本擴充能力,同時減少遺忘原有能力。對想在自家裝置上做客製化的團隊來說,這比單獨釋出權重更實用。

不過有幾點要看清楚:

  • 每秒 13 token 是在 iPhone 17 Pro Max 上測得的,有媒體引述 iPad Pro 可達每秒 15 token 以上。中階 Android 手機、鴻蒙手機上的速度,官方尚未給出數字。
  • 3GB 是執行時的記憶體占用,模型檔案本身仍要占用手機儲存空間,量化後的實際大小要以官方釋出的檔案為準。
  • 適配名單寫的是「適配」,各平台的推論框架、量化格式是否已經能直接使用,得由開發者自行逐一驗證。

面壁過去幾代 MiniCPM-V 的路線一直是「小參數、上手機」。這次把 MoE 搬上來,從參數結構來看,是在總參數與手機記憶體之間換了一種配置方式:總量做大,每一步用到的仍控制在 30 億左右。接下來要看兩件事:LES 在記憶體更小的裝置上還能不能維持速度,以及第三方評測能否複現那 34 項成績。

參考來源:OpenBMB GitHub 儲存庫 MiniCPM-V(LES 原理、平台適配、授權);IT之家;CocoLoop;鳳凰網科技;Hugging Face 模型頁與設定檔(層數、專家數、權重體積)。