ModelBest (chinesisch Mianbi Zhineng) und die OpenBMB-Community haben am 13. Oktober das multimodale Modell MiniCPM-V 4.7 offiziell veröffentlicht, gleich in zwei Varianten: 35B-A3B und 1B. Die erste ist das erste Mixture-of-Experts-Modell (MoE) der MiniCPM-V-Reihe mit insgesamt rund 35 Milliarden Parametern, von denen pro Inferenz nur etwa 3 Milliarden aktiv sind; die zweite zielt auf Einsteiger-Smartphones.
Die offiziellen Werte für den Betrieb auf dem Gerät: Das 35B-A3B belegt auf dem iPhone 17 Pro Max etwa 3 GB Arbeitsspeicher und dekodiert mit mehr als 13 Token pro Sekunde. Code und Gewichte stehen laut Hinweis im Footer des GitHub-Repositorys unter der Apache-2.0-Lizenz.
35B in 3 GB: Experten werden vorausschauend eingeplant
Das Problem bei MoE-Modellen: Die Gesamtzahl der Parameter ist groß, aber pro Schritt wird nur ein kleiner Teil gebraucht. Auf einem Server passt alles in den Grafikspeicher, auf dem Handy nicht. Die benötigten Experten müssen während der Berechnung aus dem Speicher nachgeladen werden, und wenn das zu langsam geht, ruckelt es.
ModelBest löst das mit LES (Look-ahead Expert Scheduling, vorausschauende Expertenplanung). Laut Beschreibung auf der GitHub-Seite geschieht dabei dreierlei:
- Das Routing wird schichtübergreifend vorhergesagt, sodass die Experten, die die nächste Schicht wahrscheinlich braucht, schon geladen sind;
- in der aktuellen Schicht werden zuerst jene Experten berechnet, die bereits im Speicher liegen und vom Router ausgewählt wurden;
- Gewichtsquantisierung und ein neu gestaltetes Speicherlayout verkleinern das Modell und beschleunigen das Lesen.
Nach Angaben des Unternehmens bringt das Verfahren auf echter Hardware rund fünffache Beschleunigung. Eine ältere Technik wird weitergeführt: Der Vision-Teil komprimiert die Bild-Token gemischt im Verhältnis 4:1 und 16:1, was schon in MiniCPM-V 4.6 vom Mai zum Einsatz kam.
Ein Entwickler außerhalb des Projekts hat zuvor die Konfigurationsdatei des Modells ausgewertet: 40 Schichten, davon 30 mit linearer und 10 mit voller Attention, pro Token werden 8 von 256 Experten gewählt, Kontext 256K. Die BF16-Gewichte summieren sich auf rund 70,4 GB. Die 3 GB sind also der Laufzeitbedarf nach Quantisierung und bedarfsgesteuertem Laden; wer das Modell unquantisiert laden will, überfordert auch einen normalen Rechner.
Benchmarks nur innerhalb derselben Klasse vergleichen
ModelBest zufolge wurde das 35B-A3B auf 34 Benchmarks getestet, die allgemeines Sehen, MINT-Reasoning, OCR und Diagramme sowie lange Videos abdecken. Im Instruct-Modus liege der Gesamtwert über dem von Qwen3.6-35B-A3B in derselben Größenklasse, bei kürzerer Inferenzzeit, und in einzelnen Disziplinen auch über Qwen 27B und Gemma-4 31B. Die 1B-Variante tritt gegen Qwen3.5 0.8B an und soll bei Gesamtwert und Inferenzeffizienz besser abschneiden.
Das sind durchweg Herstellerangaben. Die Ergebnistabelle auf der GitHub-Seite ist ein Bild, einzelne Punktzahlen nennen auch die Medienberichte nicht, und eine unabhängige Reproduktion ist bislang nicht zu sehen.
Beim Release gab es zudem eine kleine Episode. Nach Aufzeichnungen eines externen Entwicklers tauchten die Gewichte des 35B-A3B bereits am Abend des 6. Oktober auf Hugging Face auf, damals ohne Model Card, ohne Lizenz und ohne Evaluationsdaten; die Angaben wurden erst um den 12. Oktober herum nachgereicht.
Wo die Hürden für Entwickler in China liegen
Diesmal hat ModelBest eine lange Kompatibilitätsliste veröffentlicht: Als Systeme sind iOS, Android und HarmonyOS genannt, als Chips Intel, AMD, Arm, Rockchip und Houmo AI. Dass Rockchip und Houmo AI darauf stehen, zeigt, dass es nicht nur um Smartphones geht, sondern auch um Edge-Boxen, Roboter und Fahrzeugelektronik im Inland, wo sich Cloud-Modelle oft nicht per Netzwerk ansprechen lassen.
Ebenfalls quelloffen veröffentlicht wurde das Feinabstimmungsverfahren SRFT (Self-Replay Fine-Tuning), das laut Unternehmen Fähigkeiten kostengünstig erweitert und dabei das Vergessen vorhandener Fähigkeiten verringert. Für Teams, die auf eigener Hardware anpassen wollen, ist das nützlicher als ein bloßer Gewichtssatz.
Einige Punkte sollte man dennoch genau lesen:
- Die 13 Token pro Sekunde wurden auf dem iPhone 17 Pro Max gemessen; Medien zitieren für das iPad Pro mehr als 15 Token pro Sekunde. Für Android-Geräte der Mittelklasse und HarmonyOS-Geräte nennt der Hersteller noch keine Zahlen.
- Die 3 GB sind Laufzeitspeicher; die Modelldatei selbst belegt weiterhin Gerätespeicher, und die genaue Größe nach der Quantisierung richtet sich nach den offiziell veröffentlichten Dateien.
- In der Liste steht „unterstützt“; ob Inferenz-Frameworks und Quantisierungsformate auf jeder Plattform schon einsatzbereit sind, müssen Entwickler jeweils selbst prüfen.
Die MiniCPM-V-Generationen von ModelBest folgten bisher dem Motto „wenige Parameter, aufs Handy“. Mit MoE auf dem Gerät verteilt sich, von der Parameterstruktur her betrachtet, das Verhältnis zwischen Gesamtparametern und Handyspeicher neu: Die Gesamtzahl wächst, der pro Schritt genutzte Teil bleibt bei rund 3 Milliarden. Zwei Dinge gilt es nun zu beobachten: ob LES auf Geräten mit weniger Speicher die Geschwindigkeit halten kann und ob unabhängige Tests die 34 Ergebnisse reproduzieren.
Quellen: GitHub-Repository OpenBMB MiniCPM-V (LES-Prinzip, Plattformunterstützung, Lizenz); ITHome; CocoLoop; Ifeng Tech; Hugging-Face-Modellseite und Konfigurationsdatei (Schichten, Experten, Gewichtsgröße).