Das MNN-Team von Taobao hat am 6. November das On-Device-Sprachmodell MNN-Pocket-0.3B als Open Source veröffentlicht. Das Modell hat rund 300 Millionen Parameter, konzentriert sich auf Chinesisch und Englisch und ist für den Betrieb direkt in Smartphone-Apps gedacht. Nach Angaben des Teams wurden Architektur, Vokabular, Trainingsdaten, Quantisierung und Inferenz-Engine gemeinsam entworfen und das Modell von Grund auf trainiert.
Auf dem iPhone 18 Pro läuft es vollständig offline und erreicht beim Decoding im Schnitt etwa 350 Token/s; die INT4-Datei für den Einsatz umfasst 173 MB und enthält Gewichte, Tokenizer, Rechengraph und Konfiguration.
Erst die Zielwerte, dann das Modell
Das Team legte sich zunächst auf vier harte Vorgaben fest: Decoding-Geschwindigkeit über 200 Token/s; Spitzenspeicher unter 300 MB; Energiebedarf pro Inferenz höchstens ein Zehntausendstel der Akkukapazität des Referenzgeräts, also nicht mehr als 1 % Akku bei 100 Durchläufen; und unter diesen Einschränkungen möglichst hohe Leistungsfähigkeit.
Die Parameterzahl wurde daraus rückwärts abgeleitet. Das Team probierte dichte Konfigurationen von etwa 50 Millionen bis 1,3 Milliarden Parametern aus; rund 300 Millionen sind die größte Größenordnung, die Speicher- und Geschwindigkeitsgrenzen zugleich einhält. Bei einer Erhöhung der Schichtzahl von 16 auf 28 stieg die Leistung mit; bei 36 Schichten legten die Werte nicht mehr zu, während die Decoding-Geschwindigkeit von 355 auf 323 Token/s fiel. Daher blieb es bei 28 Schichten. Das Vokabular wurde auf Basis des Qwen3-Tokenizers von rund 151.000 auf 64.000 Einträge verkleinert, ein Rückgang um etwa 57 %, wodurch auch der Aufwand für Embedding- und Ausgabeschicht sank.
Messwerte im Vergleich
Vergleich auf dem iPad Pro M5 (Metal-Backend, Konfiguration mit 512 Token):
| Test | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Decoding-Geschwindigkeit | 466 Token/s | 286 Token/s |
| INT4-Paket | 173 MB | 340 MB |
| Zuwachs beim Spitzenspeicher | 228 MB | 427 MB |
Auf dem CPU-Backend des Snapdragon 8 Gen 5 erreicht das Decoding 251 Token/s. Für den Energietest diente ein OnePlus 13 mit 4 CPU-Threads, 1024 Eingabe- und 128 Ausgabe-Token; jeder Durchlauf kostet etwa 2.7 Joule. Auf einen 6000-mAh-Akku umgerechnet verbrauchen 100 Durchläufe rund 0.3 %, deutlich unter der vom Team selbst gesetzten Grenze von 1 %.
Bei den Fähigkeiten kommt das Modell auf 73.20 im englischen IFEval, 74.59 im chinesischen Instruktionstest IFEval-zh, 51.20 im chinesischen Mathematik-Benchmark MGSM-zh und 53.66 bei HumanEval. Über 11 Benchmarks zu Wissen, Schlussfolgern, Mathematik, Code und Befolgen von Anweisungen liegt der Durchschnitt bei 50.00; laut Team ist das mehr als bei MiniCPM4-0.5B und Qwen3-0.6B. IFEval-zh ist dabei ein vom Team selbst erstellter Testsatz; externe Nachprüfungen liegen bisher nicht vor.
Insgesamt wurden sechs Versionen freigegeben: Base, SFT, die Instruct-Version, eine mit W4A16-Quantisierung trainierte On-Device-Version, das Entwurfsmodell DFlash2 für spekulatives Decoding (bei bestimmten Aufgaben bis zu 2.06-fache Beschleunigung) sowie der Entscheidungskopf Dec zum Ranking von Kandidaten. Der Code liegt im Repository alibaba/MNN auf GitHub.
Was das für App-Entwickler in China bedeutet
MNN ist die von Alibaba selbst entwickelte On-Device-Inferenz-Engine, seit 2019 Open Source; Apps wie Mobile Taobao nutzen sie seit Jahren, um Modelle lokal auszuführen. Dass nun Modell und Engine zusammen erscheinen, gibt Entwicklerteams in China ein Gesamtpaket an die Hand, das sich direkt in den Client einbauen lässt; sie müssen ein Open-Source-Großmodell nicht mehr selbst zuschneiden, quantisieren und auf Tempo trimmen.
Mit 300 Millionen Parametern lässt sich kein komplexes Schlussfolgern leisten; geeignet sind häufige kleine Aufgaben wie Absichtserkennung, Umformulieren kurzer Texte, Vervollständigen von Suchbegriffen und das Ranking von Kandidaten. Liefen solche Anfragen bisher über die Cloud, fielen jedes Mal Netzwerklatenz und API-Kosten an; lokal funktionieren sie auch offline, und die Eingaben der Nutzer verlassen das Telefon nicht. Für E-Commerce- und Tool-Apps bleiben 173 MB aber eine Last für die Paketgröße, weshalb ein Download nach Bedarf realistischer sein dürfte.
Dass unter den sechs Versionen eigens der Entscheidungskopf Dec auftaucht, deutet darauf hin, dass das Team vor allem Ranking- und Auswahlaufgaben im Blick hat. In welchen Funktionen Taobao selbst das Modell einsetzt, geht aus den Veröffentlichungsunterlagen nicht hervor.
Quellen: IT Home, CocoLoop, MNN-Open-Source-Repository; geprüft wurden Decoding-Geschwindigkeiten auf iPhone 18 Pro und iPad Pro M5, Größe des INT4-Pakets und die Messmethodik der Benchmarks.