L'équipe MNN de Taobao a publié en open source, le 6 novembre, le modèle de langage embarqué MNN-Pocket-0.3B. Il compte environ 300 millions de paramètres, cible le chinois et l'anglais, et est conçu pour tourner directement dans des applications mobiles. Selon l'équipe, de l'architecture, du vocabulaire et des données d'entraînement jusqu'à la quantification et au moteur d'inférence, tout a été conçu ensemble, et le modèle a été entraîné de zéro.
Sur l'iPhone 18 Pro, il fonctionne entièrement hors ligne, avec une vitesse de décodage moyenne d'environ 350 tokens/s ; le fichier de déploiement INT4 pèse 173 Mo et contient les poids, le tokenizer, le graphe de calcul et la configuration.
D'abord les objectifs, ensuite le modèle
L'équipe s'est d'abord fixé quatre contraintes strictes : une vitesse de décodage supérieure à 200 tokens/s ; un pic de mémoire inférieur à 300 Mo ; une énergie par inférence ne dépassant pas un dix-millième de la batterie de l'appareil de référence, soit au plus 1 % de batterie pour 100 exécutions ; et, sous ces contraintes, la meilleure capacité possible.
Le nombre de paramètres en a été déduit. L'équipe a essayé plusieurs configurations denses allant d'environ 50 millions à 1,3 milliard de paramètres ; autour de 300 millions, c'est la plus grande taille qui respecte à la fois les limites de mémoire et de vitesse. En passant de 16 à 28 couches, la capacité augmentait ; à 36, le score ne progressait plus et la vitesse de décodage tombait de 355 à 323 tokens/s, d'où le choix de 28 couches. Le vocabulaire, construit à partir du tokenizer de Qwen3, a été réduit d'environ 151 000 à 64 000 entrées, soit une baisse d'environ 57 %, ce qui a aussi allégé le coût des couches d'embedding et de sortie.
Scores et comparaison
Comparaison sur iPad Pro M5 (backend Metal, configuration de 512 tokens) :
| Test | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Vitesse de décodage | 466 tokens/s | 286 tokens/s |
| Paquet INT4 | 173 Mo | 340 Mo |
| Hausse du pic de mémoire | 228 Mo | 427 Mo |
Sur le backend CPU du Snapdragon 8 Gen 5, le décodage atteint 251 tokens/s. Le test de consommation a utilisé un OnePlus 13, avec un CPU à 4 threads, 1024 tokens en entrée et 128 en sortie, pour environ 2.7 joules par exécution ; converti pour une batterie de 6000 mAh, 100 exécutions consomment environ 0.3 %, nettement sous le plafond de 1 % que l'équipe s'était donné.
Côté capacités, le modèle obtient 73.20 à IFEval en anglais, 74.59 à IFEval-zh (suivi d'instructions en chinois), 51.20 à MGSM-zh (mathématiques en chinois) et 53.66 à HumanEval. La moyenne sur 11 évaluations couvrant connaissances, raisonnement, mathématiques, code et suivi d'instructions est de 50.00 ; l'équipe affirme qu'elle dépasse celles de MiniCPM4-0.5B et de Qwen3-0.6B. IFEval-zh est un jeu d'évaluation construit par l'équipe elle-même, et aucun résultat reproduit par des tiers n'existe pour l'instant.
Six versions au total sont ouvertes : Base, SFT, la version instruction, la version embarquée entraînée avec quantification W4A16, le modèle brouillon DFlash2 pour le décodage spéculatif (jusqu'à 2.06 fois plus rapide sur certaines tâches) et la tête de décision Dec, qui sert à classer des candidats. Le code se trouve dans le dépôt alibaba/MNN sur GitHub.
Ce que cela change pour les développeurs d'applications en Chine
MNN est le moteur d'inférence embarquée développé par Alibaba, ouvert depuis 2019 ; des applications comme Taobao mobile s'en servent depuis des années pour exécuter des modèles en local. Avec le modèle et le moteur publiés ensemble, les équipes qui développent des applications en Chine reçoivent une solution complète à intégrer directement au client, sans avoir à élaguer, quantifier et optimiser la vitesse d'un grand modèle open source.
Avec 300 millions de paramètres, on ne fait pas de raisonnement complexe ; le modèle convient aux petites tâches fréquentes comme la reconnaissance d'intention, la réécriture de textes courts, la complétion de termes de recherche et le classement de candidats. Si ces requêtes passaient auparavant par le cloud, chacune supportait la latence réseau et les frais d'API ; en local, elles fonctionnent même hors ligne et ce que saisit l'utilisateur ne quitte pas le téléphone. Reste que 173 Mo pèsent encore sur la taille des applications de e-commerce ou d'utilitaires, et que le téléchargement à la demande est sans doute l'option la plus réaliste.
Le fait que la tête de décision Dec figure parmi les six versions laisse penser que l'équipe vise surtout des tâches de classement et de sélection. Dans quelles fonctions Taobao utilise lui-même ce modèle, les documents de publication ne le disent pas.
Sources : IT Home, CocoLoop, dépôt open source de MNN ; vérification des vitesses de décodage sur iPhone 18 Pro et iPad Pro M5, de la taille du paquet INT4 et du mode de calcul des scores d'évaluation.