El equipo MNN de Taobao publicó el 6 de noviembre como código abierto el modelo de lenguaje para dispositivos MNN-Pocket-0.3B. Tiene unos 300 millones de parámetros, se centra en chino e inglés y está pensado para ejecutarse dentro de aplicaciones móviles. Según el equipo, desde la arquitectura, el vocabulario y los datos de entrenamiento hasta la cuantización y el motor de inferencia, todo se diseñó en conjunto y el modelo se entrenó desde cero.
En el iPhone 18 Pro funciona totalmente sin conexión, con una velocidad media de decodificación de unos 350 tokens/s; el archivo de despliegue INT4 pesa 173 MB e incluye pesos, tokenizador, grafo de cómputo y configuración.
Primero las metas, después el modelo
El equipo se fijó primero cuatro metas estrictas: velocidad de decodificación superior a 200 tokens/s; pico de memoria inferior a 300 MB; energía por inferencia no superior a una diezmilésima parte de la batería del dispositivo de referencia, es decir, que 100 ejecuciones no gasten más del 1 % de batería; y, dentro de esos límites, la mayor capacidad posible.
El número de parámetros se dedujo a partir de ahí. El equipo probó varias configuraciones densas de entre unos 50 millones y 1,3 mil millones de parámetros, y en torno a 300 millones es la mayor escala que cumple a la vez los límites de memoria y velocidad. Al pasar de 16 a 28 capas, la capacidad subió; con 36, la puntuación dejó de aumentar y la velocidad de decodificación bajó de 355 a 323 tokens/s, así que se fijó en 28 capas. El vocabulario, partiendo del tokenizador de Qwen3, se redujo de unos 151 000 a 64 000 entradas, un recorte de cerca del 57 %, lo que también abarató las capas de embeddings y de salida.
Resultados y comparativa
Comparativa en el iPad Pro M5 (backend Metal, configuración de 512 tokens):
| Prueba | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Velocidad de decodificación | 466 tokens/s | 286 tokens/s |
| Paquete INT4 | 173 MB | 340 MB |
| Incremento del pico de memoria | 228 MB | 427 MB |
En el backend de CPU del Snapdragon 8 Gen 5, la decodificación llega a 251 tokens/s. La prueba de consumo usó un OnePlus 13 con CPU de 4 hilos, entrada de 1024 tokens y salida de 128 tokens, con unos 2.7 julios por ejecución; convertido a una batería de 6000 mAh, 100 ejecuciones gastan en torno al 0.3 %, bastante por debajo del tope del 1 % que se fijó el equipo.
En capacidades, el modelo logra 73.20 en IFEval en inglés, 74.59 en IFEval-zh (seguimiento de instrucciones en chino), 51.20 en MGSM-zh (matemáticas en chino) y 53.66 en HumanEval. La media de 11 evaluaciones que abarcan conocimiento, razonamiento, matemáticas, código y seguimiento de instrucciones es 50.00, y el equipo afirma que supera a MiniCPM4-0.5B y a Qwen3-0.6B. IFEval-zh es un conjunto de evaluación creado por el propio equipo y por ahora no hay resultados reproducidos por terceros.
En total se liberaron seis versiones: Base, SFT, la versión de instrucciones, la versión para dispositivos entrenada con cuantización W4A16, el modelo borrador DFlash2 para decodificación especulativa (hasta 2.06 veces más rápida en ciertas tareas) y la cabeza de decisión Dec, usada para ordenar candidatos. El código está en el repositorio alibaba/MNN de GitHub.
Qué supone para los desarrolladores de apps en China
MNN es el motor de inferencia para dispositivos desarrollado por Alibaba, de código abierto desde 2019; aplicaciones como el Taobao móvil lo usan desde hace años para ejecutar modelos en local. Con modelo y motor publicados a la vez, los equipos que hacen aplicaciones en China reciben una solución completa que se puede integrar directamente en el cliente, sin tener que recortar, cuantizar y ajustar la velocidad de un modelo grande de código abierto.
Con 300 millones de parámetros no se puede hacer razonamiento complejo; encaja en tareas pequeñas y frecuentes como el reconocimiento de intención, la reescritura de textos cortos, el autocompletado de términos de búsqueda y la ordenación de candidatos. Si antes estas peticiones iban a la nube, cada una cargaba con latencia de red y coste de API; en el dispositivo funcionan incluso sin conexión y lo que escribe el usuario no sale del teléfono. Aun así, 173 MB siguen siendo una carga para el tamaño de las apps de comercio electrónico y de utilidades, y lo más realista quizá sea la descarga bajo demanda.
Que entre las seis versiones haya una cabeza de decisión Dec específica sugiere que el equipo apunta sobre todo a tareas de ordenación y selección. En qué funciones usa el propio Taobao este modelo, los materiales de lanzamiento no lo indican.
Fuentes: IT Home, CocoLoop, repositorio de código abierto de MNN; se verificaron las velocidades de decodificación en el iPhone 18 Pro y el iPad Pro M5, el tamaño del paquete INT4 y el criterio de puntuación de las evaluaciones.