ModelBest (Mianbi Zhineng, en chino) y la comunidad OpenBMB lanzaron oficialmente el 13 de octubre el modelo multimodal MiniCPM-V 4.7, con dos versiones a la vez: 35B-A3B y 1B. La primera es el primer modelo de mezcla de expertos (MoE) de la serie MiniCPM-V, con unos 35.000 millones de parámetros en total y solo unos 3.000 millones activos por inferencia; la segunda está pensada para móviles de gama de entrada.
Las cifras oficiales en el dispositivo: el 35B-A3B ocupa unos 3 GB de memoria en el iPhone 17 Pro Max y decodifica a más de 13 tokens por segundo. El código y los pesos usan la licencia Apache-2.0, según consta en el pie de página del repositorio de GitHub.
35B en 3 GB: la clave es programar los expertos con antelación
El problema de los modelos MoE es que el total de parámetros es enorme, pero en cada paso solo se usa una pequeña parte. En un servidor todo cabe en la memoria de la GPU; en un móvil no. Hay que ir leyendo del almacenamiento los expertos necesarios mientras se calcula, y si la lectura es lenta, el dispositivo se atasca.
La solución de ModelBest se llama LES (Look-ahead Expert Scheduling, programación anticipada de expertos). Según la descripción de la página de GitHub, hace tres cosas:
- predice el enrutamiento entre capas y carga de antemano los expertos que la siguiente capa probablemente necesitará;
- en la capa actual, calcula primero los expertos que ya están en memoria y han sido elegidos por el enrutador;
- combina la cuantización de pesos con una disposición de almacenamiento rediseñada para reducir el tamaño y acelerar la lectura.
La empresa asegura que este método aporta una aceleración de unas 5 veces en dispositivos reales. Se mantiene una técnica anterior: la parte visual comprime los tokens de imagen de forma mixta, 4 veces y 16 veces, algo que ya apareció en MiniCPM-V 4.6, lanzado en mayo.
Un desarrollador independiente había revisado antes el archivo de configuración del modelo: 40 capas, de las cuales 30 son de atención lineal y 10 de atención completa, 8 de 256 expertos elegidos por token y contexto de 256K. Los pesos en BF16 suman unos 70,4 GB. Es decir, los 3 GB son el consumo en ejecución tras la cuantización y la carga bajo demanda; quien quiera ejecutarlo sin cuantizar sobrecargará incluso un ordenador convencional.
Las puntuaciones solo se comparan con la misma categoría
Según ModelBest, el 35B-A3B se evaluó en 34 benchmarks que abarcan visión general, razonamiento STEM, OCR y gráficos, y vídeo largo. En modo Instruct, la puntuación global supera a la de Qwen3.6-35B-A3B, de la misma especificación 35B-A3B, con menor tiempo de inferencia, y en algunos apartados supera a Qwen 27B y Gemma-4 31B. La versión 1B se compara con Qwen3.5 0.8B, con mejor puntuación global y mayor eficiencia de inferencia.
Todo esto son cifras que declara el propio fabricante. La tabla de resultados de GitHub es una imagen, los medios tampoco detallan las puntuaciones concretas y por ahora no se ha visto ninguna reproducción independiente.
El lanzamiento tuvo además un pequeño episodio. Según el registro de un desarrollador independiente, los pesos del 35B-A3B aparecieron en Hugging Face la noche del 6 de octubre, sin model card, sin licencia y sin datos de evaluación; la documentación no se completó hasta alrededor del 12 de octubre.
Para los desarrolladores en China, dónde está la barrera
Esta vez ModelBest ha publicado una lista de compatibilidad muy larga: los sistemas abarcan iOS, Android y HarmonyOS, y los chips incluyen Intel, AMD, Arm, Rockchip y Houmo AI. Que Rockchip y Houmo AI figuren en la lista indica que el objetivo no son solo los móviles, sino también las cajas de borde, los robots y los dispositivos de automoción del país, escenarios en los que a menudo no se puede llamar por red a un modelo grande en la nube.
También se publicó como código abierto el método de ajuste fino SRFT (Self-Replay Fine-Tuning), que según la empresa amplía capacidades a bajo coste y reduce el olvido de las que el modelo ya tenía. Para los equipos que quieran personalizar en sus propios dispositivos, esto resulta más práctico que un simple conjunto de pesos.
Aun así, conviene fijarse en varios puntos:
- Los 13 tokens por segundo se midieron en el iPhone 17 Pro Max; algunos medios citan más de 15 tokens por segundo en el iPad Pro. Para Android de gama media y dispositivos HarmonyOS, la empresa aún no ha dado cifras.
- Los 3 GB son memoria en ejecución; el archivo del modelo sigue ocupando almacenamiento del móvil, y el tamaño exacto tras la cuantización dependerá de los archivos oficiales.
- La lista dice «compatible»; si los marcos de inferencia y los formatos de cuantización de cada plataforma están ya listos para usar, es algo que cada desarrollador debe comprobar por su cuenta.
En las últimas generaciones de MiniCPM-V, ModelBest ha seguido siempre la línea de «pocos parámetros, directo al móvil». Al llevar el MoE al dispositivo, desde la estructura de parámetros se trata de otro reparto entre el total de parámetros y la memoria del teléfono: el total crece, pero lo que se usa en cada paso sigue rondando los 3.000 millones. Hay dos cosas que vigilar: si LES puede mantener la velocidad en dispositivos con menos memoria y si las evaluaciones de terceros logran reproducir esos 34 resultados.
Fuentes: repositorio OpenBMB MiniCPM-V en GitHub (principio de LES, plataformas compatibles, licencia); ITHome; CocoLoop; Ifeng Tech; página del modelo y archivo de configuración en Hugging Face (capas, expertos, tamaño de los pesos).