El modelo de un billón de parámetros de Mistral, Mistral Large 4, ya tiene pesos abiertos. Hugging Face lo presentó el 29 de octubre en una publicación: el modelo llega en dos precisiones, FP8 y NVFP4, funciona ese mismo día con Transformers, vLLM y llama.cpp, y Unsloth ha lanzado a la vez versiones cuantizadas en GGUF. Cuando Mistral presentó la vista previa de investigación el 6 de octubre, prometió abrir el modelo a finales de mes, y con esto cumple el plazo.
Estructura y licencia
El repositorio se llama Mistral-Large-4-1T-A52B. Según Hugging Face, el modelo tiene 72 capas y una arquitectura de mezcla de expertos (MoE) con 128 expertos; cada token pasa por 4 expertos enrutados más 1 experto compartido. La atención usa multi-head latent attention (MLA) e indexación dispersa, y cada consulta mira como máximo 2048 posiciones de clave. La parte visual es un codificador Pixtral de 1,6B, con entrada de texto e imagen y salida de texto.
De los parámetros activos hay ahora dos cifras: el texto del blog habla de unos 49.000 millones y el nombre del repositorio indica 52.000 millones; habrá que atenerse a lo que aclare Mistral más adelante. La ventana de contexto se anuncia en 1 millón de tokens, pero las configuraciones de despliegue reales son menores: los ejemplos de vLLM e Inference Endpoints usan 131K, y la versión cuantizada a 2 bits de llama.cpp llega a 800.000.
La licencia se llama Mistral Ecosystem Open-Weight License, es una adaptación de la MIT y restringe empaquetar el modelo directamente como modelo como servicio para venderlo a terceros. El uso propio, el ajuste fino y el despliegue privado no se ven afectados; los proveedores de nube que quieran revender una API con él deberán leer antes las condiciones con atención.
Las notas se concentran en seguridad y programación
Entre los resultados que enumera Hugging Face, los de seguridad son los más destacados: 93 % en las 40 pruebas de competición de seguridad de Cybench, 82 % en reproducción y corrección de vulnerabilidades, 93,3 % en resistencia a ataques en Lakera B3, y el índice de ciberseguridad de Artificial Analysis lo sitúa entre los cinco primeros del mundo. En agentes de programación, DeepSWE v1.1 marca 61,7 %, SWE-Atlas-QnA 59,4 % y Terminal-Bench 4 28,3 %. En el índice de inteligencia general queda quinto entre los modelos de pesos abiertos.
“Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality.”
(Mistral Large 4 es especialmente fuerte en ciberseguridad, agentes de programación y multimodalidad.)
Todo esto son cifras de la propia empresa y de sus socios; cuánto podrá reproducir la comunidad cuando tenga los pesos en la mano es algo que llevará tiempo comprobar.
De Large 3 a los pesos abiertos
Si se mira la línea de Mistral en conjunto, el cambio no es pequeño. Según los datos que Artificial Analysis dio al lanzarse la versión preliminar, Large 3 solo tenía 9 puntos en el índice de inteligencia y la vista previa de Large 4 llegó a 38. En la fase preliminar el modelo solo estaba disponible a través de la API propia de Mistral, con prioridad para desarrolladores, responsables de seguridad y organismos públicos; entonces Mistral también reconoció que seguía por detrás de los modelos cerrados más avanzados en áreas como la programación. El 28,3 % de Terminal-Bench 4 que se ha publicado ahora queda muy lejos de las puntuaciones superiores al 90 % en seguridad, lo que encaja bastante con esa autoevaluación.
Con los pesos publicados, las formas de despliegue se multiplican de golpe. Hugging Face Inference Endpoints usa 8 GPU H200, el ejemplo de Dell Enterprise Hub emplea 4 B300, y el ejemplo de ajuste fino con TRL requiere un nodo con 8 tarjetas B300. La cuantización de 2 bits de llama.cpp cabe en un Apple Silicon Ultra con 512 GB de memoria unificada; las demás cuantizaciones tienen que ejecutarse de forma distribuida en varias GPU, y la prueba oficial se hizo con 4 RTX 6000 Pro.
Al informar sobre la versión preliminar estimamos que, con precisión de 8 bits, solo almacenar los pesos exigía unos 1 TB de memoria de vídeo. Ahora NVFP4 y la versión de 2 bits han bajado ese listón, pero para la mayoría de los equipos un servidor Blackwell de 8 GPU sigue siendo la configuración de partida. En esta presentación no se menciona el precio oficial en la API de Mistral.
Fuentes: blog oficial de Hugging Face, blog de vLLM, CocoLoop, Artificial Analysis; la tarjeta del modelo en Hugging Face sirvió para verificar la estructura, la longitud de contexto y el nombre de la licencia.