Le modèle à mille milliards de paramètres de Mistral, Mistral Large 4, est désormais disponible en poids ouverts. Hugging Face l'a présenté le 29 octobre dans un article : le modèle est publié en deux précisions, FP8 et NVFP4, fonctionne dès le jour même avec Transformers, vLLM et llama.cpp, et Unsloth a publié en parallèle des versions quantifiées au format GGUF. Lors de l'aperçu de recherche du 6 octobre, Mistral avait promis une ouverture avant la fin du mois : l'engagement est tenu.
Architecture et licence
Le dépôt s'appelle Mistral-Large-4-1T-A52B. D'après Hugging Face, le modèle compte 72 couches et adopte une architecture de mélange d'experts (MoE) à 128 experts ; chaque token passe par 4 experts routés plus 1 expert partagé. L'attention repose sur la multi-head latent attention (MLA) et un index épars, chaque requête examinant au plus 2048 positions de clés. La partie vision est un encodeur Pixtral de 1,6B, avec texte et images en entrée et texte en sortie.
Pour les paramètres actifs, deux chiffres circulent : le corps de l'article parle d'environ 49 milliards, le nom du dépôt de 52 milliards ; il faudra s'en remettre aux précisions ultérieures de Mistral. La fenêtre de contexte est annoncée à 1 million de tokens, mais les configurations de déploiement réelles sont plus basses : les exemples de vLLM et d'Inference Endpoints sont réglés sur 131K, et la version quantifiée en 2 bits de llama.cpp atteint 800 000.
La licence s'appelle Mistral Ecosystem Open-Weight License. Dérivée de la licence MIT, elle interdit d'empaqueter directement le modèle en modèle en tant que service pour le vendre à des tiers. L'usage interne, le fine-tuning et le déploiement privé ne sont pas concernés ; les fournisseurs de cloud qui comptent revendre une API doivent d'abord lire attentivement les conditions.
Des scores concentrés sur la sécurité et le code
Parmi les résultats listés par Hugging Face, ceux de sécurité se détachent : 93 % sur les 40 épreuves de compétition de sécurité de Cybench, 82 % en reproduction et correction de vulnérabilités, 93,3 % en résistance aux attaques sur Lakera B3, et l'indice de cybersécurité d'Artificial Analysis le classe parmi les cinq premiers au monde. Côté agents de programmation, DeepSWE v1.1 affiche 61,7 %, SWE-Atlas-QnA 59,4 % et Terminal-Bench 4 28,3 %. Sur l'indice d'intelligence global, il se place cinquième parmi les modèles à poids ouverts.
« Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality. »
(Mistral Large 4 est particulièrement performant en cybersécurité, en agents de programmation et en multimodalité.)
Ce sont là des chiffres de l'éditeur et de ses partenaires ; il faudra du temps pour savoir ce que la communauté parviendra à reproduire une fois les poids en main.
De Large 3 aux poids ouverts
Si l'on replace la lignée de Mistral dans son ensemble, l'évolution est considérable. Selon les données publiées par Artificial Analysis au lancement de l'aperçu, Large 3 n'obtenait que 9 points à l'indice d'intelligence, contre 38 pour l'aperçu de Large 4. Pendant la phase d'aperçu, le modèle n'était accessible que via l'API propre de Mistral, en priorité pour les développeurs, les responsables de la sécurité et les administrations ; Mistral reconnaissait alors qu'il restait en retrait des modèles fermés les plus avancés dans des domaines comme la programmation. Les 28,3 % de Terminal-Bench 4 publiés cette fois sont très éloignés des scores de plus de 90 % en sécurité, ce qui correspond assez bien à cette auto-évaluation.
Avec les poids ouverts, les options de déploiement se sont multipliées d'un coup. Hugging Face Inference Endpoints utilise 8 GPU H200, l'exemple de Dell Enterprise Hub 4 B300, et l'exemple de fine-tuning avec TRL requiert un nœud de 8 cartes B300. La quantification 2 bits de llama.cpp tient sur un Apple Silicon Ultra doté de 512 Go de mémoire unifiée ; les autres quantifications doivent tourner de façon distribuée sur plusieurs GPU, et le test officiel a été réalisé sur 4 RTX 6000 Pro.
Lors de notre couverture de l'aperçu, nous avions estimé qu'en précision 8 bits, le simple stockage des poids exigeait environ 1 To de mémoire vidéo. NVFP4 et la version 2 bits ont depuis abaissé ce seuil, mais pour la plupart des équipes, un serveur Blackwell à 8 GPU reste la configuration de départ. Le tarif officiel sur l'API de Mistral n'est pas mentionné dans cette présentation.
Sources : blog officiel de Hugging Face, blog de vLLM, CocoLoop, Artificial Analysis ; la fiche du modèle sur Hugging Face a servi à vérifier la structure, la longueur de contexte et le nom de la licence.