Microsoft AI a publié le 15 octobre les détails du préentraînement de MAI-Base-2, son modèle de fondation de nouvelle génération. Il s'agit d'un modèle à mélange d'experts (MoE) de 2,8 billions de paramètres au total, dont 80 milliards sont activés. Le préentraînement est terminé et l'équipe travaille désormais sur le post-entraînement. MAI-Thinking-1, lancé en juin, reposait sur la génération précédente, MAI-Base-1.
Microsoft avance deux affirmations principales. La première : « MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations » (sur les évaluations internes mises de côté, MAI-Base-2 surpasse tous les modèles à poids ouverts testés). La seconde concerne l'efficacité : face à DeepSeek-V4-Pro-Base, que l'entreprise juge être la meilleure base open source, MAI-Base-2 exige 4,2 à 12,3 fois moins de calcul de préentraînement pour atteindre le même niveau, et 6,3 à 12,7 fois moins que son propre MAI-Base-1 ; le calcul économisé a servi à entraîner un modèle plus grand. La version 2.4T-A95B de Qwen3.8 figure aussi parmi les modèles de comparaison.
Ces évaluations s'appuient sur le jeu de test réservé de Microsoft ; les questions et les scores détaillés ne sont pas publics, si bien que personne à l'extérieur ne peut, pour l'instant, reproduire les résultats.
Données et entraînement
Dans son billet de blog, Microsoft précise que l'ensemble des données d'entraînement a été traité par l'équipe elle-même et que le travail « does not involve distillation from other models » (n'implique aucune distillation à partir d'autres modèles). Le mélange d'entraînement totalise 50 billions de tokens ; en tokens uniques, le corpus est environ 36 % plus volumineux que celui de MAI-Base-1. Les données visuelles sont intégrées de façon native : 4,5 billions de tokens visuels uniques, soit 18 % du mélange d'entraînement.
Le matériel se composait de 16 000 GPU GB200, qui ont tourné 38 jours d'affilée entre août et septembre 2026. Le MFU moyen (taux d'utilisation des FLOPs du modèle) a atteint 21 % et la part de temps d'entraînement effectif 89 %. Les modifications d'ingénierie se sont concentrées sur les couches MoE et l'optimiseur : le MFU des couches MoE est passé de 24 % à 35 % ; l'optimiseur Muon, après partitionnement et optimisation des communications, ne pèse plus que 2,1 % du temps d'itération, soit environ 165 millisecondes par étape ; la stabilité de l'entraînement repose sur l'écrêtage des gradients d'activation, qui, selon Microsoft, s'est aussi révélé un outil de diagnostic des problèmes dans les données d'entraînement.
Côté méthode, l'équipe a utilisé une scaling ladder pour évaluer à petite échelle les modifications du modèle et a proposé le source scaling, afin que les conclusions des petites expériences se transposent à grande échelle ; les lois d'échelle du taux d'apprentissage, de la décroissance des poids (weight decay) et du dropout ont également été rederivées.
Un calcul de coin de table
Les chiffres du blog suffisent pour refaire le calcul soi-même. En retenant pour le pic théorique BF16 d'un GB200 les 2,5 PFLOPS indiqués dans le blog, avec 16 000 GPU et 21 % d'utilisation, la puissance de calcul effective par seconde avoisine 8,4×10^18 opérations en virgule flottante. Multipliée par 38 jours et 89 % de temps effectif, soit environ 2,92 millions de secondes, on obtient un calcul total d'entraînement d'environ 2,5×10^25 FLOPs.
Pour recouper, on peut utiliser la formule empirique courante : calcul d'entraînement ≈ 6 × paramètres activés × tokens d'entraînement, soit 6 × 80 milliards × 50 billions, environ 2,4×10^25. Les deux méthodes donnent le même ordre de grandeur, avec un écart inférieur à 5 %, ce qui laisse penser que le MFU, la durée et le volume de données publiés par Microsoft sont cohérents entre eux. Converti en heures de GPU, cela représente environ 14,6 millions d'heures.
Parmi les modèles dont les chiffres d'entraînement sont connus, cette échelle se situe dans le peloton de tête. Il manque cependant une pièce à la comparaison : Microsoft n'indique pas comment le calcul de DeepSeek-V4-Pro-Base a été estimé, et le blog n'explique pas comment les références de la fourchette « 4 à 12 fois » ont été choisies. Pour l'instant, seule la méthode de Microsoft fait foi.
Ce qui n'est pas encore dit
Les résultats du post-entraînement de MAI-Base-2 ne seront publiés qu'une fois celui-ci terminé. Microsoft n'a pas dit si les poids seraient ouverts ni sous quelle forme de produit le modèle sera proposé, intégré à Copilot ou mis à disposition des entreprises dans Foundry ; rien ne permet de le déterminer pour le moment.
À la fin du blog, il est mentionné que MAI-Base-3 est déjà en préparation. De MAI-Base-1 à MAI-Base-2, Microsoft a élargi le corpus de plus d'un tiers, porté les paramètres à 2,8 billions et publié des chiffres comme le MFU et les heures de GPU que la plupart des laboratoires préfèrent taire. Une telle transparence est rare parmi les laboratoires de pointe.
Sources : CocoLoop, blog officiel de Microsoft AI ; l'échelle des paramètres, les tokens d'entraînement, le nombre de GPU et la méthode de calcul du MFU ont été vérifiés, le calcul total d'entraînement étant une estimation approximative du site à partir des chiffres publics.