Microsoft AI hat am 15. Oktober Details zum Pretraining seines neuen Basismodells MAI-Base-2 veröffentlicht. Es handelt sich um ein Mixture-of-Experts-Modell (MoE) mit insgesamt 2,8 Billionen Parametern, von denen 80 Milliarden aktiviert werden. Das Pretraining ist abgeschlossen, derzeit läuft das Post-Training. MAI-Thinking-1, im Juni vorgestellt, basiert noch auf der Vorgängergeneration MAI-Base-1.
Microsoft stellt zwei zentrale Behauptungen auf. Erstens: „MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations“ (bei den internen zurückgehaltenen Evaluierungen übertrifft MAI-Base-2 alle getesteten Open-Weight-Modelle). Zweitens die Effizienz: Gegenüber DeepSeek-V4-Pro-Base, das Microsoft für die stärkste quelloffene Basis hält, braucht MAI-Base-2 für dasselbe Leistungsniveau 4,2- bis 12,3-mal weniger Pretraining-Rechenaufwand, gegenüber dem eigenen MAI-Base-1 sind es 6,3- bis 12,7-mal weniger; die eingesparte Rechenleistung floss in das Training eines größeren Modells. Als Vergleich diente außerdem die Variante 2.4T-A95B von Qwen3.8.
Diese Evaluierungen nutzen Microsofts eigenes zurückgehaltenes Testset. Aufgaben und Einzelergebnisse sind nicht veröffentlicht, extern lassen sich die Resultate daher vorerst nicht reproduzieren.
Daten und Training
Im Blogbeitrag stellt Microsoft klar, dass die gesamten Trainingsdaten vom Team selbst aufbereitet wurden und „does not involve distillation from other models“ (keine Destillation aus anderen Modellen einschließt). Die Trainingsmischung umfasst 50 Billionen Token; gemessen an einzigartigen Token ist das Korpus rund 36 Prozent größer als bei MAI-Base-1. Visuelle Daten sind nativ integriert: 4,5 Billionen einzigartige visuelle Token machen 18 Prozent der Trainingsmischung aus.
Als Hardware dienten 16.000 GB200-GPUs, die zwischen August und September 2026 38 Tage lang durchgehend liefen. Die durchschnittliche MFU (Model FLOPs Utilization, also die Auslastung der Modellrechenleistung) lag bei 21 Prozent, der Anteil effektiver Trainingszeit bei 89 Prozent. Die technischen Änderungen konzentrierten sich auf die MoE-Schichten und den Optimierer: Die MFU der MoE-Schichten stieg von 24 auf 35 Prozent; der Muon-Optimierer verursacht nach Sharding und Kommunikationsoptimierung nur noch 2,1 Prozent der Iterationszeit, etwa 165 Millisekunden pro Schritt; für die Trainingsstabilität sorgt das Clipping von Aktivierungsgradienten, das laut Microsoft nebenbei zu einem Diagnosewerkzeug für Probleme in den Trainingsdaten wurde.
Methodisch bewertete das Team Modelländerungen im kleinen Maßstab mit einer Scaling Ladder und schlug Source Scaling vor, damit sich Erkenntnisse aus kleinen Experimenten auf große Maßstäbe übertragen lassen; auch die Skalierungsgesetze für Lernrate, Weight Decay und Dropout wurden neu hergeleitet.
Eine Überschlagsrechnung
Die Zahlen aus dem Blog genügen für eine eigene Nachrechnung. Setzt man für die BF16-Spitzenleistung einer GB200 die im Blog genannten 2,5 PFLOPS an, ergibt sich bei 16.000 GPUs und 21 Prozent Auslastung eine effektive Rechenleistung von rund 8,4×10^18 Gleitkommaoperationen pro Sekunde. Multipliziert mit 38 Tagen und 89 Prozent effektiver Zeit, also etwa 2,92 Millionen Sekunden, kommt man auf einen gesamten Trainingsaufwand von grob 2,5×10^25 FLOPs.
Zur Gegenprobe dient die gängige Faustformel: Trainingsaufwand ≈ 6 × aktive Parameter × Trainings-Token, also 6 × 80 Milliarden × 50 Billionen, etwa 2,4×10^25. Beide Rechnungen landen in derselben Größenordnung, die Abweichung liegt unter 5 Prozent – ein Hinweis darauf, dass die von Microsoft genannten Werte für MFU, Laufzeit und Datenmenge zusammenpassen. In GPU-Stunden umgerechnet sind das rund 14,6 Millionen.
Unter den Modellen mit veröffentlichten Trainingszahlen liegt dieser Umfang im vorderen Bereich. Ein Stück der Vergleichsbasis fehlt allerdings: Microsoft gibt nicht an, wie der Rechenaufwand von DeepSeek-V4-Pro-Base geschätzt wurde, und der Blog erläutert nicht, wie die Referenzpunkte für das Verhältnis „4 bis 12“ gewählt wurden. Vorerst gilt daher allein Microsofts eigene Methodik.
Was noch offen ist
Die Post-Training-Ergebnisse von MAI-Base-2 sollen erst nach Abschluss veröffentlicht werden. Ob Microsoft die Gewichte offenlegt und in welcher Produktform das Modell erscheint – ob in Copilot eingebunden oder in Foundry für Unternehmen bereitgestellt –, ist derzeit nicht erkennbar.
Am Ende des Blogs heißt es, MAI-Base-3 sei bereits in Vorbereitung. Von MAI-Base-1 zu MAI-Base-2 hat Microsoft das Korpus um gut ein Drittel vergrößert, die Parameterzahl auf 2,8 Billionen gehoben und zugleich Kennzahlen wie MFU und GPU-Stunden offengelegt, die die meisten Labore nicht preisgeben. Diese Transparenz ist unter den Frontier-Laboren selten.
Quellen: CocoLoop, offizieller Blog von Microsoft AI; Parametergröße, Trainings-Token, GPU-Anzahl und MFU-Angaben wurden geprüft, der gesamte Trainingsaufwand ist eine grobe Eigenrechnung auf Basis der veröffentlichten Zahlen.