Microsoft AI publicó el 15 de octubre los detalles del preentrenamiento de MAI-Base-2, su nueva generación de modelo base. Es un modelo de mezcla de expertos (MoE) con 2,8 billones de parámetros en total y 80.000 millones activados. El preentrenamiento ha terminado y el equipo trabaja ahora en el postentrenamiento. MAI-Thinking-1, lanzado en junio, se construyó sobre la generación anterior, MAI-Base-1.
Microsoft sostiene dos ideas principales. La primera: «MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations» (en las evaluaciones internas reservadas, MAI-Base-2 supera a todos los modelos de pesos abiertos probados). La segunda es la eficiencia: frente a DeepSeek-V4-Pro-Base, que la compañía considera la mejor base de código abierto, MAI-Base-2 necesita entre 4,2 y 12,3 veces menos cómputo de preentrenamiento para alcanzar el mismo nivel, y entre 6,3 y 12,7 veces menos que su propio MAI-Base-1; el cómputo ahorrado se dedicó a entrenar un modelo más grande. La versión 2.4T-A95B de Qwen3.8 también formó parte de la comparación.
Estas evaluaciones utilizan el conjunto reservado de la propia Microsoft; ni las preguntas ni las puntuaciones por prueba son públicas, así que, por ahora, nadie ajeno puede reproducir los resultados.
Datos y entrenamiento
En su blog, Microsoft deja claro que todos los datos de entrenamiento los procesó el propio equipo y que el trabajo «does not involve distillation from other models» (no implica destilación de otros modelos). La mezcla de entrenamiento suma 50 billones de tokens; medido en tokens únicos, el corpus es alrededor de un 36 % mayor que el de MAI-Base-1. Los datos visuales se incorporaron de forma nativa: 4,5 billones de tokens visuales únicos, el 18 % de la mezcla de entrenamiento.
El hardware fue un clúster de 16.000 GPU GB200 que funcionó 38 días seguidos entre agosto y septiembre de 2026. El MFU medio (utilización de FLOPs del modelo) fue del 21 % y la proporción de tiempo de entrenamiento efectivo, del 89 %. Los cambios de ingeniería se concentraron en las capas MoE y el optimizador: el MFU de las capas MoE pasó del 24 % al 35 %; el optimizador Muon, tras el particionado y la optimización de la comunicación, solo consume el 2,1 % del tiempo de iteración, unos 165 milisegundos por paso; la estabilidad del entrenamiento se logra con el recorte (clipping) de gradientes de activación, que según Microsoft acabó sirviendo también como herramienta de diagnóstico de problemas en los datos de entrenamiento.
En cuanto al método, el equipo empleó una scaling ladder para evaluar cambios del modelo a pequeña escala y propuso el source scaling, con el fin de asegurar que las conclusiones de los experimentos pequeños se trasladen a gran escala; también se volvieron a derivar las leyes de escalado de la tasa de aprendizaje, la caída de pesos (weight decay) y el dropout.
Una cuenta a vuelapluma
Las cifras del blog bastan para hacer una comprobación propia. Si se toma como pico teórico de BF16 de la GB200 los 2,5 PFLOPS que cita el blog, con 16.000 GPU y un 21 % de utilización, el cómputo efectivo por segundo ronda los 8,4×10^18 operaciones de coma flotante. Multiplicado por 38 días y un 89 % de tiempo efectivo, es decir, unos 2,92 millones de segundos, resulta un cómputo total de entrenamiento de aproximadamente 2,5×10^25 FLOPs.
Como contraste, la fórmula empírica habitual: cómputo de entrenamiento ≈ 6 × parámetros activos × tokens de entrenamiento, o sea, 6 × 80.000 millones × 50 billones, cerca de 2,4×10^25. Ambos cálculos caen en el mismo orden de magnitud, con una diferencia inferior al 5 %, lo que indica que el MFU, la duración y el volumen de datos que publica Microsoft son coherentes entre sí. Convertido en horas de GPU, serían unos 14,6 millones.
Entre los modelos con cifras de entrenamiento publicadas, esta escala figura en los primeros puestos. A la comparación le falta una pieza: Microsoft no indica cómo estimó el cómputo de DeepSeek-V4-Pro-Base ni explica en el blog cómo se eligieron las referencias para el rango de «4 a 12 veces». Por ahora solo cabe atenerse al criterio de la propia Microsoft.
Lo que aún no se ha dicho
Los resultados del postentrenamiento de MAI-Base-2 se darán a conocer cuando termine. Microsoft no ha dicho si abrirá los pesos ni en qué formato de producto llegará el modelo, ya sea integrado en Copilot o disponible en Foundry para empresas; de momento no hay forma de saberlo.
Al final del blog se menciona que MAI-Base-3 ya está en preparación. De MAI-Base-1 a MAI-Base-2, Microsoft amplió el corpus en más de un tercio, llevó los parámetros a 2,8 billones y, además, publicó cifras como el MFU y las horas de GPU que la mayoría de los laboratorios prefiere no revelar. Esa transparencia es poco habitual entre los laboratorios de frontera.
Fuentes: CocoLoop, blog oficial de Microsoft AI; se verificaron la escala de parámetros, los tokens de entrenamiento, el número de GPU y el criterio de MFU, y el cómputo total de entrenamiento es una estimación aproximada del sitio a partir de las cifras públicas.