A Microsoft AI divulgou em 15 de outubro os detalhes do pré-treinamento do MAI-Base-2, sua nova geração de modelo de base. É um modelo de mistura de especialistas (MoE) com 2,8 trilhões de parâmetros no total e 80 bilhões ativados. O pré-treinamento terminou e a equipe trabalha agora no pós-treinamento. O MAI-Thinking-1, lançado em junho, foi construído sobre a geração anterior, o MAI-Base-1.
A Microsoft faz duas afirmações principais. A primeira: “MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations” (nas avaliações internas reservadas, o MAI-Base-2 supera todos os modelos de pesos abertos testados). A segunda é sobre eficiência: em comparação com o DeepSeek-V4-Pro-Base, que a empresa considera a melhor base de código aberto, o MAI-Base-2 precisa de 4,2 a 12,3 vezes menos computação de pré-treinamento para atingir o mesmo nível, e de 6,3 a 12,7 vezes menos do que o próprio MAI-Base-1; a computação economizada foi usada para treinar um modelo maior. A versão 2.4T-A95B do Qwen3.8 também entrou na comparação.
Essas avaliações usam o conjunto reservado da própria Microsoft; as questões e as pontuações por item não foram divulgadas, e por ora ninguém de fora consegue reproduzir os resultados.
Dados e treinamento
No blog, a Microsoft afirma que todos os dados de treinamento foram processados pela própria equipe e que o trabalho “does not involve distillation from other models” (não envolve destilação de outros modelos). A mistura de treinamento soma 50 trilhões de tokens; em tokens únicos, o corpus é cerca de 36% maior que o do MAI-Base-1. Os dados visuais foram incorporados de forma nativa: 4,5 trilhões de tokens visuais únicos, ou 18% da mistura de treinamento.
O hardware foi um conjunto de 16 mil GPUs GB200, que operaram por 38 dias seguidos entre agosto e setembro de 2026. O MFU médio (utilização de FLOPs do modelo) foi de 21%, e a fração de tempo de treinamento efetivo, de 89%. As mudanças de engenharia se concentraram nas camadas MoE e no otimizador: o MFU das camadas MoE subiu de 24% para 35%; o otimizador Muon, depois de particionamento e otimização de comunicação, passou a custar apenas 2,1% do tempo de iteração, cerca de 165 milissegundos por passo; a estabilidade do treinamento vem do recorte (clipping) dos gradientes de ativação, que, segundo a Microsoft, acabou servindo de ferramenta de diagnóstico para problemas nos dados de treinamento.
Quanto ao método, a equipe usou uma scaling ladder para avaliar mudanças no modelo em pequena escala e propôs o source scaling, para garantir que as conclusões de experimentos pequenos se transfiram para grandes escalas; as leis de escala de taxa de aprendizado, decaimento de pesos (weight decay) e dropout também foram rederivadas.
Uma conta de padeiro
Os números do blog bastam para uma verificação própria. Tomando o pico teórico de BF16 da GB200 como os 2,5 PFLOPS citados no blog, com 16 mil GPUs e 21% de utilização, a computação efetiva por segundo é de cerca de 8,4×10^18 operações de ponto flutuante. Multiplicando por 38 dias e 89% de tempo efetivo, ou seja, uns 2,92 milhões de segundos, chega-se a uma computação total de treinamento de aproximadamente 2,5×10^25 FLOPs.
Para conferir, usa-se a fórmula empírica corrente: computação de treinamento ≈ 6 × parâmetros ativos × tokens de treinamento, isto é, 6 × 80 bilhões × 50 trilhões, cerca de 2,4×10^25. Os dois cálculos caem na mesma ordem de grandeza, com diferença abaixo de 5%, o que indica que o MFU, a duração e o volume de dados informados pela Microsoft são coerentes entre si. Convertido em horas de GPU, o total fica em torno de 14,6 milhões.
Entre os modelos com números de treinamento divulgados, essa escala está entre as maiores. Falta uma peça na comparação: a Microsoft não informa como estimou a computação do DeepSeek-V4-Pro-Base, e o blog não explica como foram escolhidos os pontos de referência da faixa “4 a 12 vezes”. Por ora, vale apenas o critério da própria Microsoft.
O que ainda não foi dito
Os resultados de pós-treinamento do MAI-Base-2 só serão divulgados quando o processo terminar. A Microsoft não disse se vai abrir os pesos nem em que forma de produto o modelo chegará, seja integrado ao Copilot ou disponibilizado no Foundry para uso por empresas; por enquanto, nada disso é possível prever.
No fim do blog, a empresa menciona que o MAI-Base-3 já está em preparação. Do MAI-Base-1 para o 2, a Microsoft ampliou o corpus em mais de um terço, levou os parâmetros a 2,8 trilhões e ainda divulgou números como MFU e horas de GPU, que a maioria dos laboratórios prefere não revelar. Esse grau de transparência é raro entre os laboratórios de fronteira.
Fontes: CocoLoop, blog oficial da Microsoft AI; escala de parâmetros, tokens de treinamento, quantidade de GPUs e critério de MFU foram conferidos, e a computação total de treinamento é uma estimativa aproximada do site a partir dos números públicos.