Microsoft AI는 10월 15일 차세대 기반 모델 MAI-Base-2의 사전 학습 세부 내용을 공개했다. 이 모델은 혼합 전문가(MoE) 구조로, 총 파라미터는 2.8조, 활성 파라미터는 800억이다. 사전 학습은 이미 끝났고 현재 후속 학습(post-training)을 진행 중이다. 6월에 나온 MAI-Thinking-1은 이전 세대인 MAI-Base-1을 기반으로 했다.
Microsoft의 핵심 주장은 두 가지다. 첫째는 "MAI-Base-2 outperforms every open-weight model we tested on our held-out evaluations"(내부 보류 평가에서 MAI-Base-2가 테스트한 모든 오픈 웨이트 모델을 앞섰다)는 것이다. 둘째는 효율이다. Microsoft가 가장 강력한 오픈소스 기반 모델로 꼽는 DeepSeek-V4-Pro-Base와 비교해 같은 수준에 도달하는 데 필요한 사전 학습 연산량이 4.2배에서 12.3배 적고, 자사 MAI-Base-1보다는 6.3배에서 12.7배 적다고 한다. 절약한 연산 자원은 더 큰 모델을 학습하는 데 썼다. 비교 대상에는 Qwen3.8의 2.4T-A95B 버전도 포함됐다.
이 평가는 Microsoft 자체 보류 세트로 진행됐으며 문항과 항목별 점수는 공개되지 않았다. 외부에서는 당분간 재현할 수 없다.
데이터와 학습
Microsoft는 블로그에서 학습 데이터를 모두 팀이 직접 처리했으며 "does not involve distillation from other models"(다른 모델로부터의 증류를 포함하지 않는다)라고 밝혔다. 학습 혼합 데이터는 총 50조 토큰이고, 고유 토큰 기준으로 코퍼스는 MAI-Base-1보다 약 36% 많다. 시각 데이터는 네이티브로 투입됐다. 고유 시각 토큰은 4.5조 개로, 학습 혼합 데이터의 18%에 해당한다.
하드웨어는 GB200 1만 6000장이며, 2026년 8월부터 9월까지 38일간 연속 가동했다. 평균 MFU(모델 연산 활용률)는 21%, 유효 학습 시간 비율은 89%다. 엔지니어링 개선은 MoE 레이어와 옵티마이저에 집중됐다. MoE 레이어의 MFU는 24%에서 35%로 올랐다. Muon 옵티마이저는 샤딩과 통신 최적화를 거쳐 스텝당 오버헤드를 반복 시간의 2.1%, 약 165밀리초로 낮췄다. 학습 안정성은 활성화 기울기 클리핑으로 확보했는데, Microsoft는 이 기법이 학습 데이터 문제를 찾아내는 진단 도구 역할도 했다고 설명한다.
방법론 측면에서 팀은 소규모에서 모델 변경 사항을 평가하는 scaling ladder를 사용했고, 소규모 실험의 결론이 대규모에서도 유효하도록 보장하는 source scaling을 제안했다. 학습률, 가중치 감쇠, 드롭아웃의 스케일링 법칙도 새로 도출했다.
대략 계산해 보면
블로그에 나온 숫자만으로도 직접 검산해 볼 수 있다. GB200의 BF16 이론 최고 성능을 블로그에 적힌 2.5 PFLOPS로 놓으면, 1만 6000장에 활용률 21%일 때 초당 유효 연산량은 약 8.4×10^18 부동소수점 연산이다. 38일에 유효 시간 비율 89%를 곱하면 약 292만 초가 된다. 두 값을 곱하면 총 학습 연산량은 대략 2.5×10^25 FLOPs로 추산된다.
흔히 쓰는 경험식으로 교차 검증해 보자. 학습 연산량은 대략 6 × 활성 파라미터 수 × 학습 토큰 수, 즉 6 × 800억 × 50조로 약 2.4×10^25이다. 두 방식은 같은 자릿수에 들어오고 차이는 5% 이내다. Microsoft가 공개한 MFU, 학습 기간, 데이터 규모가 서로 맞아떨어진다는 뜻이다. GPU 시간으로 환산하면 약 1460만 시간이다.
학습 수치를 공개한 모델 중에서 이 규모는 상위권에 속한다. 다만 비교 기준에는 빠진 부분이 있다. Microsoft는 DeepSeek-V4-Pro-Base의 연산량을 어떻게 추정했는지, "4배에서 12배"의 기준을 어떻게 골랐는지 블로그에서 설명하지 않았다. 지금으로서는 Microsoft 자체 기준을 따를 수밖에 없다.
아직 밝혀지지 않은 것
MAI-Base-2의 후속 학습 결과는 완료된 뒤에 공개될 예정이다. Microsoft는 가중치를 공개할지, 어떤 제품 형태로 내놓을지, Copilot에 연동할지 Foundry를 통해 기업에 제공할지 밝히지 않았다. 지금은 어느 쪽도 가늠하기 어렵다.
블로그 말미에는 MAI-Base-3가 이미 준비 중이라고 적혀 있다. MAI-Base-1에서 2로 넘어오며 Microsoft는 코퍼스를 3분의 1 이상 늘리고 파라미터를 2.8조까지 끌어올렸다. 동시에 대다수 연구소가 공개를 꺼리는 MFU, GPU 시간 같은 수치도 내놓았다. 이런 투명성은 프런티어 연구소 가운데서는 드문 편이다.
참고 출처: Microsoft AI 공식 블로그, CocoLoop. 파라미터 규모, 학습 토큰, GPU 수량, MFU 산정 기준을 확인했으며, 총 학습 연산량은 공개된 수치를 바탕으로 본 사이트가 대략 추산한 값이다.