5월 20일, 엔비디아의 Nemotron Labs가 논문과 모델 가중치를 공개했습니다. 새로운 디코딩 방식인 Nemotron-Labs-Diffusion은 3B, 8B, 14B 세 가지 크기와 base, instruct, vision-language 세 가지 변종으로 출시되었습니다.
핵심은 파라미터 수가 아니라 하나의 모델에서 세 가지 디코딩 모드를 지원한다는 점입니다.
하나의 모델, 세 가지 실행 방식
기존 대규모 언어 모델은 자기회귀(AR) 방식으로 왼쪽에서 오른쪽으로 한 토큰씩 생성합니다. 확산 모델은 여러 토큰을 병렬로 예측하여 처리량을 높이지만 정확도는 AR에 뒤집니다. Nemotron-Labs-Diffusion은 이 둘을 하나의 모델에 통합하고 세 번째 모드를 추가했습니다.
- 자기회귀(AR): 표준 왼쪽-오른쪽 생성, 1배(기준)
- 확산(Diffusion): 여러 토큰을 한 번에 디노이즈, 2.57배 tokens/forward
- 자기추측(Self-Speculation): 확산이 후보 토큰을 병렬로 초안 작성, AR이 검증, 5.99배 tokens/forward
자기추측이 이번 핵심 혁신입니다. 확산 부분이 병렬로 후보 토큰을 초안 작성하고 AR 부분이 빠르게 검증합니다. 추가 드래프트 모델이나 예측 헤드가 필요 없으며, 동일한 모델과 가중치로 두 모드가 협력합니다. 8B 모델에서 자기추측 모드는 Qwen3-8B 대비 5.99배의 tokens/forward를 달성했으며 정확도도 63.61%로 Qwen3-8B의 62.75%를 소폭 상회했습니다.
GB200 실측 성능
GB200 단일 GPU, concurrency=1에서 처리량: AR 모드 253 tokens/s 대비 자기추측 모드 850 tokens/s. 엔비디아 맞춤형 CUDA 커널 적용 시 1015 tokens/s에 도달합니다. 8B Vision-Language 변종은 응답 길이에 따라 3.63배에서 7.45배의 tokens/forward를 기록했습니다. 참고로 H100에서 주류 LLM 추론 처리량은 보통 100~300 tokens/s입니다. Nemotron-Labs-Diffusion 8B는 GB200에서 1015 tokens/s로 주류 모델보다 3~4배 빠릅니다. 이는 실시간 에이전트에 중요합니다. 에이전트는 추론 중 도구를 호출하고 다시 추론해야 하는데, 처리량이 3배 증가하면 에이전트 지연 시간이 15초에서 5초로 줄어들어 데모에서 일상 업무로 전환되는 임계점에 도달할 수 있습니다.
훈련 방식
Nemotron-Labs-Diffusion은 처음부터 훈련된 것이 아닙니다. AR 사전훈련 후 두 번째 단계를 추가했습니다.
- 1단계: 1조 토큰, 순수 AR 목표
- 2단계: 3000억 토큰, AR과 확산 혼합 목표
혼합 손실 함수는 ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ)이며 α = 0.3입니다. 이는 AR을 주 목표, 확산을 보조 목표로 설정한 것입니다. 이 가중치 선택이 다른 확산 LM과의 근본적인 차이점으로, 자연어의 왼쪽-오른쪽 선험성을 활용하여 확산 LM에서 흔한 정확도 저하를 방지합니다. 훈련에는 256장의 H100 GPU를 사용했으며 3B/8B/14B 모든 크기에 동일한 방법을 적용했습니다.
경쟁 구도
직접적인 경쟁 상대는 Qwen3-8B, Llama 4-8B 등이지만, Nemotron-Labs-Diffusion이 내세우는 것은 '더 똑똑한 모델'이 아니라 '동일한 지능에 3~6배 처리량'입니다. 엔비디아의 전략은 명확합니다. 더 많은 GB200과 이 모델을 판매하여 경쟁사보다 더 많은 토큰 경제 생산성을 끌어내는 것입니다. 이는 엔비디아가 지난 1년간 추진해온 칩 단독 판매가 아닌 모델+하드웨어+CUDA 커널의 풀스택 판매 전략과 일치합니다. 가중치는 Hugging Face에 공개되었으며 라이선스는 NVIDIA Nemotron Open Model License로 상업적 사용, 파인튜닝, 배포가 허용됩니다. 32B/70B 등 대규모 모델로의 확장 가능성은 공개되지 않았지만, 5월 20일의 릴리스는 모든 추론 최적화 팀이 내일 회의에서 논의할 만한 내용입니다.
출처: NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost); Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research); NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune); CocoLoop