5月20日、NVIDIAのNemotron Labsが論文とモデルウェイトを公開。新たなデコード方式「Nemotron-Labs-Diffusion」は、3B、8B、14Bの3サイズと、base、instruct、vision-languageの3バリアントを一度にリリースした。
革新はパラメータ数ではなく、1つのモデルで3つのデコードモードをサポートする点にある。
1モデル3モード
従来の大規模言語モデルは自己回帰（AR）方式で、左から右へ1トークンずつ生成する。拡散モデルは複数トークンを並列予測しスループットを高めるが、精度でARに劣る。Nemotron-Labs-Diffusionは両者を統合し、第3のモードを追加した。
- 自己回帰（AR）: 標準的な左から右への生成、1倍（ベースライン）
- 拡散: 複数トークンを一度にデノイズ、2.57倍 tokens/forward
- 自己推測（Self-Speculation）: 拡散が候補トークンを並列起草し、ARが検証、5.99倍 tokens/forward
自己推測が今回の核心。拡散部分が並列に候補トークンを起草し、AR部分が迅速に検証する。追加のドラフトモデルや予測ヘッドは不要で、同一モデル・同一重みで両モードを協調させる。8Bモデルでは自己推測モードでQwen3-8B比5.99倍のtokens/forwardを達成し、精度も63.61%とQwen3-8Bの62.75%を上回った。
GB200での実測値
GB200単一GPU、concurrency=1でのスループット：ARモード253 tokens/sに対し、自己推測モードで850 tokens/s。NVIDIAカスタムCUDAカーネル使用時は1015 tokens/sに達する。8B Vision-Languageバリアントでは応答長に応じて3.63倍～7.45倍のtokens/forward。参考までに、H100上の主流LLM推論スループットは通常100～300 tokens/s。Nemotron-Labs-Diffusion 8BはGB200で1015 tokens/sと、主要モデル比3～4倍高速。これはリアルタイムエージェントにとって重要で、ツール呼び出しを含む推論の遅延を15秒から5秒に短縮でき、デモから日常利用への転換点となる。
学習手法
Nemotron-Labs-Diffusionはゼロから学習したものではなく、AR事前学習後に第2フェーズを追加。
- 第1フェーズ: 1兆トークン、純AR目的
- 第2フェーズ: 3000億トークン、ARと拡散の混合目的
混合損失関数は ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ)、α = 0.3。ARを主目的、拡散を補助と位置づける。この重み選択が他の拡散LMとの根本的な違いで、自然言語の左から右への事前分布を活用し、拡散LMにありがちな精度低下を回避。学習には256枚のH100 GPUを使用し、3B/8B/14Bの全サイズに同一手法を適用。
競合との比較
直接の競合はQwen3-8BやLlama 4-8Bだが、Nemotron-Labs-Diffusionが訴えるのは「より賢いモデル」ではなく「同じ知能で3～6倍のスループット」。NVIDIAの戦略は明確で、より多くのGB200とこのモデルを販売し、競合より多くのトークン経済生産性を引き出すこと。これはNVIDIAが過去1年進めてきた、チップ単体ではなくモデル＋ハードウェア＋CUDAカーネルのフルスタック販売戦略と一致する。ウェイトはHugging Faceで公開され、ライセンスはNVIDIA Nemotron Open Model License。商用利用、ファインチューニング、デプロイが可能。32B/70Bなど大規模への適用は未公表だが、5月20日のリリースは推論最適化チームに明日の議論を促すだろう。
出典：NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B（MarkTechPost）、Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding（NVIDIA Research）、NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion（Startup Fortune）、CocoLoop