5月20日，NVIDIA Nemotron Labs發表論文與模型權重，推出全新解碼方式Nemotron-Labs-Diffusion，提供3B、8B、14B三種參數量，以及base、instruct、vision-language三種變體。
關鍵不在參數量，而在於單一模型同時支援三種解碼模式。
一個模型三種跑法
傳統大型語言模型生成文字只有一種方式：自迴歸（AR）——從左到右逐個token生成，每次前向傳播只產生一個token，速度慢但準確。擴散模型則相反——並行預測整批token，吞吐量提升但準確率通常不如AR。Nemotron-Labs-Diffusion將兩者融合到一個模型中，並加入第三種模式：
- 自迴歸（AR）：標準從左到右生成，1倍（基線）
- 擴散（Diffusion）：一次去噪多個token，2.57倍 tokens/forward
- 自我推測（Self-Speculation）：擴散先並行起草候選token，AR再驗證，5.99倍 tokens/forward
第三種模式是本次核心創新。自我推測的做法是：讓擴散部分先並行起草一批候選token，再由AR部分快速驗證哪些通過。整個過程不需要額外的小模型當草稿模型（傳統投機解碼的做法），也不需要額外的預測頭——同一個模型、同一套權重，兩種模式互相配合。8B模型在自我推測模式下，每次前向傳播能產生的token數是Qwen3-8B的5.99倍，且準確率（63.61% vs Qwen3-8B的62.75%）還反過來提升了一點。
GB200實測數字
吞吐量數字：GB200單卡concurrency=1時，自我推測模式達850 tokens/s，AR模式為253 tokens/s。加上NVIDIA客製化CUDA核心後，跳升至1015 tokens/s。8B Vision-Language變體根據回答長度，可達3.63倍至7.45倍 tokens/forward。作為對比，主流大型模型在H100上的推理吞吐量通常在100-300 tokens/s區間。Nemotron-Labs-Diffusion 8B在GB200上單併發跑到1015 tokens/s，比一線主流模型快3-4倍。這對即時Agent場景至關重要：Agent需要邊推理邊呼叫工具、再繼續推理，每次工具呼叫就多一次推理回合。吞吐量提升3倍意味著一次Agent任務的延遲從15秒壓到5秒——這是Agent能否從「展示」變成「日常工作」的關鍵門檻。
訓練做法
Nemotron-Labs-Diffusion並非從零訓練，而是在AR預訓練後加入第二階段。
- 第一階段：1兆token，純AR目標訓練
- 第二階段：3000億token，AR與擴散混合目標
混合損失函數為 ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ)，其中 α = 0.3。α取0.3意味著AR是主要目標，擴散是輔助目標。這一權重選擇是Nemotron-Labs-Diffusion與其他擴散語言模型的根本區別。傳統擴散語言模型對所有token排列方式一視同仁，不預設自然語言是從左到右生成。Nemotron-Labs-Diffusion反過來，充分利用了自然語言天然具有從左到右先驗的事實，避免了擴散語言模型一直被詬病的準確率下降問題。訓練使用了256張H100，3B/8B/14B三種規格均採用同一套方法。
競爭定位
直接對位的是Qwen3-8B、Llama 4-8B這一等級。但Nemotron-Labs-Diffusion打的不是「模型更聰明」，而是「同樣的智慧，3-6倍的吞吐量」。NVIDIA賣晶片的邏輯很直接：你買更多的GB200，加上這個模型，能榨出比別家更多的token經濟產能。這與NVIDIA過去一年的策略一脈相承：不是單賣晶片，而是賣一整套（模型+硬體+CUDA核心）能讓企業算力帳單更划算的方案。模型權重已放在Hugging Face，授權為NVIDIA Nemotron Open Model License——非Apache 2.0，但允許商用、微調與部署。至於這套方法能否在32B/70B等更大規格上複製？NVIDIA未說明。但5月20日釋出的內容，已足夠讓所有做推理優化的團隊明天加班討論。
參考來源：NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B（MarkTechPost）；Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding（NVIDIA Research）；NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion（Startup Fortune）；CocoLoop