Pada 20 Mei, Nemotron Labs milik NVIDIA merilis makalah dan bobot model untuk metode decoding baru bernama Nemotron-Labs-Diffusion, tersedia dalam ukuran 3B, 8B, dan 14B dengan varian base, instruct, dan vision-language.
Inovasi utamanya bukan pada jumlah parameter, melainkan dukungan terhadap tiga mode decoding dalam satu model.
Satu model tiga cara jalan
Model bahasa besar tradisional menghasilkan teks secara autoregresif (AR), satu token dari kiri ke kanan. Model difusi memprediksi banyak token secara paralel, meningkatkan throughput namun akurasinya biasanya kalah dari AR. Nemotron-Labs-Diffusion menggabungkan keduanya dan menambahkan mode ketiga:
- Autoregresif (AR): generasi standar kiri-ke-kanan, 1× (dasar)
- Difusi: denoise banyak token sekaligus, 2,57× token/forward
- Self-Speculation: difusi menyusun draf token paralel, AR memverifikasi, 5,99× token/forward
Self-Speculation adalah inovasi inti. Bagian difusi menyusun draf kandidat token secara paralel, lalu bagian AR memverifikasi dengan cepat. Tidak perlu model draf kecil tambahan atau kepala prediksi—model dan bobot yang sama digunakan untuk kedua mode. Pada model 8B, Self-Speculation mencapai 5,99× token per forward dibanding Qwen3-8B, dengan akurasi sedikit lebih tinggi (63,61% vs 62,75%).
Angka riil di GB200
Throughput pada satu GPU GB200 dengan concurrency=1: 850 token/s vs 253 token/s mode AR. Dengan kernel CUDA kustom NVIDIA, mencapai 1015 token/s. Varian 8B Vision-Language mencapai 3,63× hingga 7,45× token/forward tergantung panjang respons. Sebagai perbandingan, throughput inferensi LLM mainstream di H100 biasanya 100–300 token/s. Nemotron-Labs-Diffusion 8B di GB200 mencapai 1015 token/s—3–4× lebih cepat dari model mainstream. Ini penting untuk agen real-time yang perlu bernalar, memanggil alat, dan melanjutkan penalaran. Peningkatan throughput 3× dapat memangkas latensi agen dari 15 detik menjadi 5 detik—ambang kritis untuk beralih dari demo ke penggunaan sehari-hari.
Pendekatan pelatihan
Nemotron-Labs-Diffusion tidak dilatih dari awal. Setelah pra-pelatihan AR, ditambahkan fase kedua:
- Fase 1: 1 triliun token, target AR murni
- Fase 2: 300 miliar token, target campuran AR dan difusi
Fungsi loss campuran: ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ), dengan α = 0,3. Ini berarti AR adalah target utama, difusi sebagai pendukung. Pilihan bobot ini menjadi perbedaan mendasar dengan model difusi lain yang memperlakukan semua urutan token secara setara. Nemotron-Labs-Diffusion memanfaatkan prior alami bahasa dari kiri ke kanan, menghindari penurunan akurasi yang sering dikeluhkan pada model difusi. Pelatihan menggunakan 256 GPU H100 untuk semua ukuran model.
Posisi kompetitif
Pesaing langsung adalah Qwen3-8B dan Llama 4-8B, tetapi Nemotron-Labs-Diffusion tidak menjual 'model yang lebih pintar' melainkan 'kecerdasan yang sama dengan throughput 3–6× lebih tinggi'. Strategi NVIDIA jelas: menjual lebih banyak GB200 dan model ini untuk menghasilkan ekonomi token lebih besar dari pesaing. Ini sejalan dengan pergeseran NVIDIA setahun terakhir dari menjual chip menjadi menjual solusi lengkap (model + perangkat keras + kernel CUDA) yang membuat tagihan komputasi perusahaan lebih menarik. Bobot model tersedia di Hugging Face dengan lisensi NVIDIA Nemotron Open Model License, yang mengizinkan penggunaan komersial, fine-tuning, dan deployment. NVIDIA belum mengungkapkan apakah metode ini dapat diskalakan ke 32B/70B, tetapi rilis 20 Mei ini cukup membuat tim optimasi inferensi sibuk berdiskusi besok.
Sumber: NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost); Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research); NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune); CocoLoop