Am 20. Mai veröffentlichte Nemotron Labs von NVIDIA ein Paper und Modellgewichte für eine neue Decodierungsmethode namens Nemotron-Labs-Diffusion, erhältlich in den Größen 3B, 8B und 14B mit den Varianten Base, Instruct und Vision-Language.
Die Innovation liegt nicht in der Parameterzahl, sondern in der Unterstützung von drei Decodierungsmodi in einem einzigen Modell.
Ein Modell, drei Betriebsarten
Traditionelle große Sprachmodelle erzeugen Text autoregressiv (AR), Token für Token von links nach rechts. Diffusionsmodelle sagen mehrere Token parallel voraus und steigern den Durchsatz, liegen aber oft in der Genauigkeit hinter AR zurück. Nemotron-Labs-Diffusion vereint beide Ansätze und fügt einen dritten Modus hinzu:
- Autoregressiv (AR): Standarderzeugung von links nach rechts, 1× (Basislinie)
- Diffusion: gleichzeitiges Denoising mehrerer Token, 2,57× Token/Forward
- Selbstspekulation (Self-Speculation): Diffusion entwirft parallel Kandidaten-Token, AR validiert, 5,99× Token/Forward
Selbstspekulation ist die Kerninnovation. Der Diffusionsteil entwirft parallel einen Satz Kandidaten-Token, der AR-Teil validiert schnell, welche akzeptiert werden. Es wird kein zusätzliches kleines Draft-Modell oder separater Prädiktionskopf benötigt – dasselbe Modell und dieselben Gewichte arbeiten in beiden Modi zusammen. Das 8B-Modell erreicht im Selbstspekulationsmodus 5,99× Token pro Forward im Vergleich zu Qwen3-8B, bei leicht höherer Genauigkeit (63,61 % vs. 62,75 %).
Gemessene Leistung auf GB200
Durchsatz auf einer einzelnen GB200-GPU bei Concurrency=1: 850 Token/s vs. 253 Token/s im AR-Modus. Mit NVIDIA-eigenen CUDA-Kernels werden 1015 Token/s erreicht. Die 8B-Vision-Language-Variante erzielt je nach Antwortlänge 3,63× bis 7,45× Token/Forward. Zum Vergleich: Der Inferenzdurchsatz gängiger LLMs auf H100 liegt typischerweise bei 100–300 Token/s. Nemotron-Labs-Diffusion 8B auf GB200 erreicht 1015 Token/s – 3–4× schneller als führende Modelle. Dies ist entscheidend für Echtzeit-Agenten, die während der Inferenz Werkzeuge aufrufen und dann weiterdenken müssen. Eine Verdreifachung des Durchsatzes kann die Latenz einer Agentenaufgabe von 15 auf 5 Sekunden reduzieren – ein kritischer Schwellenwert für den Übergang von der Demo zum täglichen Einsatz.
Trainingsansatz
Nemotron-Labs-Diffusion wurde nicht von Grund auf trainiert. Nach dem AR-Pretraining wurde eine zweite Phase hinzugefügt:
- Phase 1: 1 Billion Token, reines AR-Ziel
- Phase 2: 300 Milliarden Token, gemischtes AR- und Diffusionsziel
Die kombinierte Verlustfunktion lautet ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ) mit α = 0,3. Dies bedeutet, dass AR das primäre Ziel und Diffusion das Hilfsziel ist. Diese Gewichtswahl unterscheidet Nemotron-Labs-Diffusion grundlegend von anderen Diffusions-Sprachmodellen, die alle Token-Reihenfolgen gleich behandeln. Nemotron-Labs-Diffusion nutzt die natürliche Links-nach-Rechts-Vorgabe der Sprache aus und vermeidet so den bei Diffusions-Sprachmodellen oft kritisierten Genauigkeitsverlust. Das Training erfolgte auf 256 H100-GPUs für alle drei Modellgrößen.
Wettbewerbspositionierung
Direkte Konkurrenten sind Qwen3-8B und Llama 4-8B, aber Nemotron-Labs-Diffusion wirbt nicht mit 'intelligenteren Modellen', sondern mit 'gleicher Intelligenz bei 3–6× Durchsatz'. NVIDIAs Strategie ist klar: mehr GB200 zusammen mit diesem Modell verkaufen, um mehr Token-Ökonomie als die Konkurrenz zu erzielen. Dies passt zu NVIDIAs Kurs im letzten Jahr, nicht nur Chips, sondern ein komplettes Paket (Modell + Hardware + CUDA-Kernels) zu verkaufen, das Unternehmensrechnungen attraktiver macht. Die Gewichte sind auf Hugging Face unter der NVIDIA Nemotron Open Model License verfügbar, die kommerzielle Nutzung, Feintuning und Deployment erlaubt. Ob die Methode auf 32B/70B skaliert, hat NVIDIA nicht verraten. Die Veröffentlichung vom 20. Mai reicht jedoch aus, um alle Inferenzoptimierungsteams morgen zu Diskussionen zu zwingen.
Quellen: NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost); Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research); NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune); CocoLoop