Le 20 mai, Nemotron Labs de NVIDIA a publié un article et les poids d'une nouvelle méthode de décodage appelée Nemotron-Labs-Diffusion, disponible en tailles 3B, 8B et 14B avec les variantes base, instruct et vision-language.
L'innovation ne réside pas dans le nombre de paramètres, mais dans la prise en charge de trois modes de décodage au sein d'un seul modèle.
Un modèle, trois modes
Les grands modèles de langage traditionnels génèrent du texte de manière autorégressive (AR), token par token de gauche à droite. Les modèles de diffusion prédisent plusieurs tokens en parallèle, augmentant le débit mais souvent au détriment de la précision par rapport à AR. Nemotron-Labs-Diffusion combine les deux et ajoute un troisième mode :
- Autorégressif (AR) : génération standard de gauche à droite, 1× (référence)
- Diffusion : débruitage de plusieurs tokens à la fois, 2,57× tokens/forward
- Auto-spéculation (Self-Speculation) : la diffusion ébauche des tokens candidats en parallèle, AR les valide, 5,99× tokens/forward
L'auto-spéculation est l'innovation centrale. La partie diffusion ébauche en parallèle un lot de tokens candidats, puis la partie AR valide rapidement lesquels sont acceptés. Aucun petit modèle d'ébauche supplémentaire ni tête de prédiction séparée n'est nécessaire – le même modèle et les mêmes poids coopèrent dans les deux modes. Le modèle 8B atteint 5,99× tokens par forward par rapport à Qwen3-8B, avec une précision légèrement supérieure (63,61 % contre 62,75 %).
Chiffres réels sur GB200
Débit sur un seul GPU GB200 avec concurrency=1 : 850 tokens/s contre 253 tokens/s en mode AR. Avec les kernels CUDA personnalisés de NVIDIA, il atteint 1015 tokens/s. La variante 8B Vision-Language atteint 3,63× à 7,45× tokens/forward selon la longueur de la réponse. À titre de comparaison, le débit d'inférence des LLM grand public sur H100 se situe généralement entre 100 et 300 tokens/s. Nemotron-Labs-Diffusion 8B sur GB200 atteint 1015 tokens/s, soit 3 à 4 fois plus rapide que les modèles leaders. C'est crucial pour les agents en temps réel qui doivent raisonner, appeler des outils et continuer à raisonner. Tripler le débit peut réduire la latence d'une tâche d'agent de 15 à 5 secondes – un seuil clé pour passer de la démo à l'utilisation quotidienne.
Approche d'entraînement
Nemotron-Labs-Diffusion n'a pas été entraîné de zéro. Après le pré-entraînement AR, une deuxième phase a été ajoutée :
- Phase 1 : 1 billion de tokens, objectif AR pur
- Phase 2 : 300 milliards de tokens, objectif mixte AR et diffusion
La fonction de perte combinée est ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ), avec α = 0,3. Cela signifie que AR est l'objectif principal et la diffusion est auxiliaire. Ce choix de poids est la différence fondamentale avec les autres modèles de langage à diffusion, qui traitent tous les ordres de tokens de manière égale. Nemotron-Labs-Diffusion exploite le biais naturel du langage de gauche à droite, évitant la dégradation de précision souvent reprochée aux modèles de diffusion. L'entraînement a utilisé 256 GPU H100 pour les trois tailles de modèle.
Positionnement concurrentiel
Les concurrents directs sont Qwen3-8B et Llama 4-8B, mais Nemotron-Labs-Diffusion ne vend pas un « modèle plus intelligent », mais « la même intelligence avec 3 à 6 fois plus de débit ». La stratégie de NVIDIA est claire : vendre plus de GB200 avec ce modèle pour extraire plus d'économie de token que les concurrents. Cela s'inscrit dans le changement de cap de NVIDIA l'année dernière, passant de la vente de puces à la vente d'un ensemble complet (modèle + matériel + kernels CUDA) qui rend les factures de calcul des entreprises plus attractives. Les poids sont disponibles sur Hugging Face sous la licence NVIDIA Nemotron Open Model License, qui permet une utilisation commerciale, un réglage fin et un déploiement. NVIDIA n'a pas révélé si la méthode passe à l'échelle sur 32B/70B, mais la publication du 20 mai suffit à faire discuter toutes les équipes d'optimisation d'inférence demain.
Sources : NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost) ; Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research) ; NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune) ; CocoLoop