El 20 de mayo, Nemotron Labs de NVIDIA publicó un artículo y los pesos de un nuevo método de decodificación llamado Nemotron-Labs-Diffusion, disponible en tamaños 3B, 8B y 14B con variantes base, instruct y vision-language.
La innovación no está en la cantidad de parámetros, sino en que un solo modelo admite tres modos de decodificación.
Un modelo, tres modos
Los modelos de lenguaje grandes tradicionales generan texto de forma autorregresiva (AR), token a token de izquierda a derecha. Los modelos de difusión predicen varios tokens en paralelo, aumentando el rendimiento pero a menudo perdiendo precisión frente a AR. Nemotron-Labs-Diffusion combina ambos y añade un tercer modo:
- Autorregresivo (AR): generación estándar de izquierda a derecha, 1× (línea base)
- Difusión: denoising de múltiples tokens a la vez, 2,57× tokens/forward
- Autospeculación (Self-Speculation): difusión redacta tokens candidatos en paralelo, AR los valida, 5,99× tokens/forward
La autospeculación es la innovación central. La parte de difusión redacta un lote de tokens candidatos en paralelo, y la parte AR valida rápidamente cuáles aceptar. No se necesita un modelo borrador pequeño adicional ni una cabeza de predicción separada: el mismo modelo y los mismos pesos cooperan en ambos modos. El modelo 8B alcanza 5,99× tokens por forward en comparación con Qwen3-8B, con una precisión ligeramente superior (63,61% frente a 62,75%).
Rendimiento medido en GB200
Rendimiento en una sola GPU GB200 con concurrency=1: 850 tokens/s frente a 253 tokens/s en modo AR. Con kernels CUDA personalizados de NVIDIA, alcanza 1015 tokens/s. La variante 8B Vision-Language logra entre 3,63× y 7,45× tokens/forward según la longitud de la respuesta. Como referencia, el rendimiento de inferencia de los LLM convencionales en H100 suele estar entre 100 y 300 tokens/s. Nemotron-Labs-Diffusion 8B en GB200 alcanza 1015 tokens/s, de 3 a 4 veces más rápido que los modelos líderes. Esto es crucial para agentes en tiempo real que necesitan razonar, llamar herramientas y seguir razonando. Triplicar el rendimiento puede reducir la latencia de una tarea de agente de 15 segundos a 5 segundos, un umbral clave para pasar de demostración a uso diario.
Enfoque de entrenamiento
Nemotron-Labs-Diffusion no se entrenó desde cero. Después del preentrenamiento AR, se añadió una segunda fase:
- Fase 1: 1 billón de tokens, objetivo puramente AR
- Fase 2: 300 mil millones de tokens, objetivo mixto AR y difusión
La función de pérdida combinada es ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ), con α = 0,3. Esto significa que AR es el objetivo principal y la difusión es auxiliar. Esta elección de peso es la diferencia fundamental con otros modelos de lenguaje de difusión, que tratan todos los órdenes de tokens por igual. Nemotron-Labs-Diffusion aprovecha la prioridad natural del lenguaje de izquierda a derecha, evitando la degradación de precisión que a menudo se critica en los modelos de difusión. El entrenamiento utilizó 256 GPU H100 para los tres tamaños de modelo.
Posicionamiento competitivo
Los competidores directos son Qwen3-8B y Llama 4-8B, pero Nemotron-Labs-Diffusion no vende 'modelo más inteligente', sino 'la misma inteligencia con 3–6 veces más rendimiento'. La estrategia de NVIDIA es clara: vender más GB200 con este modelo para extraer más economía de token que la competencia. Esto se alinea con el cambio de NVIDIA en el último año, de vender chips a vender un paquete completo (modelo + hardware + kernels CUDA) que hace más atractivas las facturas de cómputo empresarial. Los pesos están disponibles en Hugging Face bajo la licencia NVIDIA Nemotron Open Model License, que permite uso comercial, ajuste fino e implementación. NVIDIA no ha revelado si el método escala a 32B/70B, pero el lanzamiento del 20 de mayo es suficiente para que todos los equipos de optimización de inferencia tengan discusiones mañana.
Fuentes: NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost); Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research); NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune); CocoLoop