Em 20 de maio, o Nemotron Labs da NVIDIA publicou um artigo e pesos de modelo para um novo método de decodificação chamado Nemotron-Labs-Diffusion, disponível nos tamanhos 3B, 8B e 14B com variantes base, instruct e vision-language.
A inovação não está no número de parâmetros, mas no suporte a três modos de decodificação em um único modelo.
Um modelo, três modos
Modelos de linguagem grandes tradicionais geram texto de forma autorregressiva (AR), um token por vez, da esquerda para a direita. Modelos de difusão preveem vários tokens em paralelo, aumentando a taxa de transferência, mas geralmente perdem em precisão para AR. O Nemotron-Labs-Diffusion combina ambos e adiciona um terceiro modo:
- Autorregressivo (AR): geração padrão da esquerda para a direita, 1× (linha de base)
- Difusão: denoising de múltiplos tokens de uma vez, 2,57× tokens/forward
- Autoc especulação (Self-Speculation): difusão rascunha tokens candidatos em paralelo, AR valida, 5,99× tokens/forward
A autoc especulação é a inovação central. A parte de difusão rascunha um lote de tokens candidatos em paralelo, e a parte AR valida rapidamente quais são aceitos. Não é necessário um modelo de rascunho pequeno adicional ou cabeça de predição separada – o mesmo modelo e os mesmos pesos cooperam em ambos os modos. O modelo 8B atinge 5,99× tokens por forward em comparação com Qwen3-8B, com precisão ligeiramente superior (63,61% vs 62,75%).
Números reais no GB200
Taxa de transferência em uma única GPU GB200 com concurrency=1: 850 tokens/s vs 253 tokens/s no modo AR. Com kernels CUDA personalizados da NVIDIA, chega a 1015 tokens/s. A variante 8B Vision-Language atinge 3,63× a 7,45× tokens/forward dependendo do comprimento da resposta. Para contexto, a taxa de inferência de LLMs mainstream em H100 fica tipicamente entre 100 e 300 tokens/s. O Nemotron-Labs-Diffusion 8B no GB200 atinge 1015 tokens/s – 3–4× mais rápido que modelos líderes. Isso é crucial para agentes em tempo real que precisam raciocinar, chamar ferramentas e continuar raciocinando. Triplicar a taxa de transferência pode reduzir a latência de uma tarefa de agente de 15 segundos para 5 segundos – um limiar crítico para passar de demonstração para uso diário.
Abordagem de treinamento
O Nemotron-Labs-Diffusion não foi treinado do zero. Após o pré-treinamento AR, uma segunda fase foi adicionada:
- Fase 1: 1 trilhão de tokens, objetivo puramente AR
- Fase 2: 300 bilhões de tokens, objetivo misto AR e difusão
A função de perda combinada é ℒ(θ) = ℒ_AR(θ) + α · ℒ_diff(θ), com α = 0,3. Isso significa que AR é o objetivo principal e difusão é auxiliar. Essa escolha de peso é a diferença fundamental entre o Nemotron-Labs-Diffusion e outros modelos de linguagem de difusão, que tratam todas as ordens de tokens igualmente. O Nemotron-Labs-Diffusion aproveita o viés natural da linguagem da esquerda para a direita, evitando a degradação de precisão frequentemente criticada em modelos de difusão. O treinamento usou 256 GPUs H100 para todos os três tamanhos de modelo.
Posicionamento competitivo
Concorrentes diretos são Qwen3-8B e Llama 4-8B, mas o Nemotron-Labs-Diffusion não vende 'modelo mais inteligente', e sim 'mesma inteligência com 3–6× de taxa de transferência'. A estratégia da NVIDIA é clara: vender mais GB200s com este modelo para extrair mais economia de token do que os concorrentes. Isso está alinhado com a mudança da NVIDIA no último ano, de vender chips para vender um pacote completo (modelo + hardware + kernels CUDA) que torna as contas de computação empresarial mais atraentes. Os pesos estão disponíveis no Hugging Face sob a licença NVIDIA Nemotron Open Model License, que permite uso comercial, fine-tuning e implantação. A NVIDIA não revelou se o método escala para 32B/70B, mas o lançamento de 20 de maio é suficiente para manter as equipes de otimização de inferência discutindo amanhã.
Fontes: NVIDIA AI Releases Nemotron-Labs-Diffusion: A Tri-Mode Language Model with 6× Tokens Per Forward Over Qwen3-8B (MarkTechPost); Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding (NVIDIA Research); NVIDIA pushes past autoregressive text generation with Nemotron-Labs-Diffusion (Startup Fortune); CocoLoop