vLLM eleva em 5,3 vezes a taxa de transferência do DeepSeek V4.1 Flash
vLLM e Inferact publicam otimizações de inferência para o DeepSeek-V4.1-Flash que elevam a taxa de transferência em até 5,3 vezes na plataforma Blackwell da Nvidia.
Notícias e análises sobre otimização de inferência
7 artigos verificados sobre otimização de inferência, produtos e movimentos do setor.
Baseten deixa agente de IA escrever motor de inferência, 90% mais rápido que o vLLM
A Baseten usou Claude Code para um agente criar o motor VibeQwen para o Qwen-3.6-35B-A3B, 90% mais rápido que o vLLM, em uma semana e por poucos milhares de dólares.
SGLang deixa o MiniMax-H3 1,95 vez mais rápido sem perder qualidade
LMSYS testa o SGLang Diffusion em 8 placas H200: o caminho sem perdas é 1,95 vez mais rápido que o Diffusers, e o patamar de 6,24 vezes exige trocar por qualidade de imagem.
Ling-3.0-flash da Ant Group: desempenho 2,1 vezes maior em quatro GPUs Blackwell
SGLang e Ant Group reduzem a latência por token do Ling-3.0-flash com concorrência 1 em até 77% em quatro GPUs Blackwell.
Reinício de modelo de um trilhão de parâmetros cai de 8,8 minutos para 32 segundos
Ant, Alibaba e a equipe do SGLang mantêm os pesos quantizados na memória da GPU e reduzem o reinício de um modelo de um trilhão de parâmetros de 8,8 minutos para 32 segundos.
H20 roda V4-Pro a 70% da velocidade da B300
A LMSYS mostra, com otimizações no SGLang, como o DeepSeek-V4-Pro na H20 da Nvidia para a China se aproxima da B300, reduzindo a diferença na decodificação para 1,42 vez.
NVIDIA funde difusão e autorregressão em novo modelo Nemotron-Labs-Diffusion
A NVIDIA lançou o Nemotron-Labs-Diffusion, um modelo com três modos de decodificação que aumenta a taxa de transferência em até 6× em relação ao Qwen3-8B, mantendo a precisão.