SGLang deixa o MiniMax-H3 1,95 vez mais rápido sem perder qualidade
LMSYS testa o SGLang Diffusion em 8 placas H200: o caminho sem perdas é 1,95 vez mais rápido que o Diffusers, e o patamar de 6,24 vezes exige trocar por qualidade de imagem.
Notícias e análises sobre otimização de inferência
5 artigos verificados sobre otimização de inferência, produtos e movimentos do setor.
Ling-3.0-flash da Ant Group: desempenho 2,1 vezes maior em quatro GPUs Blackwell
SGLang e Ant Group reduzem a latência por token do Ling-3.0-flash com concorrência 1 em até 77% em quatro GPUs Blackwell.
Reinício de modelo de um trilhão de parâmetros cai de 8,8 minutos para 32 segundos
Ant, Alibaba e a equipe do SGLang mantêm os pesos quantizados na memória da GPU e reduzem o reinício de um modelo de um trilhão de parâmetros de 8,8 minutos para 32 segundos.
H20 roda V4-Pro a 70% da velocidade da B300
A LMSYS mostra, com otimizações no SGLang, como o DeepSeek-V4-Pro na H20 da Nvidia para a China se aproxima da B300, reduzindo a diferença na decodificação para 1,42 vez.
NVIDIA funde difusão e autorregressão em novo modelo Nemotron-Labs-Diffusion
A NVIDIA lançou o Nemotron-Labs-Diffusion, um modelo com três modos de decodificação que aumenta a taxa de transferência em até 6× em relação ao Qwen3-8B, mantendo a precisão.