vLLM multiplica por 5,3 el rendimiento de DeepSeek V4.1 Flash
vLLM e Inferact publican optimizaciones de inferencia para DeepSeek-V4.1-Flash que multiplican por hasta 5,3 el rendimiento en la plataforma Blackwell de Nvidia.
Noticias y análisis de optimización de inferencia
10 artículos verificados sobre optimización de inferencia, productos y movimientos del sector.
Baseten deja que un agente de IA escriba un motor de inferencia, 90 % más rápido que vLLM
Baseten usó Claude Code para que un agente creara el motor VibeQwen para Qwen-3.6-35B-A3B, un 90% más rápido que vLLM, en una semana y por unos pocos miles de dólares.
Hugging Face libera 207 kernels de GPU para el navegador
Hugging Face lanza @huggingface/kernels con 207 kernels WebGPU optimizados, en promedio 2,57x más rápidos que ORT WebGPU, bajo licencia Apache-2.0.
SGLang acelera MiniMax-H3 1,95 veces sin perder calidad
LMSYS prueba SGLang Diffusion en 8 tarjetas H200: la ruta sin pérdidas es 1,95 veces más rápida que Diffusers, y el nivel de 6,24 veces exige sacrificar calidad de imagen.
Ling-3.0-flash de Ant Group: rendimiento 2,1 veces mayor en cuatro GPU Blackwell
SGLang y Ant Group reducen la latencia por token de Ling-3.0-flash con concurrencia 1 hasta un 77% en cuatro GPU Blackwell.
Reinicio de un modelo de un billón de parámetros: de 8,8 minutos a 32 segundos
Ant, Alibaba y el equipo de SGLang mantienen los pesos cuantizados en la memoria de la GPU y reducen el reinicio de un modelo de un billón de parámetros de 8,8 minutos a 32 segundos.
La H20 corre V4-Pro al 70% de la velocidad de la B300
LMSYS muestra, con optimizaciones sobre SGLang, cómo DeepSeek-V4-Pro en la H20 de Nvidia para China se acerca a la B300, con una brecha de decodificación de solo 1,42 veces.
Liquid AI usa destilación para recuperar el 97% de precisión de Q4_0
Liquid AI publica nuevos checkpoints de la serie LFM2.5 en formato GGUF Q4_0, entrenados con el método QAD, recuperando hasta el 97% de la precisión original en BF16.
NVIDIA fusiona difusión y autorregresión en el nuevo modelo Nemotron-Labs-Diffusion
NVIDIA presenta Nemotron-Labs-Diffusion, un modelo con tres modos de decodificación que multiplica hasta por 6 el rendimiento frente a Qwen3-8B sin sacrificar precisión.
Google TurboQuant comprime la memoria de inferencia de IA 6 veces
Google Research presenta TurboQuant, que combina los algoritmos PolarQuant y QJL para comprimir la memoria del KV Cache durante la inferencia de modelos grandes al menos 6 veces sin necesidad de reentrenamiento, logrando hasta 8 veces más velocidad en GPU H100.