vLLM multiplie par 5,3 le débit de DeepSeek V4.1 Flash
vLLM et Inferact publient des optimisations d'inférence pour DeepSeek-V4.1-Flash qui multiplient par jusqu'à 5,3 le débit sur la plateforme Blackwell de Nvidia.
Actualités et analyses : optimisation d'inférence
7 articles vérifiés sur optimisation d'inférence, les produits et le secteur.
Baseten laisse un agent IA écrire un moteur d'inférence, 90 % plus rapide que vLLM
Baseten a utilisé Claude Code pour laisser un agent créer le moteur VibeQwen pour Qwen-3.6-35B-A3B, 90 % plus rapide que vLLM, en une semaine et pour quelques milliers de dollars.
SGLang accélère MiniMax-H3 de 1,95 fois sans perte de qualité
LMSYS teste SGLang Diffusion sur 8 cartes H200 : la voie sans perte est 1,95 fois plus rapide que Diffusers, et le palier à 6,24 fois exige un compromis sur la qualité d'image.
Ling-3.0-flash d'Ant Group : débit 2,1 fois plus élevé sur quatre GPU Blackwell
SGLang et Ant Group réduisent la latence par token de Ling-3.0-flash à concurrence 1, jusqu'à 77 % sur quatre GPU Blackwell.
Redémarrage d'un modèle de mille milliards de paramètres : de 8,8 minutes à 32 secondes
Ant, Alibaba et l'équipe SGLang gardent les poids quantifiés en mémoire GPU et font passer le redémarrage d'un modèle de mille milliards de paramètres de 8,8 minutes à 32 secondes.
La H20 fait tourner V4-Pro à 70% de la vitesse de la B300
LMSYS montre, via des optimisations sur SGLang, comment DeepSeek-V4-Pro sur la H20 de Nvidia pour la Chine se rapproche de la B300, l'écart de décodage n'étant plus que de 1,42 fois.
NVIDIA fusionne diffusion et autorégression dans un nouveau modèle Nemotron-Labs-Diffusion
NVIDIA dévoile Nemotron-Labs-Diffusion, un modèle avec trois modes de décodage qui multiplie le débit par 6 par rapport à Qwen3-8B tout en maintenant la précision.