vLLM steigert Durchsatz von DeepSeek V4.1 Flash um das 5,3-Fache
vLLM und Inferact veröffentlichen Inferenzoptimierungen für DeepSeek-V4.1-Flash, die den Durchsatz auf Nvidias Blackwell-Plattform GB200/GB300 um das bis zu 5,3-Fache steigern.
Inferenzoptimierung: News und Analysen
7 geprüfte Beiträge zu Inferenzoptimierung, Produkten und Branchenentwicklungen.
Baseten lässt KI-Agenten Inference-Engine schreiben, 90 % schneller als vLLM
Baseten lässt per Claude Code einen Agenten die Engine VibeQwen für Qwen-3.6-35B-A3B bauen – rund 90 % schneller als vLLM, in einer Woche für wenige Tausend Dollar.
SGLang beschleunigt MiniMax-H3 verlustfrei um das 1,95-Fache
LMSYS testet SGLang Diffusion auf 8 H200-Karten: Der verlustfreie Pfad ist 1,95-mal schneller als Diffusers, für das 6,24-Fache muss man Bildqualität eintauschen.
Ant Groups Ling-3.0-flash: 2,1-fach schnellerer Durchsatz auf vier Blackwell-GPUs
SGLang und Ant Group senken die Token-Latenz von Ling-3.0-flash bei Nebenläufigkeit 1 auf vier Blackwell-GPUs um bis zu 77 Prozent.
Neustart eines Billionen-Modells: von 8,8 Minuten auf 32 Sekunden
Ant, Alibaba und das SGLang-Team lassen quantisierte Gewichte im GPU-Speicher liegen und drücken den Neustart eines 1T-Modells von 8,8 Minuten auf 32 Sekunden.
H20 erreicht mit DeepSeek-V4-Pro 70 Prozent der B300-Geschwindigkeit
LMSYS zeigt mit SGLang-Optimierungen, wie DeepSeek-V4-Pro auf Nvidias China-Chip H20 nahe an die B300-Leistung heranrückt – beim Decoding liegt die Lücke nur noch beim Faktor 1,42.
NVIDIA vereint Diffusion und Autoregression in neuem Modell Nemotron-Labs-Diffusion
NVIDIA stellt Nemotron-Labs-Diffusion vor, ein Modell mit drei Decodierungsmodi, das den Durchsatz im Vergleich zu Qwen3-8B um das bis zu 6-fache steigert und dabei die Genauigkeit hält.