vLLM Tingkatkan Throughput DeepSeek V4.1 Flash 5,3x
Optimasi baru vLLM meningkatkan throughput DeepSeek-V4.1-Flash hingga 5,3x dengan memperkecil KV cache dan menghindari offload pada tugas berkonteks panjang.
Berita dan Analisis optimasi inferensi
7 artikel terverifikasi tentang optimasi inferensi, produk, dan perkembangan industri.
Baseten Pakai Agen AI untuk Menulis Inference Engine, Lebih Cepat 90% dari vLLM
Baseten menggunakan agen AI lewat Claude Code untuk membuat inference engine khusus bagi Qwen-3.6-35B-A3B, mencapai 1792 TPS di B200, 90% lebih cepat dari vLLM.
SGLang percepat MiniMax-H3 1,95x tanpa kehilangan kualitas
LMSYS menguji MiniMax-H3 di 8x H200: jalur lossless SGLang 1,95x lebih cepat dari Diffusers, sementara tingkat agresif bisa sampai 6x dengan mengorbankan SSIM.
Ling-3.0-flash Ant Group 2.1x Lebih Cepat di 4 GPU Blackwell
SGLang dan tim Ling Infra Ant Group memangkas TPOT permintaan tunggal Ling-3.0-flash dari 3.33 ms menjadi 0.78 ms di 4 GPU Blackwell.
Restart Model Triliun Parameter Turun dari 8,8 Menit ke 32 Detik
Ant Group dan tim SGLang membangun Weight Cache Daemon yang menyimpan bobot terkuantisasi tetap di memori GPU, memangkas waktu restart Ling-2.6-1T dari 8,8 menit menjadi sekitar 32 detik.
H20 Jalankan V4-Pro, Capai 70% Kecepatan B300
Tim LMSYS merilis data optimasi serving DeepSeek-V4-Pro: gap decoding single-batch antara chip H20 versi Tiongkok dan flagship B300 kini hanya 1,42 kali.
NVIDIA Gabungkan Difusi dan Autoregresi dalam Model Baru Nemotron-Labs-Diffusion
NVIDIA merilis Nemotron-Labs-Diffusion, model dengan tiga mode decoding yang meningkatkan throughput hingga 6× dibanding Qwen3-8B tanpa mengorbankan akurasi.