vLLM讓DeepSeek V4.1 Flash吞吐量衝高5.3倍
vLLM針對DeepSeek-V4.1-Flash推出一系列推理最佳化，透過壓縮KV快取與省略卸載，吞吐量最高提升5.3倍。
推理優化 資訊與深度分析
收錄 推理優化 相關產品動態與產業觀察，共 7 篇文章。
Baseten用AI寫推理引擎 勝vLLM九成
推理平台Baseten讓AI智能體自動生成Qwen專用推理引擎，B200上達成1792 TPS，比vLLM快九成。
SGLang讓MiniMax-H3無損提速1.95倍
LMSYS用8張H200實測MiniMax-H3推理效能，SGLang無損路徑比Diffusers快up to 1.95倍，犧牲SSIM畫質最高可到6倍。
四卡讓螞蟻Ling-3.0-flash快2.1倍
SGLang與螞蟻Ling Infra團隊在4張Blackwell顯示卡上，把Ling-3.0-flash單一請求的生成延遲從3.33毫秒降到0.78毫秒。
兆級模型重啟從8.8分鐘壓到32秒
螞蟻集團與SGLang團隊打造Weight Cache Daemon，讓量化後的權重常駐GPU記憶體，將Ling-2.6-1T的重啟時間從8.8分鐘壓縮到約32秒。
H20 跑 V4-Pro 達 B300 七成速度
LMSYS 團隊公開 DeepSeek-V4-Pro 服務端最佳化數據，在中國特規卡 H20 上，單批解碼與旗艦卡 B300 的差距已縮小到 1.42 倍。
NVIDIA融合擴散與自迴歸，發表新模型Nemotron-Labs-Diffusion
NVIDIA的Nemotron-Labs-Diffusion在單一模型中支援三種解碼模式，吞吐量最高可達Qwen3-8B的6倍，同時維持準確度。