vLLM giúp DeepSeek V4.1 Flash tăng thông lượng 5,3 lần
vLLM và Inferact công bố loạt tối ưu suy luận cho DeepSeek-V4.1-Flash, giúp thông lượng tăng tới 5,3 lần trên nền tảng Nvidia Blackwell GB200/GB300.
Tin tức và phân tích tối ưu suy luận
7 bài đã kiểm chứng về tối ưu suy luận, sản phẩm và diễn biến ngành.
Baseten để AI tự viết engine suy luận, nhanh hơn vLLM 90%
Baseten dùng Claude Code để agent tự viết engine suy luận VibeQwen cho Qwen-3.6-35B-A3B, vượt vLLM tới 90% về tốc độ, chỉ mất một tuần và vài nghìn đô la.
SGLang tăng tốc MiniMax-H3 gấp 1,95 lần không mất chất lượng
LMSYS thử nghiệm SGLang Diffusion trên 8 card H200: đường không mất mát nhanh hơn Diffusers 1,95 lần, mức 6,24 lần phải đánh đổi bằng chất lượng hình ảnh.
Ling-3.0-flash của Ant Group: thông lượng tăng gấp 2,1 lần trên bốn GPU Blackwell
SGLang và Ant Group giảm độ trễ mỗi token của Ling-3.0-flash ở mức đồng thời 1 tới 77% trên bốn GPU Blackwell.
Khởi động lại mô hình nghìn tỷ tham số giảm từ 8,8 phút xuống 32 giây
Ant, Alibaba và nhóm SGLang giữ trọng số đã lượng tử hóa thường trực trong bộ nhớ GPU, rút thời gian khởi động lại mô hình nghìn tỷ tham số từ 8,8 phút xuống còn 32 giây.
H20 chạy DeepSeek-V4-Pro đạt 70% tốc độ B300
LMSYS công bố loạt tối ưu trên SGLang giúp DeepSeek-V4-Pro chạy trên chip H20 tại Trung Quốc tiệm cận B300, khoảng cách giải mã đơn batch chỉ còn 1,42 lần.
NVIDIA kết hợp khuếch tán và tự hồi quy trong mô hình mới Nemotron-Labs-Diffusion
NVIDIA công bố Nemotron-Labs-Diffusion, mô hình hỗ trợ ba chế độ giải mã, tăng thông lượng lên tới 6 lần so với Qwen3-8B mà vẫn duy trì độ chính xác.