Ant Group và cộng đồng vLLM vừa cùng mở mã nguồn Humming, một thư viện kernel cho suy luận lượng tử hóa. Mã nguồn nằm trong tổ chức của dự án vLLM và có thể cài trực tiếp bằng pip install humming-kernels. Từ vLLM 0.29.0, gói cài đặt phiên bản CUDA đã đi kèm sẵn phần phụ thuộc này; người dùng chỉ cần thêm --linear-backend humming hoặc --moe-backend humming là có thể chuyển đổi.
Bài đăng trên blog liệt kê các cộng tác viên phía Ant gồm Jinzhen Lin, Zekai Gu và Zhilin Huang; phía cộng đồng có Michael Goin của Red Hat cùng một số người khác.
Một thư viện, bao phủ hàng loạt định dạng
Rắc rối cũ của suy luận lượng tử hóa là có quá nhiều định dạng: trọng số 4 bit với kích hoạt 16 bit dùng một bộ kernel, chuyển sang kích hoạt 8 bit lại cần bộ khác, còn FP4, MXFP4, NVFP4 mỗi loại một cách viết riêng. Hướng tiếp cận của Humming là tách “cách mô tả lượng tử hóa” khỏi “cách thực thi kernel”, rồi ghép các kernel cụ thể từ những thành phần dùng chung. Theo cách diễn đạt trong bài gốc, đó là "separating quantization descriptions from execution choices".
Hiện thư viện hỗ trợ các tổ hợp WnA16, W8A8, W4A8 và W4A4, với kiểu dữ liệu từ INT1 đến INT8, từ FP4 đến FP8, cùng MXFP4, MXINT4 và NVFP4. Về phần cứng, thư viện bao phủ toàn bộ các kiến trúc NVIDIA sau Turing, từ H20 và H200 thuộc Hopper, đến B300 thuộc Blackwell và SM120 dành cho người dùng cá nhân.
Một số so sánh trên phép nhân ma trận của một lớp đơn (tất cả do chính nhóm dự án tự đo, điều kiện xem trong biểu đồ của bài gốc):
| Kịch bản | Đối tượng so sánh | Mức tăng tốc |
|---|---|---|
| W4A16 dày, batch nhỏ | cuBLAS | khoảng 3-4 lần trên đa số thiết bị |
| W4A8-MXFP4, H200 | DeepGEMM W8A8 | khoảng 4,5 lần |
| MoE W4A16, B300, batch lớn | Marlin | khoảng 5 lần |
Bài kiểm tra đầu-cuối dùng DeepSeek-V4.1-Flash, 8 GPU H20, song song tensor 8. Khi phần MoE chuyển từ Marlin W4A16 sang Humming W4A8, thông lượng đầu ra tăng khoảng 14% đến 43%, độ trễ token đầu tiên giảm khoảng 25% đến 32%, và mức đồng thời càng cao thì lợi ích càng lớn.
Ý nghĩa với các đơn vị triển khai trong nước
Nền tảng thử nghiệm trong bài blog gần như được chọn theo đúng cấu hình thực tế của các cụm suy luận ở Trung Quốc. H20 là dòng card NVIDIA dành riêng cho thị trường Trung Quốc: sức mạnh tính toán bị cắt giảm nhưng băng thông bộ nhớ được giữ lại, nên khi chạy suy luận mô hình lớn, lượng tử hóa bit thấp gần như là lựa chọn bắt buộc. Bài kiểm tra đầu-cuối lại dùng chính mô hình MoE của DeepSeek, và nhiều nhóm trong nước đang sở hữu đúng bộ đôi này.
Một chi tiết khác là các thiết bị nội địa tương thích CUDA: blog đưa Zhenwu 810E của T-Head thuộc Alibaba vào danh sách hỗ trợ, và lộ trình còn ghi sẽ hỗ trợ thêm các thiết bị PPU khác của T-Head, chẳng hạn Zhenwu M890. Ant và T-Head cùng thuộc hệ sinh thái Alibaba; hướng này có thể đi xa đến đâu còn tùy vào nhịp độ hợp nhất mã vào nhánh upstream.
Với các nhóm đã dùng vLLM, chi phí chuyển đổi chủ yếu nằm ở khâu kiểm chứng: những định dạng Humming đọc được trực tiếp thì không cần lượng tử hóa lại mô hình; còn định dạng vLLM chưa hỗ trợ nguyên bản, chẳng hạn GPTQ INT3, có thể đi theo đường tương thích --quantization humming.
Những hạn chế được nêu rõ
Blog liệt kê các giới hạn khá rõ ràng. Lệnh mới của B300 không còn hỗ trợ tính toán INT8, nên phép nhân ma trận INT8 chỉ có thể dùng lệnh cũ và hiệu năng thấp rõ rệt; thế hệ Rubin kế tiếp không hỗ trợ hai định dạng Tensor Core ẩn trên Blackwell. Cấu hình kernel hiện được chọn bằng quy tắc heuristic, tác giả thừa nhận chưa chọn được phương án tối ưu toàn cục và phần tự động tinh chỉnh vẫn chưa hoàn thành.
Tốc độ biên dịch là một điểm mạnh khác. Trên H200 với bộ nhớ đệm tắt, một kernel W4A16 đơn lẻ biên dịch bằng Humming cộng NVRTC chỉ mất 1,88 giây; khi khởi động mô hình, các kernel bao phủ mọi kích thước của một lớp đơn mất khoảng 2 đến 4 giây là biên dịch xong. Với những nhóm thường xuyên đổi mô hình, đổi định dạng để thử nghiệm, điều này tiết kiệm thời gian hơn cả các con số thông lượng.
Nguồn tham khảo: blog chính thức của vLLM, kho GitHub của Humming, CocoLoop; các số liệu về thông lượng, độ trễ và thời gian biên dịch đều theo phương pháp kiểm tra do nhóm dự án công bố.