Ant Group dan komunitas vLLM merilis secara bersama sebuah pustaka kernel inferensi terkuantisasi, Humming, sebagai open source. Kodenya berada di bawah organisasi proyek vLLM dan bisa langsung dipasang lewat pip install humming-kernels. Mulai vLLM 0.29.0, paket instalasi versi CUDA sudah menyertakan dependensi ini, sehingga pengguna cukup menambahkan --linear-backend humming atau --moe-backend humming untuk beralih.
Blog tersebut mencantumkan Jinzhen Lin, Zekai Gu, dan Zhilin Huang sebagai kontributor dari Ant, sementara dari sisi komunitas ada Michael Goin dari Red Hat dan beberapa orang lainnya.
Satu pustaka untuk deretan format yang panjang
Masalah lama dalam inferensi terkuantisasi adalah terlalu banyaknya format. Bobot 4-bit dengan aktivasi 16-bit memerlukan satu set kernel, aktivasi 8-bit memerlukan set lain, dan FP4, MXFP4, serta NVFP4 masing-masing punya cara penulisan sendiri. Pendekatan Humming adalah memisahkan "bagaimana kuantisasi dideskripsikan" dari "bagaimana kernel dieksekusi", lalu merakit kernel konkret dari komponen bersama. Dalam kata-kata blog aslinya: "separating quantization descriptions from execution choices".
Kombinasi yang didukung saat ini mencakup WnA16, W8A8, W4A8, dan W4A4, dengan tipe data dari INT1 hingga INT8, FP4 hingga FP8, serta MXFP4, MXINT4, dan NVFP4. Dari sisi perangkat keras, cakupannya meliputi semua arsitektur NVIDIA sejak Turing, dari H20 dan H200 pada Hopper hingga B300 pada Blackwell dan SM120 kelas konsumen.
Berikut beberapa perbandingan perkalian matriks satu lapisan (semuanya diuji sendiri oleh tim proyek; kondisi pengujian ada pada grafik di blog):
| Skenario | Pembanding | Percepatan |
|---|---|---|
| W4A16 padat, batch kecil | cuBLAS | Sekitar 3-4 kali pada sebagian besar perangkat |
| W4A8-MXFP4, H200 | DeepGEMM W8A8 | Sekitar 4,5 kali |
| MoE W4A16, batch besar di B300 | Marlin | Sekitar 5 kali |
Pengujian ujung ke ujung memakai DeepSeek-V4.1-Flash pada 8 GPU H20 dengan paralelisme tensor 8. Setelah bagian MoE diganti dari Marlin W4A16 ke Humming W4A8, throughput keluaran naik sekitar 14% hingga 43% dan latensi token pertama turun sekitar 25% hingga 32%. Semakin tinggi konkurensi, semakin besar manfaatnya.
Apa artinya bagi pihak penyedia di Tiongkok
Platform uji dalam blog ini seolah dipilih mengikuti konfigurasi nyata klaster inferensi di Tiongkok. H20 adalah kartu NVIDIA khusus pasar Tiongkok: daya komputasinya dipangkas, tetapi bandwidth memorinya dipertahankan, sehingga kuantisasi bit rendah nyaris wajib saat menjalankan inferensi model besar. Pengujian ujung ke ujung juga memakai model MoE milik DeepSeek sendiri, dan kombinasi inilah yang kini dipegang banyak tim di Tiongkok.
Detail lain adalah dukungan untuk perangkat dalam negeri yang kompatibel dengan CUDA. Blog tersebut memasukkan Zhenwu 810E milik T-Head dari Alibaba ke dalam daftar dukungan, dan peta jalannya menyebut rencana mendukung lebih banyak perangkat PPU T-Head, misalnya Zhenwu M890. Ant dan T-Head sama-sama berada di ekosistem Alibaba; sejauh mana jalur ini bisa maju bergantung pada kecepatan penggabungan di upstream.
Bagi tim yang sudah memakai vLLM, biaya migrasi terutama ada pada validasi. Format yang bisa langsung dibaca Humming tidak perlu dikuantisasi ulang. Format yang tidak didukung vLLM secara native, seperti GPTQ INT3, dapat dijalankan lewat jalur kompatibilitas --quantization humming.
Kekurangan yang dituliskan secara terbuka
Blog tersebut mencantumkan keterbatasannya dengan jelas. Instruksi baru di B300 tidak lagi mendukung komputasi INT8, sehingga perkalian matriks INT8 hanya bisa memakai instruksi lama dan kinerjanya jelas lebih rendah. Rubin generasi berikutnya tidak mendukung dua format Tensor Core tersembunyi yang ada di Blackwell. Konfigurasi kernel saat ini dipilih dengan aturan heuristik; penulisnya mengakui bahwa pilihan optimal global belum bisa dicapai, dan penyetelan otomatis belum selesai.
Kecepatan kompilasi adalah nilai jual lainnya. Di H200 dengan cache dimatikan, satu kernel W4A16 yang dikompilasi dengan Humming plus NVRTC hanya butuh 1,88 detik. Saat pemanasan model, kernel yang mencakup semua ukuran satu lapisan selesai dikompilasi dalam sekitar 2 hingga 4 detik. Bagi tim yang sering berganti model dan format untuk bereksperimen, ini lebih menghemat waktu daripada angka throughput.
Sumber: blog resmi vLLM, repositori GitHub Humming, CocoLoop; throughput, latensi, dan waktu kompilasi mengikuti metode pengujian yang dipublikasikan oleh tim proyek.