Tim LMSYS merilis serangkaian data optimasi sisi serving untuk DeepSeek-V4-Pro, diuji di atas H20 dengan pembanding chip flagship Nvidia, B300. Karya ini ditulis oleh Tianyu Zhang, Yusong Gao, dan Yun Zhang, dan seluruh pengujian berjalan di atas framework open-source SGLang.
Dua angka utama patut disorot lebih dulu. Pada tahap prefill, konfigurasi PP2-CP8-TP8 mencapai 16.900 token per detik pada konteks 4K; beralih ke PP4-CP8-TP8 untuk konteks panjang 512K justru menaikkan throughput menjadi 25.860 token per detik, dengan pemrosesan 1 juta token memakan waktu 43,7 detik. Pada skenario decoding berlatensi rendah, throughput single-batch di H20 mencapai 271 token per detik, sementara B300 mencatat 383,7 — rasio keduanya 1,42 kali.
Untuk skenario throughput tinggi, ada set konfigurasi terpisah. DP32-EP32 pada konteks 4K dengan konkurensi 32-arah mencapai 703,15 token per detik per GPU; DP16-EP16 sedikit lebih tinggi, di 759,73. Bahkan saat konteks diperpanjang hingga 1 juta token, throughput per GPU masih bertahan di 66 hingga 67 token per detik.
Apa arti 1,42 kali ini
H20 adalah varian kepatuhan Nvidia yang dibuat khusus untuk pasar Tiongkok, dan di atas kertas kemampuan komputasinya tertinggal cukup jauh dari B300, bukan sekadar selisih tipis. Memangkas kesenjangan decoding single-batch menjadi 1,42 kali menunjukkan bahwa hambatan utamanya bukan puncak kemampuan komputasi, melainkan bandwidth memori, overhead komunikasi, dan waktu idle penjadwalan.
Ini juga menjelaskan susunan daftar optimasi. Beberapa perolehan terbesar sama sekali bukan berasal dari presisi operator: menggabungkan hot path kuantisasi — melebur aktivasi SwiGLU dengan kuantisasi dan menghilangkan buffer perantara — menaikkan throughput satu item sebesar 44,0%; mengganti dot product bobot kosakata dengan GEMM yang ditranspos, mengurangi pembacaan berulang saat konkurensi tinggi, menambah throughput 22,8% lagi; dan menata ulang penempatan beban expert berdasarkan preferensi expert yang terukur, menyumbang 13,5% tambahan.
Sisi prefill mengikuti logika serupa. Menggabungkan tujuh operator menjadi tiga grup eksekusi memangkas latensi token pertama sebesar 3,5%; mengambil pola akses berfrekuensi tinggi dari histogram routing produksi sungguhan, lalu mengoptimasi kedua set bobot expert secara khusus untuknya, memangkas latensi token pertama 11,35% lagi. Langkah terakhir ini terbilang sangat praktis — ia tidak mengasumsikan distribusi permintaan yang merata, melainkan menyesuaikan diri dengan bias yang memang ada pada traffic produksi.
Ada juga satu penggantian struktural: pada tahap prefill, tensor parallelism menggantikan expert parallelism untuk membagi layer MoE. Alasannya, beban expert yang tidak merata memicu long tail, dan lebih baik membayar sedikit lebih mahal untuk komunikasi demi memangkas ekor tersebut.
Kapasitas memori didapat lewat pertukaran
Batasan yang lebih ketat daripada kecepatan adalah kapasitas. Dua teknik dalam karya ini menyasar memori secara langsung: Humming MXFP4AFP8 menyimpan bobot expert dalam format MXFP4 dipadukan dengan aktivasi FP8 online, memperoleh kapasitas 1,71 hingga 4,47 kali dibanding baseline; kompresi KV C128 online mempertahankan status agregat yang ringkas alih-alih status per indeks, menyumbang 2,268 kali. Digabungkan, rentangnya mencapai 3,88 hingga 10,14 kali.
Bagi pihak yang men-deploy, angka ini paling mudah diterjemahkan ke biaya. Pada mesin 8-GPU yang sama, jumlah konkurensi atau panjang konteks yang bisa ditampung melipat beberapa kali, dan biaya per token turun kira-kira dengan rasio yang sama. Saat jumlah chip tidak bisa ditambah, kelipatan kapasitas menjadi satu-satunya variabel yang masih bisa dikendalikan sendiri.
Kontribusi DSpark dicatat terpisah: dengan mengoordinasikan eksekusi target dan langkah verifikasi lintas tahap pipeline, waktu output per token membaik 74,8% hingga 78,0%.
Bila dipetakan ke biaya, gambarannya jadi lebih konkret. Andaikan biaya kepemilikan bulanan satu mesin 8-GPU H20 tetap, kenaikan kapasitas 4 kali berarti tagihan yang sama kini melayani konkurensi 4 kali lipat, menekan biaya mesin per token menjadi sekitar seperempatnya (ini perkiraan kasar yang mengabaikan komputasi tambahan dari konteks panjang dan jitter routing). Bagi layanan yang mengenakan tarif per token dengan margin yang sudah tertekan perang harga, ruang gerak semacam ini seringkali lebih nyata ketimbang menunggu generasi chip berikutnya — apalagi generasi chip berikutnya belum tentu bisa didapat.
Yang diberikan adalah sebuah tabel konfigurasi
Yang akhirnya dihasilkan karya ini bukan satu solusi optimal tunggal, melainkan tabel konfigurasi yang disusun per skenario: untuk prefill, gunakan PP2 di bawah 32K dan beralih ke PP4 di atas 128K; untuk decoding, pilih PP2-TP8 bila mengejar latensi rendah, DP32-EP32 bila mengejar throughput, dengan DP16-EP16 disisakan sebagai referensi efisiensi.
Format penyajian ini sendiri adalah sebuah sinyal. Leaderboard menginginkan satu angka; lingkungan produksi menginginkan kejelasan seperti apa traffic-nya sendiri dan baris mana yang cocok. Bagi tim yang hanya punya H20 di tangan namun tetap harus men-serving model 1,6 triliun parameter, tabel ini jauh lebih langsung bisa dipakai ketimbang rekor performa puncak mana pun.
Sumber: blog teknis LMSYS, CocoLoop, dokumentasi proyek SGLang. Angka throughput, latensi, dan kelipatan kapasitas diambil dari tabel konfigurasi hasil pengujian pada blog tersebut; data pembanding B300 berasal dari sumber yang sama.