SemiAnalysis menulis dalam unggahan pada 13 September bahwa AMD baru merilis image DeepSeek V4.1 Flash miliknya sendiri dua hari penuh setelah vLLM di sisi CUDA lebih dulu mendukung model tersebut. Image itu sendiri langsung bisa dipakai tanpa fitur yang hilang. Kesenjangannya muncul pada efisiensi biaya: menurut perhitungan lembaga ini, model yang sama yang dijalankan di perangkat keras AMD memberikan performa per dolar yang lebih buruk hingga 14,8x dibanding H200, dan hingga 42x dibanding B200 serta B300.
SemiAnalysis menjelaskan kesenjangan ini sebagai soal ekosistem. Kolaborasi Nvidia dengan komunitas pengembangnya membuat jalur CUDA bisa dioptimalkan sejak hari pertama sebuah model dirilis, dan lembaga ini menyebut ukuran basis pengembang tersebut mencapai enam juta orang.
Dari mana asal kesenjangan dua hari ini
Pada hari-hari pertama setelah model baru dirilis, pekerjaan di sisi inferensi terkonsentrasi pada adaptasi kernel, pemilihan jalur kuantisasi, dan penyetelan scheduler. Pengembangan inti pada framework inferensi seperti vLLM dan SGLang sudah lama berputar di sekitar CUDA, dan implementasi referensi yang dibuat sendiri oleh pembuat model juga umumnya lebih dulu berjalan di CUDA. Pihak AMD harus menunggu perubahan utama itu digabungkan terlebih dahulu sebelum melakukan satu putaran porting dan validasi, sehingga selisih dua hari menjadi hasil rutin dari alur kerja ini.
DeepSeek V4.1 Flash adalah model generasi yang mulai diuji secara terbatas awal September lalu sebelum dirilis resmi, dengan struktur yang berbeda dari generasi sebelumnya. Semakin besar perubahan struktur, semakin tinggi biaya porting-nya, dan semakin lebar pula kesenjangan performa pada hari pertama.
Kesenjangan setara sudah diuji tiga minggu lalu
Mundur tiga minggu, SemiAnalysis merilis rangkaian benchmark bernama AgentX 1.0 pada 24 Agustus, khusus untuk menguji inferensi agen dengan konteks panjang. Pengujian itu menggunakan 393 jejak pemanggilan Claude Code yang telah dianonimkan, dengan konteks melebihi satu juta token, sumber daya komputasi lebih dari 1.000 GPU dengan konsumsi daya sekitar 2 megawatt, dan anggaran yang disebutkan lebih dari 3 juta dolar AS.
Kesimpulan pengujian saat itu berbeda-beda menurut model: pada SGLang, Qwen3.5 membuat Nvidia unggul lebih dari 20x dibanding AMD pada tingkat 90 tok/s/user; GLM 5.3 membuat efisiensi biaya Nvidia sekitar 5x lebih tinggi pada tingkat 150 tok/s/user; dan jalur FP4 pada B300 memberikan peningkatan performa per dolar 12x dibanding H100. Materi yang sama juga memuat pernyataan yang lebih menohok: stack ATOM milik AMD di seluruh Alibaba hanya dipakai oleh satu unit bisnis iklan berskala kecil.
Kesenjangan 5x hingga 20x dari tiga minggu lalu dan kesenjangan 14,8x hingga 42x kali ini berada pada orde besaran yang sama. Bedanya, AgentX menguji model yang sudah berjalan stabil selama beberapa waktu, sementara pengujian kali ini menyasar model baru yang baru dua hari dirilis, sehingga kesenjangan pada tahap cold-start justru melebar.
Perangkat keras itu sendiri bukan bottleneck
Spesifikasi MI355X di atas kertas sebenarnya tidak kalah. SemiAnalysis pernah menyampaikan dalam laporan Agustus itu bahwa pada tingkat tertentu, sekalipun chip AMD diberikan gratis, hitungan biaya per token tetap tidak menang sampai vLLM dan SGLang berhasil mengejar ketertinggalan. Setelah 21 Agustus, serangkaian optimasi pada vLLM yang disumbangkan oleh Inferact dan Nvidia membuat performa per dolar B200 justru melampaui MI355X.
Bagi pembeli, angka-angka ini menunjukkan bahwa variabel penentu keputusan pengadaan telah bergeser dari puncak kemampuan komputasi menjadi kematangan software stack dan kecepatan adaptasi terhadap model baru. Bagi penyedia layanan inferensi yang ingin meluncurkan layanan pada hari yang sama dengan rilis model baru, selisih dua hari di jalur AMD berarti langsung kehilangan pendapatan selama dua hari.
Hal yang perlu dicermati dari angka-angka ini
Baik angka 14,8x maupun 42x sama-sama merupakan data sepihak dari SemiAnalysis; AMD belum memberikan tanggapan, dan belum ada pihak ketiga yang mereplikasi hasilnya. Performa per dolar adalah metrik yang sangat sensitif terhadap asumsi harga kartu, dan selisih harga pasar antara H200 bekas dengan B300 baru saja sudah bisa menggeser rasio ini ke arah mana pun. Laporan benchmark lembaga ini sebelumnya pernah mempublikasikan metodologi pengujian dan model biayanya secara terbuka, tetapi unggahan kali ini tidak disertai penjelasan metodologi yang lengkap.
Software stack AMD terus mengejar ketertinggalan dalam beberapa tahun terakhir. Apakah kecepatan itu bisa mengungguli investasi optimasi Nvidia pada setiap generasi perangkat kerasnya baru akan terlihat dari selisih berapa hari image kedua pihak muncul saat model dengan perubahan struktur besar berikutnya dirilis.
Sumber: SemiAnalysis, CocoLoop, catatan publik proyek vLLM; kelipatan performa per dolar dan skala komputasi pada benchmark AgentX dicatat sesuai pernyataan SemiAnalysis sendiri dan belum direplikasi oleh pihak ketiga.