Divisi riset di bawah VentureBeat menghimpun tiga edisi survei VB Pulse yang dijalankan pada Juli hingga September. Hasilnya menunjukkan komputasi AI di perusahaan banyak yang menganggur, tetapi rencana pembelian tidak melambat. Respondennya adalah 385 responden yang memenuhi syarat dari organisasi berkaryawan 100 orang atau lebih, termasuk konsultan yang menjawab mewakili klien utama mereka; 218 di antaranya melaporkan tingkat pemanfaatan GPU.
79% (172 dari 218 responden) mengatakan GPU mereka sibuk tidak lebih dari separuh waktu, dengan angka bulanan bergerak di kisaran 77% hingga 81%. Di antara perusahaan yang GPU-nya menganggur itu, 70% (120 dari 172) berencana mendatangkan platform komputasi AI tambahan atau pengganti dalam 12 bulan ke depan.
Menganggur atau sibuk, dorongan untuk membeli hampir sama
Di antara 46 perusahaan dengan GPU yang lebih sibuk, 74% berencana menambah platform baru. Artikel menilai selisih 70% dan 74% tidak signifikan secara statistik, sehingga tinggi-rendahnya pemanfaatan nyaris tidak memengaruhi minat membeli.
Arah pembelian platform baru juga sangat terkonsentrasi. Dari 120 perusahaan ber-GPU menganggur yang berencana menambah platform, 90% menyebut platform cloud atau penyedia model, dan hanya 8% yang berniat memakai klaster on-premise atau terkelola, ataupun stack open source yang dikelola sendiri.
Kontrasnya muncul di sisi yang membangun sendiri. Dari 32 perusahaan yang menjalankan klaster on-premise atau terkelola, atau stack open source yang dikelola sendiri, 56% mengaku GPU-nya menganggur setidaknya separuh waktu; untuk 186 perusahaan lainnya angkanya 83%. Survei tidak menanyakan alasannya, dan penjelasan dari penulis pun secara tegas ditandai sebagai dugaan.
Klaim bahwa "sembilan dari sepuluh investasi tidak lolos audit keuangan" berasal dari data September saja: dari 64 perusahaan yang berencana menambah platform baru, 58 (91%) tidak bisa menunjukkan angka laba atas investasi yang telah diperiksa departemen keuangan. Sampelnya hanya satu bulan dan beberapa puluh perusahaan, dan pertanyaan yang sama tidak diajukan pada bulan lain.
Hitungan kasar biaya menganggur
Pemanfaatan memengaruhi biaya per unit secara berbanding terbalik. Misalkan menyewa satu GPU kelas atas berharga 2 dolar AS per jam-kartu; satu server 8 kartu berarti sewa sekitar 140.000 dolar AS setahun (hitungan kasar: 8 kartu × 8.760 jam × 2 dolar). Pada pemanfaatan 80%, biaya tiap jam-kartu yang benar-benar bekerja sekitar 2,5 dolar; turun ke 40%, menjadi 5 dolar. Untuk mendapatkan daya komputasi efektif yang sama, perusahaan harus membayar sekitar 140.000 dolar lebih banyak per tahun, setara menyewa satu server lagi.
Di sisi tagihan yang lain, biaya juga naik. Artikel mengutip prakiraan Gartner bahwa pada 2028 biaya inferensi per alur kerja agen akan naik lebih dari lima kali lipat; Vals AI mengukur biaya tim pemrograman multi-agen sebesar 1,8 hingga 5,1 kali biaya satu agen, dan dari empat konfigurasi tim hanya satu yang meraih peningkatan signifikan secara statistik pada benchmark.
Salah satu cara berhemat adalah cache. Panduan NVIDIA menunjukkan 85% hingga 97% konteks pada panggilan lanjutan dalam sesi Claude Code dapat dipakai ulang dari cache; Anthropic menagih token yang di-cache sebesar sepersepuluh hingga seperempat puluh dari harga input normal, tergantung modelnya. Chief technology officer Uber, Praveen Neppalli Naga, pada Agustus berkata kepada Fortune:
“we're coming to the end of the so-called tokenmaxxing era” (era yang disebut tokenmaxxing, yakni menumpuk token tanpa menghitung biaya, hampir berakhir)
Keterbatasan sampel
Angka-angka ini perlu dibaca dengan diskon. Respondennya adalah pembaca VentureBeat dan sukarelawan dari panel survei mereka, sehingga tidak mewakili seluruh perusahaan. Survei tidak menanyakan apakah GPU itu milik sendiri atau sewaan, apakah perusahaan bisa menjadwalkannya secara langsung, dan tidak membedakan kapasitas cadangan yang sengaja disisakan untuk lonjakan lalu lintas; platform baru yang direncanakan pun bisa jadi hanya menggantikan platform lama. Responden yang mencentang beberapa opsi pemanfaatan pada Juli, serta perusahaan yang tidak mengukur penggunaan GPU, tidak dihitung.
Selain itu, laporan ini sekaligus mempromosikan konferensi puncak infrastruktur agen milik VentureBeat sendiri, dengan sponsor antara lain WEKA, Outshift milik Cisco, dan OneTrust.
Sumber: laporan survei VentureBeat Intelligence, Gartner, CocoLoop, Vals AI; jumlah sampel pemanfaatan GPU, persentase tiap kelompok, dan acuan signifikansi statistik telah diperiksa.