Pada 24 Agustus, NVIDIA merilis serangkaian data pengujian awal Vera Rubin NVL72: pada beban kerja bertipe agentic, throughput per megawatt mencapai 30 kali lipat generasi sebelumnya, GB300 NVL72, sementara biaya per token turun menjadi sekitar 1/35-nya. Data ini disertai catatan bahwa hasilnya masih menunggu verifikasi dari SemiAnalysis.
Pengujian menggunakan beban kerja AgentX dari SemiAnalysis, yang disusun dari jejak (trace) pemrograman agentic dunia nyata, bukan permintaan sintetis di laboratorium. Ada lima model yang dipakai untuk benchmark: Kimi K3, MiniMax M3, GLM5.3, Qwen3.5, dan DeepSeek V4 Pro — semuanya model bobot terbuka (open-weight), empat di antaranya berasal dari tim pengembang Tiongkok. Daftar ini sendiri mengungkap satu hal: untuk menilai bagus-tidaknya rak inferensi generasi baru, NVIDIA memilih model open-source yang benar-benar dipakai para developer sebagai tolok ukur.
Mengapa Ukurannya "per Megawatt"
Perbandingan antar-generasi secara tradisional biasanya memakai performa puncak atau performa per kartu. Kali ini NVIDIA mengganti penyebutnya menjadi listrik.
Alasannya ada pada struktur beban kerja. Menurut data OpenRouter, satu permintaan agentic mengonsumsi token 15 kali lebih banyak dibanding permintaan chat biasa — agen AI harus mengakses basis data, mencari referensi, memanggil sub-agent, dan membawa konteks yang makin panjang di setiap putaran inferensi. Ketika konsumsi token satu tugas melonjak satu orde besaran, yang biasanya membatasi ekspansi adalah kapasitas megawatt yang bisa dipasok gardu listrik, bukan jumlah GPU.
Perbandingan vertikal yang diberikan NVIDIA: throughput per megawatt GB300 NVL72 pada DeepSeek V4 Pro sudah 15 kali lipat arsitektur Hopper. Vera Rubin mengalikannya sekali lagi di atas dasar itu.
Kalau diurai, angka 30 kali lipat ini tidak berasal dari satu faktor saja. Teknologi catu daya dan pendinginan DSX MaxLPS memungkinkan pemasangan GPU 40% lebih banyak dalam anggaran megawatt yang sama, yang secara efektif mengencerkan penyebutnya lebih dulu; NVLink 6 menaikkan laju paket data 10 kali lipat dibanding solusi Ethernet yang ada dan menekan latensi menjadi sepertiganya; di atasnya lagi ada rangkaian kolaborasi perangkat keras-lunak — layanan disagregasi (disaggregated serving), cache KV terdistribusi, dan paralelisme expert. Setiap langkah menyumbang faktor pengali sendiri, dan gabungannya menghasilkan angka akhir tersebut.
Hitungan Kasar
Mari coba hitung secara kasar sesuai klaim resmi, seberapa besar angka ini kalau diterjemahkan ke biaya nyata.
Misalkan ada klaster inferensi berkapasitas 100 megawatt, dengan tarif listrik diperkirakan 0,5 yuan per kWh, dijalankan penuh sepanjang tahun akan menghabiskan biaya listrik sekitar 440 juta yuan. Jika throughput per megawatt benar-benar naik 30 kali lipat, biaya listrik yang sama akan menghasilkan output token 30 kali lebih banyak; sebaliknya, untuk menghasilkan jumlah token yang sama, biaya listrik bisa ditekan menjadi 1/30 dari sebelumnya. Adapun penurunan biaya token sebesar 35 kali — sedikit lebih tinggi dari kenaikan throughput 30 kali, selisihnya berasal dari peningkatan efisiensi energi rak itu sendiri, berbeda dengan peningkatan total output.
Hitungan kasar semacam ini punya bias yang jelas: data center sungguhan tidak berjalan penuh sepanjang tahun, dan faktor seperti PUE, tingkat idle, serta pencampuran model akan menekan angka pengalinya lebih rendah. Tapi setidaknya ini menjelaskan mengapa NVIDIA menempatkan ukuran ini di posisi paling depan. Bagi operator data center yang sudah mendapat kuota listrik tapi masih mengantre kapasitas gardu tambahan, output per megawatt lebih mendekati konsep "kapasitas produksi" dibanding total daya komputasi.
Beberapa Hal yang Perlu Diingat Sebelum Verifikasi
Data ini untuk saat ini masih pengujian internal dari vendor sendiri. Evaluasi SemiAnalysis belum keluar hasilnya, dan NVIDIA sendiri pun menandainya sebagai pengukuran awal.
Syarat-syaratnya juga perlu dicermati. Angka 30 kali lipat ini berlaku untuk jejak pemrograman agentic, yaitu skenario konteks panjang dengan kepadatan token tinggi, yang kebetulan berada tepat di rentang keunggulan arsitektur Vera Rubin; kalau diganti ke chat singkat, generasi gambar, atau embedding massal, angkanya tidak akan sebesar ini. Kesenjangan antara klaim lintas-generasi dan realisasi aktual sudah jadi pola lama di industri ini — siklus peralihan dari Hopper ke Blackwell pernah mengalami hal serupa.
"Agentic AI workloads consume 15x more tokens than a simple chat request."
Beban kerja AI agentic mengonsumsi token 15 kali lebih banyak dibanding permintaan chat sederhana.
Kalau garis waktu ini ditarik lebih panjang, gambarannya makin jelas: Dell sudah mulai menawarkan harga inferensi berbasis server Vera Rubin, sementara SpaceX berencana mengirim rak NVL72 ke orbit tahun depan untuk menguji komputasi AI di orbit. Perangkat kerasnya belum digelar secara masif, tapi hitung-hitungan di sekitarnya sudah berputar beberapa ronde. Yang benar-benar bisa memverifikasi angka 30 kali lipat ini adalah angka yang muncul dari data center masing-masing pihak, setelah verifikasi independen selesai.
Sumber: blog teknis resmi NVIDIA, dokumentasi benchmark AgentX SemiAnalysis, CocoLoop, statistik penggunaan OpenRouter; kelipatan throughput per megawatt, penurunan biaya token, dan kepadatan penempatan GPU 40% telah diverifikasi sesuai klaim resmi, sedangkan perhitungan biaya listrik merupakan estimasi kasar redaksi.