OpenAI memamerkan data pengujian pertama untuk Jalapeño, chip inferensi buatannya sendiri, di ajang konferensi Hot Chips. Chip yang dikembangkan bersama Broadcom ini punya daya nominal 700 watt, dengan daya berkelanjutan hasil pengukuran ditekan di bawah 550 watt. Pembandingnya adalah Nvidia GB200 NVL72 dan GB300 NVL72 — dua sistem yang masing-masing akseleratornya punya daya nominal 1.200 watt dan 1.400 watt.
Pengujian menggunakan rangkaian InferenceX yang dirilis publik oleh SemiAnalysis, dengan tiga model: GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 (1 triliun parameter) dari Moonshot AI. Menurut hasil yang dipaparkan OpenAI, pada throughput puncak, output kerja AI per kilowatt mencapai 1,5 hingga 1,9 kali lipat dibanding sistem pembanding, latensi end-to-end 1,7 hingga 3,6 kali lebih rendah, dan performa di skenario interaktif tinggi 2,1 hingga 4,1 kali lebih baik. Pada level jeda antar-token tercepat yang pernah dicapai GB300, selisih throughput per kilowatt versi OpenAI melebar hingga 8,6 sampai 104,3 kali.
Spesifikasi satu chip: 13,4 PFLOPS (presisi MXFP4), HBM4 216GB, dan bandwidth memori 15,4TB/s. Ketika 128 chip dirangkai jadi satu rak, totalnya mencapai 1,7 EFLOPS, HBM4 27,5TB, dan bandwidth mendekati 2PB/s.
Richard Ho, kepala divisi hardware OpenAI, menyampaikan kesimpulannya secara terus terang di acara tersebut:
"The bottom line is that the results show a very, very significant performance advance over state of the art." (Intinya, hasil ini menunjukkan kemajuan performa yang sangat, sangat signifikan dibanding standar tertinggi saat ini.)
Bagaimana batas 700 watt ini ditentukan
Jalapeño tidak digunakan untuk melatih model, hanya untuk inferensi. Satu batasan ini saja mengubah total alokasi anggaran desain chip. Pelatihan dibatasi oleh sinkronisasi gradien dan bandwidth interkoneksi antar-node, sementara inferensi dibatasi oleh kapasitas memori, tingkat hit KV cache, dan waktu respons per permintaan. Kombinasi HBM4 216GB dengan 13,4 PFLOPS jadi masuk akal dari sudut pandang ini — kepadatan komputasi tidak dikejar terlalu agresif, tapi memori dan bandwidth disediakan dengan sangat lapang.
Penjelasan resmi OpenAI soal filosofi desainnya: "We designed Jalapeño to minimize data movement and communication delays" (Kami mendesain Jalapeño untuk meminimalkan pergerakan data dan keterlambatan komunikasi), dengan langkah konkret berupa penempatan dan lokalisasi KV cache secara eksplisit untuk menghilangkan hambatan di tahap prefill dan tahap komunikasi.
Hitung-hitungan kasarnya: dalam anggaran daya rak yang sama sebesar 1.400 watt, bisa muat dua chip Jalapeño atau satu chip GB300. Kalau klaim throughput per kilowatt 1,5 hingga 1,9 kali ini benar, selisih output pada daya yang sama akan makin melebar. Bagi perusahaan yang menghabiskan sebagian besar komputasinya untuk inferensi, yang dihemat bukan cuma biaya listrik, tapi juga kapasitas yang selama ini hilang karena kelangkaan chip.
Proses pengembangan chip ini sendiri juga layak dicatat: dari tahap konsep sampai tape-out hanya butuh sembilan bulan, dan proses desainnya dibantu AI.
Tiga model benchmark, dua di antaranya dari China
Pilihan model pembanding ini cukup menarik. GPT-OSS 120B adalah model open-weight milik OpenAI sendiri, sementara DeepSeek R1 670B dan Kimi K2.5 masing-masing berasal dari DeepSeek dan Moonshot AI. Akselerator buatan sendiri dari perusahaan asal AS ini diuji memakai open weight dari dua tim asal China sebagai tolok ukur.
Alasannya sederhana: hasil inferensi model closed-source tidak bisa direproduksi pihak ketiga. Kalau vendor hardware ingin benchmark-nya dipercaya, satu-satunya pilihan adalah memakai weight yang bisa diunduh dan dijalankan sendiri oleh siapa pun. Model open-source pun bergeser posisinya, dari sekadar "pengejar" menjadi tolok ukur publik untuk pengujian hardware. Strategi tim-tim China merilis weight secara terbuka selama dua tahun terakhir demi memperluas ekosistem kini mulai membuahkan hasil di tempat yang tak terduga.
Beberapa hal yang perlu dilihat dengan hati-hati
The Register mengingatkan agar data ini tidak ditelan mentah-mentah: perbandingannya tidak menyertakan optimisasi seperti speculative decoding, dan metodologi pengujiannya belum bisa dibilang lengkap. Sebagai perbandingan, sistem Helios milik AMD punya bandwidth memori 15% lebih rendah dari Jalapeño, tapi daya komputasinya 1,46 hingga 2 kali lebih tinggi. GPU Nvidia dan AMD juga masih unggul dalam hal programabilitas — chip inferensi khusus mendapat efisiensi dengan menukar fleksibilitas.
Catatan yang lebih penting: perbandingan ini belum memasukkan Vera Rubin, yang baru mulai dikirim. Jalapeño diuji melawan generasi sebelumnya, Blackwell, sementara Vera Rubin sendiri baru akan dipasang dalam jumlah "sangat kecil" di fasilitas milik OpenAI sendiri pada akhir 2026, dengan penerapan skala besar baru terjadi di 2027. Begitu benar-benar beroperasi nanti, lawan tandingnya sudah bukan lagi GB300.
Dari sisi ritme pengembangan, OpenAI juga tidak berencana melambat: generasi kedua sudah dalam tahap pengembangan mendalam, dan generasi ketiga sedang dalam tahap desain.
Sumber: pengumuman resmi OpenAI, TechCrunch, CocoLoop, The Register, Tom's Hardware; metodologi benchmark InferenceX, spesifikasi chip tunggal, dan angka daya telah diverifikasi silang dengan pemberitaan publik.