Chief Financial Officer OpenAI, Sarah Friar, mengatakan pada 8 September di konferensi Communacopia milik Goldman Sachs bahwa perusahaannya telah menggunakan model-model canggih buatannya sendiri untuk mendesain chip, dan bahwa chip inferensi buatan sendiri, Jalapeno, hanya membutuhkan waktu 9 bulan dari tahap desain hingga tape-out. Ia juga menyebut desain chip, ilmu hayati (life sciences), dan layanan keuangan sebagai tiga industri yang menjadi prioritas ekspansi perusahaan, dengan alasan permintaan AI yang dirancang khusus untuk alur kerja tertentu di sektor-sektor tersebut sedang meningkat.
Jalapeno adalah chip inferensi yang dikembangkan bersama oleh OpenAI dan Broadcom, diumumkan ke publik pada Juni tahun ini, dengan tujuan menjalankan model milik OpenAI sendiri dengan biaya lebih rendah. Menurut pernyataan resmi, sampel awalnya menghemat biaya sekitar setengah dibanding GPU AI pada umumnya. Jadwal pengiriman belum diumumkan.
Kecepatan 9 bulan ini tergolong singkat untuk chip khusus (custom chip). Di industri, membawa sebuah ASIC inferensi baru dari arsitektur final hingga tape-out biasanya memakan waktu satu setengah hingga dua tahun. Friar mengaitkan percepatan ini dengan model buatan OpenAI sendiri, tetapi tidak merinci tahap mana yang dikerjakan oleh model tersebut — apakah layout dan routing, verifikasi, atau eksplorasi arsitektur di tahap yang lebih awal.
Membandingkan Luna dengan GLM-5.3
Bagian harga adalah bagian yang lebih konkret dari pernyataannya kali ini. Friar mengatakan setelah pemangkasan harga 80%, harga input Luna turun menjadi 0,20 dolar AS per juta token dan harga output 1,20 dolar AS, dengan penggunaan yang sejak itu naik sekitar 10 kali lipat. Ia bahkan mengarahkan perbandingan itu ke model open-weight asal China:
"If you're deploying Luna and compare that to (Z.ai's) GLM 5.3, for example, on a cloud layer, we are cheaper."
Jika Anda men-deploy Luna dan membandingkannya dengan GLM 5.3 (milik Z.ai), misalnya, di lapisan cloud, harga kami lebih murah.
Dasar perbandingan ini perlu dicermati. Yang dibandingkan Friar adalah "GLM-5.3 yang di-deploy di lapisan cloud" — yakni harga per token sebenarnya dari model open-weight tersebut setelah dihosting oleh pihak cloud ketiga — yang berbeda dari harga API resmi Zhipu sendiri. Harga output resmi GLM-5.3 saat diluncurkan adalah 4,4 dolar AS per juta token. Model yang sama bisa berbeda harga hingga berkali-kali lipat tergantung apakah dijalankan lewat API resminya sendiri atau lewat cloud pihak ketiga, karena yang terakhir harus menghitung biaya okupansi GPU, memori, dan tingkat pemakaian bersamaan (concurrency). OpenAI tidak mengungkapkan dasar perbandingan secara lengkap, maupun asumsi throughput yang digunakan.
Tekanan Nyata bagi Model Open-Weight asal China
Narasi ini menyasar skenario perusahaan yang meng-hosting sendiri modelnya. Selama dua tahun terakhir, alasan utama perusahaan di dalam maupun luar China memilih model open-weight ada dua: data tidak keluar dari lingkungan sendiri, dan perhitungan biaya yang lebih murah jika di-hosting sendiri. Alasan pertama tidak terpengaruh, tetapi alasan kedua kini tergerus oleh pemangkasan harga dari pihak closed-source. Ketika harga output Luna ditekan hingga 1,20 dolar AS, dan di baliknya ada chip inferensi buatan sendiri yang terus memangkas harga, hitungan "hosting sendiri lebih hemat" perlu dihitung ulang — terutama bagi tim dengan concurrency rendah dan utilisasi GPU yang sulit dimaksimalkan.
Perlu digarisbawahi, angka yang diberikan Friar adalah sudut pandang penjual. Pihak ketiga belum melakukan perhitungan harga per token secara publik antara Luna dan GLM-5.3 dalam kondisi throughput yang sama, dan pihak Zhipu juga belum menanggapi perbandingan ini.
Sumber: Reuters, CocoLoop, Qz; sejumlah laporan disilangkan untuk memverifikasi harga input/output Luna dan besaran pemangkasan harganya, siklus desain serta rasio biaya sampel Jalapeno, dan pernyataan Friar dalam bahasa Inggris.