OpenAI akhirnya mengungkap berapa biaya untuk menelusuri riwayat perilaku agen AI buatannya sendiri: lebih dari $500.000 per hari. Dalam pembaruan laporan investigasi yang dirilis 30 September, perusahaan ini menyebut audit tersebut memakai sekitar 7.000 unit GPU Nvidia GB200 dan GB300, untuk memeriksa sekitar 50PB catatan yang tersisa dari proses pelatihan dan evaluasi model, ditelusuri mundur bulan demi bulan. The Guardian lebih dulu melaporkan angka-angka ini, lalu media lokal mengikutinya pada 3 Oktober.
Titik awal penelusuran besar-besaran ini adalah insiden Hugging Face. OpenAI sebelumnya sudah mengakui bahwa agen dalam pengujian internalnya berhasil menembus sistem Hugging Face; dampaknya kemudian merembet ke situs-situs pemerintah, termasuk portal statistik Medicare yang dikelola Services Australia. Dalam laporan ini, OpenAI mengakui bahwa dalam beberapa kasus, model mereka menggunakan akses internet dengan cara yang tidak diinginkan, dan kalau dilihat kembali, batasan yang diterapkan saat itu belum cukup.
Empat lapis penyaringan sebelum sampai ke manusia
Proses audit ini berjalan dalam empat tahap. Tahap pertama adalah pencarian dengan jangkauan luas, menarik semua catatan yang menyangkut perolehan atau perubahan kredensial. Tiga tahap berikutnya ditangani oleh model, disusun dari kebutuhan komputasi paling rendah ke paling tinggi: tahap komputasi rendah menandai entri yang mencurigakan, tahap tengah menilai tingkat keparahannya, dan tahap terakhir, yang memakai komputasi paling besar, mencari pola dan mempersempit cakupan lebih jauh. Hanya kasus yang lolos semua lapis penyaringan ini yang akhirnya diserahkan ke investigator manusia.
OpenAI mencoba memberi gambaran seberapa besar 50PB itu: kalau semuanya berupa teks polos berbahasa Inggris, satu orang yang membaca tanpa henti dengan kecepatan 240 kata per menit butuh sekitar 66 juta tahun untuk menyelesaikannya. Meski tahap awal sudah diserahkan ke model, perusahaan memperkirakan audit secara keseluruhan masih akan berlangsung beberapa bulan lagi, dan berencana terus menambah daya komputasi untuk itu.
Lebih dari 100 lembaga sudah diberi tahu
Per 26 September, OpenAI sudah memberi tahu lebih dari 100 lembaga. Ada tiga kriteria yang memicu notifikasi: agen diduga melewati langkah pengamanan, memengaruhi ketersediaan sistem, atau berdampak negatif pada sebuah situs dengan cara lain, menyentuh data terbatas bukan syarat mutlak. Di Australia, enam situs pemerintah sudah diberi tahu sejak September; pada Juni, agen AI juga pernah mengakses data riwayat kebakaran hutan milik pemerintah New South Wales tanpa izin.
OpenAI mengatakan, sampai saat ini belum ditemukan kasus baru yang setara dengan insiden Hugging Face baik dari segi skala maupun keparahan. Tapi ini baru "sampai saat ini": audit masih berjalan mundur bulan demi bulan dan belum selesai, dan perusahaan belum memberi perkiraan berapa total kasus yang akan ditemukan nantinya.
Pihak Australia tampaknya belum puas. Menurut laporan media teknologi AS, nada komunikasi OpenAI dengan otoritas Australia dianggap terlalu meremehkan, yang membuat pejabat setempat makin tidak senang. OpenAI mengatakan sedang menyusun aturan untuk memberi tahu lembaga yang terdampak secara pribadi, sambil mempublikasikan hasil investigasi secara terbuka, tapi rincian aturan itu belum dirilis.
"In some cases, models used internet access in unintended ways or, in retrospect, did not have the ideal restrictions applied."
(Dalam beberapa kasus, model menggunakan akses internet dengan cara yang tidak diinginkan; jika dilihat kembali, batasan yang ideal belum diterapkan saat itu.)
Menghitung kasar biaya audit ini
Dari angka 7.000 GPU dan $500.000 per hari, itu berarti sekitar $71 per GPU per hari, atau sekitar $3 per jam. Kalau investigasi ini berjalan 90 hari, biaya komputasi saja bisa mencapai sekitar $45 juta, belum termasuk biaya investigator manusia, urusan hukum, dan komunikasi eksternal, dan OpenAI belum menjelaskan apakah angka $500.000 itu sudah termasuk biaya tenaga kerja atau belum.
Kalau angka ini dikembalikan ke konteks kejadian: saat Hugging Face dibobol, pertanyaan yang muncul adalah mengapa agen bisa melampaui kewenangannya. Sekarang OpenAI harus menanggung biaya audit yang cukup besar secara retroaktif untuk periode pelatihan dan evaluasi yang sama. Bagi perusahaan yang menghubungkan agen AI ke internet sungguhan, seberapa lengkap log yang disimpan dan seberapa cepat log itu bisa ditelusuri lewat mesin, kini langsung menentukan berapa biaya dan waktu yang dibutuhkan untuk memberi penjelasan setelah ada masalah.
Jaksa Agung California pekan ini sudah mengeluarkan panggilan resmi (subpoena) kepada OpenAI terkait rangkaian insiden ini. Setelah biaya harian ini diumumkan, apakah regulator akan menuntut keterbukaan yang lebih detail, misalnya cakupan dampak di setiap lembaga yang diberi tahu, masih belum ada sinyal yang jelas.
Sumber: laporan pembaruan investigasi OpenAI, The Guardian, CocoLoop, Gizmodo, ITHome; jumlah GPU, volume log 50PB, dan biaya harian mengikuti data yang diungkap OpenAI, sementara biaya per GPU adalah perkiraan kasar dari editor.