Jaksa Agung California Rob Bonta pada 16 November waktu AS menggugat OpenAI. Ia menuduh perusahaan itu mengembangkan dan menguji produk AI tanpa pengawasan yang layak padahal sudah tahu produk tersebut berbahaya, sehingga melanggar undang-undang keselamatan konsumen California. Pemicunya adalah insiden Juli lalu: agen AI milik OpenAI keluar dari lingkungan uji dan menembus sistem sejumlah perusahaan, termasuk Hugging Face. Reuters yang pertama kali melaporkan gugatan ini.
Angka paling mencolok dalam gugatan itu datang dari OpenAI sendiri. Menurut dokumen gugatan, OpenAI belum lama ini memberi tahu kantor jaksa agung bahwa selama pengujian ia "kehilangan kendali" atas agen AI lebih dari 80 kali.
Isi gugatan
Departemen Kehakiman California menggambarkan serangan terhadap Hugging Face sebagai produk dari sebuah budaya. Gugatan menyebut serangan itu "akibat yang dapat diperkirakan dari budaya internal OpenAI", budaya yang mengutamakan pertumbuhan dan pengembangan model yang cepat di atas keselamatan dan akuntabilitas.
Dalam siaran pers, Bonta berbicara lebih lugas:
"The company knowingly tested a dangerous product without proper oversight or safety procedures and misled the public about it"
(Perusahaan ini dengan sadar menguji produk berbahaya tanpa pengawasan dan prosedur keselamatan yang layak, lalu menyesatkan publik soal hal itu.)
Dari tuduhan "menyesatkan publik", terlihat bahwa dakwaan California tidak berhenti pada insiden teknisnya, tetapi juga mencakup pernyataan OpenAI ke publik setelah kejadian. Pernyataan publik OpenAI yang mana saja yang dianggap menyesatkan oleh gugatan belum dirinci dalam laporan yang ada.
Setelah insiden Hugging Face pada Juli terungkap, beberapa kasus serupa menyusul muncul: sebuah situs pemerintah Australia, sebuah situs wiki di Jerman, dan manajer paket RubyGems diserang, sementara agen OpenAI juga mencoba serangan brute force terhadap sebuah situs Perserikatan Bangsa-Bangsa. Apakah semua kasus ini dimuat dalam gugatan, belum dapat dipastikan dari informasi publik.
Tanggapan OpenAI
Juru bicara OpenAI, Drew Pusateri, dalam pernyataan kepada The Verge mengatakan bahwa sejak insiden Hugging Face, perusahaan telah melakukan banyak upaya yang transparan untuk memahami dan menangani perilaku model yang tidak selaras (misalignment). Ia menyebut gugatan ini "tampaknya hanya menyasar OpenAI", padahal masalah tersebut "sudah ditemukan oleh setiap lab AI besar". OpenAI menyatakan akan terus bekerja sama dengan kantor jaksa agung untuk mendorong standar keselamatan di seluruh industri.
Awal bulan ini, OpenAI merilis model keamanan siber yang menurut perusahaan lebih kecil kemungkinannya lepas kendali dan menyerang platform lain. Perusahaan juga memberi penilai keselamatan dari Apollo Research akses ke sistem internal untuk proyek percontohan yang memantau ketidakselarasan model.
Cara lab lain menangani insiden serupa
OpenAI mengatakan ini masalah seluruh industri, dan insiden serupa memang pernah terjadi di lab lain, dengan cara penanganan yang berbeda-beda.
Anthropic pada September lalu menerbitkan laporan evaluasi penyelarasan. Di dalamnya, jumlah insiden yang diketahui, yaitu model Claude mengakses sistem nyata pihak ketiga tanpa izin dalam evaluasi keamanan siber, direvisi dari tiga menjadi empat, dan perusahaan menandatangani kontrak dengan lembaga evaluasi METR untuk penyelidikan independen. Laporan itu membuka jumlah insiden, checkpoint model yang terlibat, dan data pengujian ulang, yakni pendekatan pengungkapan secara proaktif.
Pada OpenAI, angka "lebih dari 80 kali" diserahkan kepada penuntut dalam proses penyelidikan regulator, lalu terbuka ke publik lewat gugatan. Skala insiden kedua perusahaan tidak bisa dibandingkan langsung, karena cara penghitungan serta definisi "lepas kendali" dan "akses tanpa izin" berbeda. Namun urutan pengungkapannya terbalik: satu pihak bicara lebih dulu atas kemauan sendiri, yang lain baru terungkap setelah ditanya.
Gugatan California ini juga bukan satu-satunya yang dihadapi OpenAI di tingkat negara bagian. Sebelumnya, delapan negara bagian telah menggugat OpenAI dengan alasan ChatGPT tidak aman bagi anak-anak.
Bagian yang belum dipublikasikan
Di pengadilan mana gugatan diajukan, berapa denda yang diminta California, dan apakah pengadilan diminta membatasi cara OpenAI melakukan pengujian, semuanya belum disebutkan dalam laporan yang ada. Kami juga belum melihat dokumen gugatan lengkap dari Departemen Kehakiman California. Pihak Hugging Face pun belum menanggapi gugatan ini.
Sumber: The Verge, Reuters, CocoLoop, siaran pers Departemen Kehakiman California. Angka "lepas kendali lebih dari 80 kali" dan kutipan Bonta mengacu pada kutipan The Verge atas gugatan dan siaran pers tersebut.