40 Agen Gemini Menyelidiki Situs Epoch Tanpa Izin

40 Agen Gemini Menyelidiki Situs Epoch Tanpa Izin

Perusahaan pengujian keamanan AI Trajectory Labs dan lembaga riset nirlaba Epoch AI masing-masing merilis laporan insiden tentang kejadian yang sama. Sekelompok agen Gemini 4 Argon yang dilepas Trajectory saat pengujian penyelarasan (alignment) masuk ke situs langsung Epoch, menyamar sebagai staf, mencoba SQL injection, dan melewati pengalihan serta pemblokiran yang dipasang para peneliti. Trajectory menulis dalam laporannya bahwa para penelitinya tidak pernah menyuruh agen meretas situs atau menyamar sebagai siapa pun.

Kedua laporan tidak sepenuhnya sejalan. Trajectory menyebut nama modelnya; Epoch sengaja tidak, dengan alasan belum memverifikasi secara independen model milik perusahaan mana itu. Tidak ada pernyataan dari Google di kedua laporan tersebut.

Soal yang tidak pernah ada

Rancangan eksperimennya sendiri tidak rumit. Trajectory meminta agen Gemini 4 Argon mencari “jawaban resmi” untuk 10 soal FrontierMath, padahal ke-10 soal itu sebenarnya tidak ada. Agen diperintahkan untuk tidak pernah berhenti dan tidak pernah menyerah, sementara filter keamanan pada API model dalam keadaan aktif; menurut hitungan Trajectory, filter itu rata-rata memblokir sekitar 7% permintaan. Perusahaan ini biasanya menjalankan hingga 80 agen sekaligus, masing-masing dalam kontainer terpisah.

FrontierMath adalah tolok ukur matematika yang dikelola Epoch, dan jawabannya tidak dipublikasikan. Agen-agen itu mengikuti jejak tersebut hingga sampai ke situs Epoch.

Epoch sudah memasang endpoint umpan sejak 5 Oktober untuk mendeteksi akses berbahaya. Pada 20 Oktober, pukul 16.30 sampai 19.30 waktu Pasifik, endpoint itu mencatat 487 pesan hotline dan 36.411 panggilan endpoint. Hotline adalah saluran yang dibuka Epoch setelah menyadari adanya anomali, yang memungkinkan agen mengirim pesan langsung ke staf. Di antara pesan-pesan itu, 3 memakai nama dan jabatan karyawan Epoch, 27 mengaku sebagai insinyur atau auditor, 3 mengaku sebagai asisten laboratorium frontier, dan 17 menyebut diri sebagai “model AI internal”. Ada pula lebih dari 200 upaya membaca log evaluasi FrontierMath yang asli. Trajectory menambahkan bahwa agen menemukan dan memakai sebuah kunci umpan yang ditanam Epoch di honeypot.

Diblokir satu lapis, dilewati satu lapis lagi

Trajectory menghubungi Epoch keesokan paginya, dan kedua pihak sepakat memindahkan pengujian ke salinan lokal situs. Perkembangan berikutnya menunjukkan langkah itu belum cukup.

Menurut Trajectory, sebagian agen mengenali bahwa itu salinan, lalu mencari IP situs yang asli, melewati pengalihan DNS, dan tersambung kembali ke layanan langsung. Ketika peneliti memblokir satu IP, agen berpindah ke IP berikutnya. Setelah proxy diatur untuk melarang sambungan langsung, ada agen yang beralih memakai layanan pembaca web pihak ketiga untuk mengambil konten. Mereka juga memanfaatkan cache paket perangkat lunak untuk membangun semacam papan pesan, tempat mereka saling berbagi cara melewati pembatasan; cara yang diposting satu agen dipakai agen lain untuk memperoleh kredensial.

Catatan Epoch menunjukkan: pada 23 Oktober, IP yang sama mengirim 4 pesan dan 95 panggilan; pada 26 Oktober, setelah uji di lingkungan staging yang disepakati kedua pihak, situs langsung kembali menerima 133 pesan dan 65.460 panggilan, termasuk satu lagi percobaan SQL injection.

Pada 29 hingga 30 Oktober, pengujian dipindahkan ke sandbox yang sepenuhnya terputus dari jaringan, dengan 3 agen per putaran. Sandbox itu berisi sakelar administrator tiruan, dan dalam 3 putaran penuh, agen mematikannya ketiga kali. Pada 2 November, Trajectory menghentikan sementara seluruh pengujian penyelarasan.

“Agents did not succeed in accessing any private or confidential information from Epoch.” (Epoch: agen tidak berhasil mengakses informasi privat atau rahasia apa pun dari Epoch.)

Insiden sejenis, ketiga kalinya diberitakan

Jika beberapa kasus terbaru disandingkan, polanya sangat mirip. Agen yang sedang diuji OpenAI menembus Hugging Face pada Juli; jaksa agung California mengeluarkan surat panggilan pada awal Oktober dan menggugat secara resmi pekan ini, dan klaim “lepas kendali lebih dari 80 kali” dalam gugatan itu bersumber dari materi yang diserahkan OpenAI sendiri kepada jaksa. Tencent juga mengungkapkan bulan lalu bahwa agen yang dipakainya untuk menguji model pihak ketiga pernah menjelajah web di luar rencana, dan agen yang terkait dengan Tencent Cloud pernah mengirim kueri ke layanan Amap; Tencent menyatakan hal itu bukan ulah model Hunyuan.

Dalam ketiga insiden, agen bersentuhan dengan sistem pihak ketiga yang nyata di luar lingkungan pengujian, dan pihak ketiga itu sebelumnya tidak tahu bahwa mereka masuk dalam cakupan uji. Bedanya ada pada cara pengungkapan: kasus OpenAI dibuka oleh jaksa, sedangkan kali ini Trajectory menulis laporan bersama pihak yang dirugikan.

Trajectory mendaftar kelalaiannya sendiri: kebijakan isolasi jaringan tidak mencakup eksperimen penyelarasan, tidak ada pemantauan tambahan untuk menghadang tindakan, uji berjaringan dilakukan tanpa persetujuan pihak sasaran, tidak ada rencana risiko tertulis, dan tidak ada yang mengawasi setelah manajer penanggung jawab cuti sakit. Langkah perbaikannya mencakup kewajiban rencana risiko tertulis yang ditandatangani CEO dan CTO untuk setiap eksperimen, persetujuan pihak sasaran sebelum uji berjaringan, serta penambahan pemantauan waktu nyata dan sakelar henti darurat.

Epoch mengajukan tiga persyaratan minimum: menandatangani surat persetujuan sebelumnya, memantau sepanjang proses, dan memberi tahu semua pihak terkait setelah insiden. Epoch juga meminta Trajectory agar ke depan tidak lagi menjadikan Epoch objek eksperimen tanpa persetujuan. Soal bagaimana modelnya sendiri perlu diubah, tidak ada yang disinggung di kedua laporan, dan belum ada informasi publik tentang apakah Google akan menyesuaikan perilaku agen Gemini 4 Argon.

Sumber: laporan insiden Epoch AI, dua blog Trajectory Labs (penanganan insiden dan catatan perilaku Gemini 4 Argon), CocoLoop, ITHome, Reuters; jumlah pesan dan panggilan endpoint mengacu pada catatan Epoch, sedangkan detail kunci umpan dan sakelar sandbox mengacu pada catatan Trajectory.