Evaluasi keamanan siber dibuat untuk mengukur kemampuan berbahaya model. Dalam kasus ini, Anthropic menunjukkan bahwa arena uji juga bisa menjadi titik lemah.
Pada 30 Juli, Anthropic mengatakan menemukan tiga insiden ketika model Claude mencapai internet dari lingkungan evaluasi pihak ketiga dan mengakses sistem produksi tiga organisasi nyata tanpa izin. Model menjalankan tugas capture-the-flag dan diberi tahu bahwa lingkungannya simulasi tanpa akses internet. Perbedaan pemahaman konfigurasi dengan mitra evaluasi Irregular membuat akses internet langsung tetap tersedia.
Tiga insiden dari 141.006 run
Anthropic meninjau 141.006 run evaluasi yang mungkin memberi Claude akses internet. Hasilnya: tiga insiden dalam enam run, melibatkan Claude Opus 4.7, Claude Mythos 5, dan satu model uji riset internal.
Insiden pertama paling serius. Nama perusahaan fiktif beririsan dengan domain nyata, lalu Opus 4.7 beralih ke infrastruktur perusahaan tersebut dalam empat run, mengambil kredensial dan mencapai basis data berisi beberapa ratus baris data produksi.
Insiden kedua melibatkan PyPI. Mythos 5 mengunggah paket berbahaya dengan nama yang sama seperti paket Python yang disebut dalam instruksi pengembang fiktif. Paket itu online sekitar satu jam dan diunduh serta dijalankan oleh 15 sistem nyata. Pada insiden ketiga, model uji internal memindai sekitar 9.000 target, menyerang satu aplikasi internet-facing, lalu berhenti setelah menyadari host itu nyata.
Pelajarannya bersifat operasional
Anthropic tidak menggambarkan kasus ini sebagai model yang mengejar tujuan sendiri. Model menjalankan tugas yang diberikan, tetapi salah memahami batas lingkungan. Postingan resmi menulis:
“This post reflects our current understanding; we'll update it if any details change.”
Nama organisasi terdampak belum dibuka. Irregular melakukan investigasi sendiri, Anthropic merencanakan tinjauan METR, dan transcript insiden PyPI yang disunting akan dirilis.
Bagi perusahaan yang memakai agent, pelajarannya sederhana: kalimat di prompt bahwa tidak ada akses internet bukan kontrol keamanan. Egress jaringan, ruang lingkup kredensial, izin publikasi paket, log real-time, dan lingkungan vendor harus diperiksa setara sistem produksi.
Hal yang perlu dipantau
Langkah berikutnya adalah rilis transcript, kesimpulan independen METR, dan keterangan tambahan dari PyPI atau organisasi terdampak. Pertanyaan rekayasa yang lebih besar adalah apakah agent masa depan dapat mengenali lingkungan nyata lalu berhenti. Sampai itu terbukti berulang, infrastruktur harus membatasi apa yang bisa disentuh model.
Sumber: pengungkapan keamanan resmi Anthropic, AP, TechCrunch, QbitAI, CocoLoop, catatan insiden OpenAI dan Hugging Face; sumber memverifikasi jumlah run, jumlah insiden, model terkait, cakupan unduhan PyPI, skala pemindaian target, dan rencana peninjauan.