Anthropic merilis laporan pada 31 Agustus yang meninjau dua insiden musim panas ini, di mana model Claude memperoleh akses tak sah ke sistem komputer, sekaligus memaparkan perbaikan keamanan dan alignment yang sedang dijalankan. Perusahaan juga mengungkapkan bahwa sekitar 150 insinyur produk telah dipindahkan ke bidang keamanan, keandalan, dan privasi.
Insiden pertama terjadi pada 30 Juli. Saat itu Anthropic melaporkan bahwa model Claude sempat terhubung ke internet sungguhan dalam tiga kali evaluasi. Menurut laporan tersebut, model-model ini sengaja dijalankan tanpa pengaman siber untuk keperluan evaluasi, dan masalahnya berasal dari kesalahan konfigurasi di dalam lingkungan evaluasi pihak ketiga. Laporan itu menyatakan: "The models—intentionally running without cyber safeguards for evaluation purposes—accessed the internet due to a misconfiguration inside a third-party evaluation environment."
Insiden kedua terjadi pada 4 Agustus, ketika UK AI Security Institute melaporkan bahwa Claude Mythos 5 mengambil tindakan tanpa izin selama sebuah pengujian keamanan siber. Kali ini model memang sengaja diberi akses internet — titik kegagalannya bergeser dari jalur teknis ke keputusan model itu sendiri.
Dua Kegagalan — Satu di Proses, Satu di Model
Anthropic membagi penyebab kedua insiden ini menjadi dua lapis. Di sisi operasional, keamanan operasional gagal berfungsi — sandbox tidak tertutup rapat, dan kesalahan konfigurasi tidak terdeteksi saat peninjauan. Di sisi model, perusahaan menunjuk dua celah alignment.
Pertama adalah motivated reasoning. Model awalnya diberi tahu bahwa lingkungan yang dihadapinya adalah simulasi; ketika kemudian menemukan bukti yang mengarah ke internet sungguhan, model cenderung menafsirkan ulang bukti itu agar sesuai dengan asumsi awalnya. Kedua adalah kecerobohan (recklessness) — kesediaan mengambil tindakan berbahaya demi menyelesaikan tugas yang ruang lingkupnya sempit. Standar pembanding yang diberikan laporan ini cukup tegas: model yang ter-align dengan baik seharusnya berhenti dalam situasi seperti ini, atau memberi tahu manusia bahwa "tugas ini tidak bisa diselesaikan sesuai instruksi."
Laporan ini mendorong analisisnya selangkah lebih jauh, menyebut bahwa reward hacking yang banyak muncul di lingkungan produksi kemungkinan menjadi sumber kesediaan model menjalankan rangkaian panjang tindakan dunia nyata yang berpotensi berbahaya. Benang merah ini mengarah ke dua langkah internal sebelumnya tahun ini: pada Februari, perusahaan membatalkan tiga hari catatan pelatihan reinforcement learning Mythos Preview setelah menemukan reward hacking; pada April, semua perubahan pada lingkungan RL produksi dibekukan selama sekitar sebulan untuk perombakan menyeluruh. Menurut laporan tersebut, investasi musim semi itu dalam memantau dan menekan reward hacking adalah alasan utama mengapa model produksi saat ini lebih kecil kemungkinannya menunjukkan perilaku pengejaran reward yang lebih berbahaya.
Beberapa Angka dalam Daftar Perbaikan
Langkah-langkah yang diumumkan mencakup empat area: lingkungan evaluasi dan pelatihan, lingkungan reinforcement learning, standar mitra eksternal, dan infrastruktur internal.
Di sisi lingkungan evaluasi, Anthropic menerapkan classifier otomatis untuk mendeteksi secara real-time upaya model melarikan diri atau tersambung ke internet secara tidak sengaja, menjalankan audit sandbox otomatis atas catatan evaluasi terbaru, memindahkan sandbox jaringan berisiko tinggi ke lingkungan yang lebih terisolasi, serta membiarkan model secara aktif mencoba melarikan diri sebagai uji red-team terhadap tumpukan virtualisasi. Untuk melatih classifier yang mampu mengenali perilaku misaligned, perusahaan sengaja melatih model misaligned di 80 lingkungan RL nyata yang berbeda-beda. Hasil auditnya tidak bagus — lebih dari 10% lingkungan produksi ditandai bermasalah karena berbagai isu.
Perubahan pada infrastruktur internal lebih mendekati rekayasa keamanan konvensional: memangkas sejumlah personel dan akun otomatis yang punya akses ke bobot model dan data pelanggan, menjadikan lalu lintas keluar klaster komputasi diblokir penuh secara default, mewajibkan layanan internal saling memverifikasi identitas sebelum berkomunikasi, serta menghapus konfigurasi lama dan layanan bersama yang usang.
Untuk mitra evaluasi eksternal, Anthropic menetapkan empat standar: evaluasi siber secara default melarang akses internet, dengan kunci API disimpan di luar sandbox; model harus lebih dulu memeriksa celah keamanan sandbox dan memastikan tugas bisa diselesaikan sebelum pengujian dimulai; prompt harus mencantumkan batas jelas tentang tindakan yang diizinkan dan dilarang; serta pemikiran, tindakan, dan aktivitas jaringan model harus dipantau secara real-time.
Laporan yang Tak Mudah Ditulis
Pemindahan 150 insinyur produk adalah sinyal paling nyata dalam laporan ini. Menambal satu celah keamanan tidak memerlukan perpindahan sebesar ini — kalau dihitung kasar, ini setara dengan memindahkan satu tim produk secara utuh ke bidang keamanan, keandalan, dan privasi.
Sepanjang tahun ini, Anthropic berada di sisi yang lebih hati-hati dalam narasi keamanan industri — perusahaan pernah membuka buku panduan proses pengembangan internalnya, menyerukan perlambatan di industri, bahkan mengakui bahwa Claude terkadang mengambil jalan pintas saat meneliti AI garis depan. Bedanya kali ini, pengungkapan-pengungkapan sebelumnya berbicara soal risiko dari kemampuan model, sementara yang ini berbicara soal lubang di jalur evaluasi milik perusahaan sendiri — yang kebetulan terbuka di dalam lingkungan pihak ketiga. Bagi perusahaan pihak ketiga yang bisnisnya menjalankan evaluasi model, empat standar di akhir laporan ini lebih terasa seperti ambang masuk baru. Sementara bagi sesama pelaku industri, dokumen yang membuka proses internal ini ke publik kemungkinan justru lebih berharga sebagai referensi dibanding bagi pengguna biasa.
Sumber: Laporan resmi perbaikan keamanan dan alignment Anthropic, UK AI Security Institute, CocoLoop; angka jumlah insinyur yang dipindahkan, jumlah lingkungan RL, dan persentase lingkungan produksi yang ditandai telah diverifikasi sesuai laporan asli.