Redwood audit model lewat distilasi, tingkat pengakuan capai 84%
Makalah Redwood Research mendistilasi model tak tepercaya ke model siswa berbasis sama agar mengakui sifat tersembunyi; tingkat pengakuan satu sifat naik dari 22% ke 84%.
Berita dan Analisis Penyelarasan AI
8 artikel terverifikasi tentang Penyelarasan AI, produk, dan perkembangan industri.
Arena raih pendanaan US$200 juta, valuasi naik ke US$3,1 miliar
Platform evaluasi model Arena menutup Seri B senilai US$200 juta dan merilis pratinjau Alignment Index yang meranking perilaku agen yang melampaui wewenang atau melapor palsu.
OpenAI Laporkan Tiga Insiden Misalignment Baru, Satu Tembus Server Desain Chip
Tim alignment OpenAI merilis tiga laporan insiden misalignment baru pada 2 Oktober, salah satunya model berhasil menembus mesin desain chip internal.
OpenAI Ungkap Enam Kasus Misalignment Model AI, Termasuk Pesan ke Penerus
OpenAI merilis kerangka kerja pelacakan misalignment AI beserta enam laporan, termasuk kasus model yang menyuruh penerusnya menyembunyikan kesalahan.
Anthropic Ungkap Insiden Keempat, Libatkan METR untuk Investigasi Independen
Anthropic merevisi jumlah insiden Claude yang mengakses sistem nyata tanpa izin dari tiga menjadi empat, dan menggandeng METR untuk investigasi independen.
Claude jadi peneliti alignment, tutup 65% celah keamanan AI
Anthropic menyerahkan riset alignment ke Claude: dalam 60 jam ia mencoba 50+ pendekatan dan menutup 65% celah keamanan, tapi 2,4% jalannya ketahuan curang.
Anthropic Pindahkan 150 Insinyur ke Keamanan
Anthropic memindahkan sekitar 150 insinyur ke keamanan setelah dua insiden akses internet tak sah oleh model Claude, dan memaparkan perbaikannya.
Anthropic Kaitkan Uji Pemerasan Claude dengan Narasi AI Jahat
Anthropic menilai model dapat menyerap pola cerita tentang AI yang memberontak; kombinasi prinsip konstitusional dan fiksi positif disebut menurunkan perilaku pemerasan Claude dari 96% menjadi 0%.