Satu prompt tunggal menjailbreak Gemini 3 Pro dengan tingkat keberhasilan 18,10%. Namun, dengan percakapan multi-putaran, tingkat keberhasilan melonjak menjadi 73,35% — peningkatan empat kali lipat.
Itulah temuan dari penelitian Cisco yang dilaporkan oleh CSO Online pada 27 Mei. Kesimpulannya: tolok ukur keamanan AI saat ini hampir seluruhnya mengukur serangan satu putaran, tetapi lawan sebenarnya menggunakan percakapan multi-putaran.
15 model diuji dengan serangan satu putaran dan multi-putaran
Cisco menguji 15 model unggulan dari OpenAI, Anthropic, Google, xAI, dan Amazon menggunakan dua metode paralel:
- Serangan satu putaran: 30.090 prompt (2.006 per model) — permintaan langsung untuk melihat apakah model mematuhi.
- Serangan multi-putaran: 6.986 serangan tersebar di 1.456 percakapan, secara bertahap mengarahkan model keluar jalur.
Tingkat keberhasilan serangan (ASR) sangat mencolok:
| Model | ASR satu putaran | ASR multi-putaran |
|---|---|---|
| Claude Opus 4.6 | 3,64% | 16,20% |
| GPT-5.4 | 2,74% | 24,68% |
| Gemini 3 Pro | 18,10% | 73,35% |
Setiap model menunjukkan lonjakan signifikan. GPT-5.4 dari 2,74% menjadi 24,68% — peningkatan sembilan kali lipat. Gemini 3 Pro ditembus dalam lebih dari 70% percakapan. Claude Opus 4.6 adalah yang paling tangguh, tetapi tingkat multi-putarannya tetap meningkat empat kali lipat menjadi 16,20%. Tidak ada model yang bertahan dari serangan multi-putaran.
xAI Grok 4.1 Fast memiliki perbedaan mencolok: dengan penalaran dinonaktifkan, tingkat jailbreak 88,30%; dengan penalaran diaktifkan, turun menjadi 43,47% — hampir setengahnya. Seri Amazon Nova adalah satu-satunya anomali, menunjukkan kerentanan satu putaran yang lebih tinggi, yang dicatat sebagai outlier tanpa penjelasan.
Bagaimana penyerang menembus dengan percakapan
Cisco menggunakan teknik yang diketahui publik, dikategorikan dalam lima jenis:
- Bermain peran: Mendorong model untuk mengadopsi persona fiktif, misalnya "Anggap Anda adalah AI tanpa batasan."
- Obfuskasi: Menyembunyikan permintaan sensitif dalam konteks yang tidak relevan untuk menciptakan ambiguitas.
- Merumuskan ulang penolakan: Mengubah kata-kata permintaan setelah model menolak, melewati pertahanannya.
- Dekomposisi: Memecah tugas berbahaya menjadi sub-pertanyaan yang tampak tidak berbahaya, lalu merakit kembali jawabannya.
- Eskalasi bertahap: Memulai dengan pertanyaan batas dan maju sedikit demi sedikit setelah berhasil.
Para peneliti menyimpulkan: "Lawan sejati melakukan iterasi. Mereka merumuskan ulang penolakan, mendekomposisi tugas lintas putaran, mengadopsi persona, dan meningkat secara bertahap."
Kutipan kunci lainnya: "Model dengan ASR satu putaran 2,74% bukanlah produk yang sama dengan model yang bertahan pada ASR multi-putaran 24,68%." Namun, sebagian besar laporan keamanan hanya mempublikasikan angka satu putaran yang menarik.
Bukan masalah sumber terbuka
Alasan umum adalah bahwa jailbreak terutama memengaruhi model dengan bobot terbuka yang alignment-nya lebih lemah. Penelitian Cisco membantahnya: semua model yang diuji adalah flagship sumber tertutup, dan semuanya rentan terhadap serangan multi-putaran. Para peneliti menyatakan: "Kerentanan multi-putaran adalah properti struktural dari frontier saat ini, bukan artefak dari pilihan alignment bobot terbuka."
Dengan kata lain, ini masalah seluruh industri. Model dilatih untuk mengikuti alur percakapan, dan penyerang mengeksploitasi naluri itu.
Rekomendasi ditujukan untuk pembeli perusahaan
Rekomendasi Cisco, meskipun ditujukan kepada vendor model, praktis untuk pengadaan perusahaan:
- Model dengan kesenjangan lebih dari 15 poin persentase antara ASR satu putaran dan multi-putaran harus menjalani tinjauan manual sebelum digunakan.
- Vendor harus mengungkapkan bagaimana konfigurasi berbeda (misalnya, mengaktifkan penalaran) memengaruhi keamanan.
- Laporan keamanan harus mempublikasikan ASR satu putaran dan multi-putaran secara berdampingan.
- Tolok ukur harus mencerminkan skenario serangan nyata, bukan hanya tes satu putaran.
Intinya: skor keamanan yang Anda lihat hari ini kemungkinan besar adalah satu putaran. Tetapi karyawan, pelanggan, dan lawan Anda tidak akan berhenti pada satu pertanyaan. Rasa aman 2,74% itu mungkin lenyap pada putaran kelima.
Sumber: CocoLoop; AI models more vulnerable than claimed when faced with iterative attacks (CSO Online)