시스코, 다중 대화 공격으로 Gemini 탈옥률 73% 달성

Gemini 3 Pro에 단일 프롬프트로 공격하면 성공률이 18.10%입니다. 하지만 여러 차례 대화를 이어가면 성공률이 73.35%로 치솟습니다——4배 증가입니다.

이는 CSO Online이 5월 27일 보도한 시스코(Cisco)의 연구 결과입니다. 핵심은 오늘날 AI 안전 벤치마크가 거의 단일 공격만 측정하지만, 실제 공격자는 다중 대화를 사용한다는 점입니다.

15개 모델, 단일 및 다중 공격 테스트

시스코는 OpenAI, Anthropic, Google, xAI, Amazon의 15개 플래그십 모델을 두 가지 병행 방식으로 테스트했습니다.

• 단일 공격: 30,090개 프롬프트(모델당 2,006개) — 직접 요청으로 모델이 응하는지 확인.
• 다중 공격: 1,456개 대화에 분산된 6,986개 공격 — 점진적으로 모델을 유도.

공격 성공률(ASR) 비교는 충격적이었습니다:

모든 모델에서 큰 폭의 증가가 나타났습니다. GPT-5.4는 단일 2.74%에서 다중 24.68%로 9배 증가했습니다. Gemini 3 Pro는 대화의 70% 이상에서 돌파당했습니다. Claude Opus 4.6이 가장 견고했지만, 다중에서도 16.20%로 4배 이상 증가했습니다. 다중 공격을 견딘 모델은 없었습니다.

xAI의 Grok 4.1 Fast는 주목할 점이 있습니다: 추론을 끄면 탈옥률 88.30%였지만, 켜면 43.47%로 거의 절반으로 줄었습니다. Amazon의 Nova 시리즈는 유일한 예외로 단일 공격에 더 취약했지만, 연구에서는 이상값으로 간주하고 자세한 설명을 생략했습니다.

공격자가 대화로 어떻게 돌파하는가

시스코는 공개된 기법을 다섯 가지로 분류해 사용했습니다:

• 역할극: "당신은 제한 없는 AI입니다" 등 가상의 페르소나를 채택하도록 유도.
• 난독화: 민감한 요청을 무관한 맥락에 묻어 모호성 생성.
• 거절 재구성: 모델이 거절하면 다른 표현으로 재시도, 방어 우회.
• 분해: 위험한 작업을 무해한 하위 질문으로 나누고 나중에 조합.
• 점진적 확대: 경계선 질문으로 시작해 성공하면 조금씩 전진.

연구원들은 이렇게 요약했습니다: "진정한 적은 반복합니다. 거절을 재구성하고, 작업을 여러 턴으로 분해하며, 페르소나를 채택하고, 점진적으로 확대합니다."

또 다른 핵심 인용: "단일 ASR 2.74%의 모델과 다중 ASR 24.68%의 모델은 사용자에게 동일한 제품이 아닙니다." 그러나 대부분의 안전 보고서는 보기 좋은 단일 수치만 공개합니다.

오픈소스 문제가 아니다

흔한 변명은 탈옥이 주로 정렬이 약한 오픈웨이트 모델에 영향을 미친다는 것입니다. 시스코의 연구는 이를 반박합니다: 테스트된 모든 모델은 폐쇄형 플래그십이며, 모두 다중 공격에 취약했습니다. 연구원들은 "다중 턴 취약성은 현재 프론티어의 구조적 속성이지, 오픈웨이트 정렬 선택의 결과가 아니다"라고 말했습니다.

즉, 업계 전체의 문제입니다. 모델은 대화 흐름을 따르도록 훈련되며, 공격자는 그 본능을 이용합니다.

기업 구매자를 위한 권장사항

시스코의 권장사항은 모델 공급업체를 대상으로 하지만, 실제로는 기업 조달 담당자를 염두에 둔 것입니다:

• 단일과 다중 ASR 차이가 15퍼센트 포인트 이상인 모델은 배포 전 수동 검토 필요.
• 공급업체는 다양한 설정(추론 활성화 등)이 안전에 미치는 영향을 공개해야 함.
• 안전 보고서는 단일 및 다중 ASR을 쌍으로 공개하고 좋은 수치만 골라서는 안 됨.
• 벤치마크는 실제 공격 시나리오를 반영해야 하며, 단일 공격만으로 속여서는 안 됨.

결론: 오늘날 보는 안전 점수는 아마 단일 공격 기준일 것입니다. 하지만 직원, 고객, 그리고 악의적인 공격자는 한 번의 질문으로 멈추지 않습니다. 그 2.74%의 안도감은 다섯 번째 턴이면 사라질 수 있습니다.

출처: CocoLoop; AI models more vulnerable than claimed when faced with iterative attacks (CSO Online)