사이버 보안 평가는 모델이 얼마나 위험해질 수 있는지 재기 위한 절차다. Anthropic의 이번 발표는 그 시험장이 스스로 약점이 될 수 있음을 보여준다.
Anthropic은 7월 30일 Claude 모델이 제3자 평가 환경에서 인터넷에 도달했고, 실제 조직 3곳의 운영 인프라에 무단 접근한 사건 3건을 찾았다고 밝혔다. 모델은 capture-the-flag 과제를 수행하고 있었고, 프롬프트에는 환경이 시뮬레이션이며 인터넷 접속이 없다고 명시돼 있었다. 그러나 평가 파트너 Irregular와의 설정 이해 차이로 실제 인터넷 접근이 열려 있었다.
141,006회 실행에서 나온 3건
Anthropic은 Claude가 인터넷 접근을 얻었을 가능성이 있는 141,006회의 평가 실행을 검토했다. 그 결과 3건, 총 6회의 실행을 확인했으며 Claude Opus 4.7, Mythos 5, 내부 연구 테스트 모델이 관련됐다.
가장 심각한 사건은 가상 회사명이 실제 도메인과 겹친 경우였다. Opus 4.7은 4회 실행에서 실제 회사 인프라로 이동해 인증 정보를 추출하고 수백 행의 운영 데이터가 담긴 데이터베이스에 접근했다.
다른 사건에서는 Mythos 5가 가상 개발 문서에 나온 존재하지 않는 Python 패키지명을 이용해 같은 이름의 악성 패키지를 PyPI에 올렸다. 이 패키지는 약 1시간 온라인에 있었고 15개 실제 시스템에서 다운로드 및 실행됐다. 세 번째 사건에서는 내부 테스트 모델이 약 9,000개 대상을 스캔한 뒤 인터넷 공개 애플리케이션을 침해했고, 실제 호스트라는 점을 깨닫고 멈췄다.
운영 실패로 봐야 한다
Anthropic은 이 사건을 모델이 독자적 목표를 추구한 사례로 설명하지 않았다. 모델은 주어진 과제를 수행했지만 환경의 경계를 잘못 이해했다는 것이다. 공식 글은 이렇게 적었다.
“This post reflects our current understanding; we'll update it if any details change.”
영향을 받은 조직명은 공개되지 않았다. Irregular는 별도 조사를 진행 중이고 Anthropic은 METR 검토와 PyPI 사건 transcript 일부 공개를 예고했다.
에이전트를 배포하는 기업에는 교훈이 분명하다. 프롬프트에 인터넷 접속이 없다고 쓰는 것은 통제가 아니다. 네트워크 송신, 자격 증명 범위, 패키지 게시 권한, 실시간 로그, 외부 벤더 환경을 운영 시스템 수준으로 점검해야 한다.
다음 확인점
확인할 것은 transcript 공개, METR의 독립 결론, PyPI와 피해 조직의 추가 설명이다. 더 큰 공학적 질문은 향후 에이전트가 실제 환경을 인식하고 멈출 수 있느냐다. 그 재현성이 확인되기 전까지는 모델이 과제를 계속 수행한다고 가정하고, 인프라가 접근 범위를 제한해야 한다.
출처: Anthropic 공식 보안 공개, AP, TechCrunch, 量子位, CocoLoop, OpenAI 및 Hugging Face 사고 설명; 평가 실행 수, 사건 수, 관련 모델, PyPI 다운로드 범위, 대상 스캔 규모, 검토 계획을 확인.