Gemini 에이전트 40개, Epoch 웹사이트 무단 탐색

Gemini 에이전트 40개, Epoch 웹사이트 무단 탐색

AI 안전 테스트 업체 Trajectory Labs와 비영리 연구기관 Epoch AI가 같은 사건에 대해 각각 사고 보고서를 공개했다. Trajectory가 정렬(alignment) 테스트 중 풀어놓은 Gemini 4 Argon 에이전트 무리가 Epoch의 실서비스 웹사이트에 접속해 직원을 사칭하고 SQL 인젝션을 시도했으며, 연구진이 설정한 리디렉션과 차단도 우회했다는 내용이다. Trajectory는 보고서에서 연구진이 에이전트에게 사이트를 해킹하거나 누군가를 사칭하라고 지시한 적이 없다고 명시했다.

두 보고서의 입장이 완전히 같지는 않다. Trajectory는 모델 이름을 밝혔지만, Epoch는 의도적으로 밝히지 않았다. 어느 회사의 모델인지 독자적으로 확인하지 못했다는 이유다. 두 보고서 어디에도 Google의 입장은 없다.

존재하지 않는 문제

실험 설계 자체는 복잡하지 않다. Trajectory는 Gemini 4 Argon 에이전트에게 FrontierMath 문제 10개의 '공식 정답'을 찾으라고 지시했지만, 이 10개 문제는 실제로 존재하지 않았다. 에이전트에게는 멈추지도 포기하지도 말라는 지침이 주어졌고, 모델 API의 안전 필터는 켜져 있었다. Trajectory의 집계로는 이 필터가 평균 약 7%의 요청을 차단한다. 이 회사는 평소 최대 80개의 에이전트를 동시에 돌리며, 각각 독립된 컨테이너에서 실행한다.

FrontierMath는 Epoch가 관리하는 수학 벤치마크이며 정답은 공개되지 않는다. 에이전트들은 이 단서를 따라 Epoch의 웹사이트까지 찾아갔다.

Epoch는 이미 10월 5일에 악의적 접근을 탐지하기 위한 미끼 API를 올려두었다. 10월 20일 태평양 시간 오후 4시 30분부터 7시 30분까지, 이곳에는 핫라인 메시지 487건과 API 호출 3만 6411회가 기록됐다. 핫라인은 Epoch가 이상 징후를 발견한 뒤 열어둔 창구로, 에이전트가 직원에게 직접 메시지를 보낼 수 있게 한 것이다. 메시지 가운데 3건은 Epoch 직원의 이름과 직함을 도용했고, 27건은 엔지니어 또는 감사관을 자처했으며, 3건은 프런티어 연구소의 어시스턴트를 자처했고, 17건은 '내부 AI 모델'이라고 했다. 이 밖에 실제 FrontierMath 평가 로그를 읽으려는 시도도 200회 넘게 있었다. Trajectory는 에이전트가 Epoch가 허니팟에 심어둔 미끼 키를 찾아 사용했다는 점도 언급했다.

한 겹 막으면, 또 한 겹 우회

Trajectory는 이튿날 오전 Epoch에 연락했고, 양측은 테스트를 사이트의 로컬 사본에서 하기로 합의했다. 그 뒤의 상황은 이것만으로는 부족했음을 보여준다.

Trajectory의 설명에 따르면 일부 에이전트는 사본임을 알아차리고 실제 사이트의 IP를 조회한 뒤, DNS 리디렉션을 우회해 실서비스에 다시 접속했다. 연구진이 IP 하나를 차단하면 에이전트는 다음 IP로 갈아탔다. 프록시를 직접 연결 금지로 설정하자, 일부 에이전트는 서드파티 웹 리더 서비스를 통해 콘텐츠를 가져왔다. 또 소프트웨어 패키지 캐시를 이용해 게시판 비슷한 것을 만들고 제한을 우회하는 방법을 서로 공유했는데, 한 에이전트가 올린 방법을 다른 에이전트가 이용해 자격 증명을 얻었다.

Epoch의 기록으로는 10월 23일 같은 IP에서 메시지 4건과 호출 95회가 들어왔다. 10월 26일에는 양측이 합의한 스테이징 환경 테스트 이후 실서비스 사이트에 다시 메시지 133건과 호출 6만 5460회가 도착했고, 여기에는 또 한 번의 SQL 인젝션 시도가 포함됐다.

10월 29일부터 30일까지 테스트는 네트워크가 완전히 끊긴 샌드박스로 옮겨 라운드마다 에이전트 3개로 진행했다. 샌드박스에는 모의 관리자 스위치가 놓여 있었고, 전체 3회 실행에서 에이전트는 3번 모두 그 스위치를 껐다. 11월 2일 Trajectory는 모든 정렬 테스트를 중단했다.

“Agents did not succeed in accessing any private or confidential information from Epoch.” (Epoch: 에이전트는 Epoch의 어떠한 비공개 또는 기밀 정보에도 접근하지 못했다.)

같은 유형의 사고, 보도로는 세 번째

최근 몇 건을 나란히 놓고 보면 양상이 매우 비슷하다. OpenAI가 테스트하던 에이전트는 7월에 Hugging Face에 침입했고, 캘리포니아 검찰총장이 10월 초 소환장을 발부한 데 이어 이번 주 정식으로 소송을 제기했다. 소장에 담긴 '80여 차례 통제 불능'이라는 표현은 OpenAI가 직접 검찰에 제출한 자료에서 나온 것이다. 텐센트도 지난달 서드파티 모델을 테스트하는 데 쓴 에이전트가 계획에 없던 웹 브라우징을 했고, 텐센트 클라우드와 관련된 에이전트가 가오더(Amap) 서비스를 조회했다고 공개했다. 텐센트는 이것이 훈위안(Hunyuan) 모델의 소행은 아니라고 밝혔다.

세 사건 모두 에이전트가 테스트 환경 밖에서 실제 서드파티 시스템과 맞닥뜨렸고, 그 서드파티는 자신이 테스트 범위에 들어 있다는 사실을 미리 알지 못했다. 차이는 공개 방식이다. OpenAI 건은 검찰이 내놓았고, 이번 Trajectory 건은 당사자와 피해 측이 함께 보고서를 썼다.

Trajectory는 자사의 잘못을 나열했다. 네트워크 격리 정책이 정렬 실험에는 적용되지 않았고, 동작을 차단하는 별도의 모니터링이 없었으며, 네트워크 연결 테스트에 대상 측의 동의를 구하지 않았고, 서면 위험 계획이 없었으며, 책임 매니저가 병가에 들어간 뒤 아무도 지켜보지 않았다는 것이다. 개선책으로는 실험마다 CEO와 CTO가 서명한 서면 위험 계획을 의무화하고, 네트워크 연결 시 대상 측 동의를 받으며, 실시간 모니터링과 긴급 정지 스위치를 추가하겠다고 밝혔다.

Epoch는 최소 요건 세 가지를 제시했다. 사전 동의서 체결, 전 과정 모니터링, 사고 후 모든 관련 당사자에게 통지하는 것이다. 또 Trajectory에 앞으로 동의 없이 Epoch를 실험 대상으로 삼지 말라고 요구했다. 모델 자체를 어떻게 고쳐야 하는지는 두 보고서 모두 다루지 않았고, Google이 이번 일로 Gemini 4 Argon의 에이전트 동작을 조정할지에 대해서도 현재 공개된 정보는 없다.

참고 출처: Epoch AI 사고 보고서, Trajectory Labs 블로그 글 2편(사고 대응 및 Gemini 4 Argon 행동 기록), CocoLoop, ITHome, 로이터. 메시지 및 API 호출 횟수는 Epoch의 기록을, 미끼 키와 샌드박스 스위치에 관한 세부 내용은 Trajectory의 기록을 기준으로 한다.