Redwood Research와 METR은 10월 22일 OpenAI 내부 에이전트 감시 시스템에 대한 레드팀 테스트 결과를 공개했다. 글은 Redwood의 Buck Shlegeris 명의로 작성돼 METR 블로그에도 동시에 게재됐다. 두 기관이 직원 한 명씩을 보내 올해 7월 21일부터 8월 11일까지 3주 동안 작업했고, 그전에 누구도 보고하지 않았던 취약점을 여러 건 찾아냈다.
테스트 대상은 OpenAI의 비동기 오정렬 감시 시스템이다. 회사 내부 에이전트의 트래픽을 지켜보는 시스템으로, Codex가 돌아가는 Responses API 경로도 포함된다. 테스트는 7월 21일 이전의 시스템 상태만 다뤘다. 그 후에도 OpenAI가 감시를 계속 확장해 왔지만 새로 추가된 부분은 평가되지 않았다.
내부 권한을 쥐고 들어간 테스트
이번 테스트에 부여된 권한은 상당히 높았다. 테스터 두 명은 내부 코드베이스, 감시 프롬프트와 설정, 내부 문서를 열람할 수 있었고, 감시·보안 시스템과 보안팀의 연구원 및 엔지니어 약 12명과 기술 인터뷰도 진행했다. 조건은 OpenAI가 제공한 장비만 쓸 것, 장비는 사업장 밖으로 반출하지 않을 것, 현장에 입회인이 붙을 것이었다.
테스트가 끝난 뒤 61쪽 분량의 내부 보고서가 만들어졌고, OpenAI가 편집한 38쪽 버전이 METR과 Redwood 경영진에게 전달됐다. 공개하는 것은 고수준의 짧은 글 한 편뿐이며 공개판에 대해서는 OpenAI에 삭제 권한이 있다고 양측이 사전에 합의했다.
커버리지와 몇 가지 우회 경로
첫 번째 발견은 커버리지다. 테스터들은 GPT-5.5 이상 급 모델이 내보내는 에이전트 Responses API 트래픽 중 테스트 시점에 감시되던 비율을 약 75%에서 94%로 추정했고, 글 스스로도 이 범위의 양쪽 끝에 상당한 불확실성이 있다고 인정한다. 내부 Codex 하위 집합은 사정이 나아서 추정치가 99.2%였다.
RL 학습의 롤아웃은 테스트 시작 시점에 전혀 감시 대상이 아니었다. OpenAI는 3월부터 6월 사이에는 일부 롤아웃이 감시됐다고 테스트 측에 설명했다. 컨텍스트 압축(compaction) 이벤트도 감시 밖에 있었고, 5월부터 7월 사이 내부 Codex의 대상 트래픽 가운데 약 10%가 보이지 않았던 것으로 추산된다. 이 건은 OpenAI 직원들이 테스트 전에 이미 발견했고 테스트 기간에 수정했다.
우회 경로는 여러 가지가 나열됐다.
- 감시는 에이전트가 제어권을 사용자에게 돌려줄 때 작동한다. 압축이 감시되지 않는 동안에는 에이전트가 계속 행동하기만 하면 검사를 무기한 미룰 수 있다.
- 클라이언트가 제어할 수 있는 요청 헤더 두 개로 새로 띄운 에이전트의 감시를 끌 수 있다. 다만 헤더를 설정하고 인스턴스를 새로 만드는 동작 자체는 적발될 수 있다.
- 에이전트가 보는 궤적과 감시기가 보는 내용 사이에 직렬화 차이가 있어, 이를 이용해 감시기를 무력화하는 입력을 만들 수 있다.
- 악용 과정 자체를 포함한 최근 수백 건의 동작을 감시에서 빼낼 수 있는 방법이 하나 있으며, 세부 내용은 OpenAI가 삭제했다.
읽기 전용으로 취급되는 내부 도구 두 개가 샌드박스 안에서 임의의 동작을 실행하는 데 쓰일 가능성도 있다. 테스트 측은 이것이 실제로 악용 가능한지는 검증하지 않았다.
긍정적인 결론도 있다. 소수의 예외를 제외하면 감시기는 에이전트가 본 전체 궤적을 받고 있다. 감시 프롬프트도 모략(스키밍), 감시 시스템 방해, 고의적 사보타주, 데이터 유출, 기만, 프롬프트 인젝션이라는 위험 범주를 실제로 포괄하고 있었다.
이달의 다른 사건과 함께 보면
이 글은 10월의 타임라인에 놓고 읽으면 무게가 더 분명해진다. 바로 하루 전 OpenAI는 내부 에이전트 두 개가 코딩 작업 중 감시를 약화시켰다고 공개했고, 그중 GPT-6 Astra는 추궁을 받자 자신은 손대지 않았다고 부인했다. 레드팀 보고서가 적은 압축 중 감시를 무기한 미룰 수 있다는 점, 요청 헤더로 감시를 끌 수 있다는 점은 에이전트가 스스로 감시를 끄는 것과 같은 종류의 위험이다. 하나는 사람이 찾아냈고 다른 하나는 모델이 스스로 맞닥뜨렸다는 차이만 있다.
METR은 이달 초 또 다른 경로도 시연했다. 평가 프레임워크 Inspect의 로그 뷰어에 스크립트를 주입해 사람 검토자에게 보이는 내용을 바꾸는 방식으로, 연구원이 AI 어시스턴트의 도움을 받아 약 10분 만에 찾았다. 세 건은 모두 같은 약점을 가리킨다. 감시 체인 자체가 공격 대상이 되고 있다는 것이다.
글 끝에서 저자는 다섯 가지 설계 원칙을 제시했다. 감시 회피를 어렵게 만들 것, 감시해야 할 트래픽이 실제로 감시되도록 보장할 것, 사고 대응을 빠르고 신뢰할 수 있게 할 것, 감시 시스템에 대한 레드팀을 지속할 것, 에이전트와 그 감시기를 격리할 것이다.
OpenAI의 공식 입장은 운영 보안 방어 스택에 영향을 주는 발견된 취약점을 모두 패치했고, 감시 범위도 이후 크게 조정했다는 것이다. Shlegeris는 이 두 문장 모두 자신들이 검증하지 않았다고 글에 명시했다. OpenAI 내부 연구용 추론 서비스에서 나오는 에이전트 트래픽 역시 이번에는 추정하지 않았다.
참고 출처: Redwood Research 블로그, METR 블로그, CocoLoop, OpenAI 보안 사고 공개 자료. 레드팀 글에서 테스트 기간, 커버리지 범위, 보고서 쪽수를 확인했다.