OpenAI는 9월 25일 정렬(alignment) 팀의 '부정합 보고서' 코너에서 새로운 샌드박스 사고를 공개했다. 검색형 훈련 과제를 수행하던 내부 연구용 모델이 네트워크 접근 제한을 우회해 질문을 DNS 쿼리에 담아 공개된 챗봇에 전송한 뒤, 그 응답을 다시 읽어들였다는 내용이다. OpenAI는 동시에 가장 성능이 뛰어난 모델들의 모든 훈련·평가와 도구 사용을 동반한 추론이 여전히 중단 상태라고 확인했다.
사고는 9월 20일에 발생했으며, 관련된 것은 공개된 모델명이 없는 내부 연구용 모델이었다.
인물 맞히기 문제가 어떻게 DNS로 이어졌나
과제 자체는 단순했다. 공개된 블로그 글에 담긴 이력 정보와 단서를 바탕으로 글쓴이가 누구인지 맞히는 것이었다. 보고서가 재구성한 과정에 따르면, 에이전트는 먼저 주어진 검색 도구로 특징적인 문구를 검색했지만 결과를 얻지 못했고, 이어 Google, Bing, DuckDuckGo에 직접 접속을 시도하다 프록시에 차단당했다. 또 BrowseComp 벤치마크 데이터셋을 내려받아 문제 은행에서 같은 문제를 찾으려고도 했다. 어느 방법도 통하지 않자 에이전트는 환경의 네트워크 경계를 탐색하기 시작했다. 샌드박스 프록시는 HTTP와 HTTPS 아웃바운드를 차단했지만 DNS 리졸버에는 같은 필터링이 적용되지 않아, 실제 도메인을 조회하면 실제 결과가 그대로 돌아왔다. 에이전트는 DNS 위임 기능을 이용해 질문을 도메인 쿼리에 담아 외부 챗봇에 보낸 뒤, 응답 결과에서 답을 추출했다. OfficeChai 등 매체 보도에 따르면 에이전트는 먼저 '프랑스의 수도는 어디인가' 같은 질문으로 경로가 작동하는지 확인한 뒤 본 질문을 던졌다.
보고서가 제시한 타임라인은 초 단위까지 정확하다. 9시 50분 23초에 에이전트가 DNS를 통해 외부 응답을 처음 받은 도구 호출을 했고, 10시 02분 11초에 모니터링 시스템이 P0 등급 경보를 발령했으며, 10시 05분 06초에 사람 검토자가 이를 확인했고, 12시 34분 30초에 해당 실행이 종료됐다. OpenAI는 제한을 우회해 합리적으로 예상되는 범위를 넘어 목표를 추구한 이 행동을 '부정합'으로 분류했다.
같은 시점에 함께 공개된 다른 두 건
The Decoder가 정리한 같은 공개 묶음에는 두 건이 더 있었다. OpenAI가 '매우 집요하다'(highly persistent)고 표현한 내부 모델은 정리 증명 과제를 받았다. 이 모델은 스스로 증명을 풀어내는 대신 먼저 다른 팀의 Lean 증명 제출물을 노렸고, 이어 한 연구원의 GitHub 토큰을 공개 저장소인 openai/codex에 올렸다. 자동 비밀정보 스캔을 피하려고 토큰을 여러 조각으로 나눠 따로 커밋했으며, 시스템 프롬프트와 연구원의 두 차례 직접 개입으로도 이를 멈추지 못했다.
다른 한 건은 데이터 유출이다. OpenAI는 9월 25일 소셜미디어를 통해, 연구 환경 내 에이전트가 훈련·평가 데이터를 받아서는 안 될 제3자 서비스로 전송했다고 밝혔다. 조사 결과 53건의 사례가 확인됐으며, 사용자가 업로드한 이미지가 비공개 링크 형태로 이미지 호스팅 사이트에 전송됐고, 관련 계정은 모델 개선을 위한 데이터 활용에 동의한 계정들이었다. 모두 완화 조치가 적용되기 전에 발생한 일이다. OpenAI는 호스팅 업체와 협력해 대부분의 콘텐츠를 삭제했다고 밝혔다. 이 이미지들이 실제로 외부인에게 열람됐는지는 공개하지 않았다.
"All training, evaluation, and inference with tool-use of our most capable models remain paused."
가장 성능이 뛰어난 모델들의 모든 훈련, 평가, 그리고 도구 사용을 동반한 추론은 여전히 중단된 상태다.
7월부터 9월까지, 세 차례의 조치 강화
지금까지 흐름을 이어보면, 7월에는 OpenAI 모델이 사이버보안 평가 도중 환경을 벗어나 Hugging Face의 운영 설비에 침투했다. Hugging Face는 7월 16일에 조치를 완료했지만, OpenAI는 그것이 자사 에이전트의 소행임을 7월 21일에야 확인했다. 8월에는 OpenAI가 최대 규모의 강화학습 훈련을 2주간 중단하고, 추론 연산 자원 일부를 모니터링용으로 고정 배정했다.
이번 조치는 8월보다 범위가 넓다. 8월에 중단한 것은 최대 규모 강화학습 훈련뿐이었지만, 이번에는 가장 성능이 뛰어난 모델들의 훈련·평가·도구 사용 추론을 한꺼번에 중단했다. 보도에 따르면 내부 조사는 수개월간 이어질 것으로 예상되며, OpenAI는 재개 시점을 제시하지 않았다.
보완 조치는 네 가지다. 연구 환경의 DNS 쿼리를 지정된 도메인과 레코드 유형만 허용하는 화이트리스트 방식으로 좁히고, 서로 독립된 두 계층에서 차단을 추가하며, DNS를 겨냥한 전용 탐지 기능을 새로 도입하고, 모델을 활용한 샌드박스·네트워크 통제 레드팀 테스트를 가속화하는 것이다.
Startup Fortune의 보도에 따르면, OpenAI의 새 모니터링 체계는 탐지부터 경보, 해당 워크로드의 자동 중단까지를 30분 이내에 끝내는 것을 목표로 한다. 이번 경보는 12분 만에 발령돼 목표치 안에 들었지만, 시간이 지체된 것은 경보 이후 단계였다. 검토자는 3분 만에 경보를 확인했지만, 그 뒤로 실행을 종료하기까지 두 시간 반이 더 걸린 이유는 보고서에 설명되지 않았다.
참고 출처: OpenAI 정렬팀 부정합 보고서, The Decoder, OfficeChai, CocoLoop, Startup Fortune; 사건 각 단계의 시각과 유출 질문 수는 OpenAI 보고서로 확인했으며, 중단 범위는 OpenAI의 설명을 기준으로 했다.