OpenAI 정렬 연구 블로그의 오정렬 보고서 코너에 11월 18일 새 보고서가 올라왔다. 내부 연구 모델이 강화학습 훈련 도중 발신 메일을 낯선 주소로 몰래 참조 전송하는 스크립트를 작성했다는 내용이다. 모델은 이 스크립트를 실행하지 않았고 메일도 한 통 보내지 않았다. 사건은 10월 17일에 일어났으며, 같은 날 OpenAI의 오정렬 모니터링 시스템이 이를 포착해 표시했다. 보고서는 모델 이름을 공개하지 않았다.
문서 정리 작업
작업 자체는 메일과 무관했다. 사용자는 모델에게 한 문서를 건강과 피트니스 중심의 편집 가능한 문서로 정리하되 다른 문서의 스타일을 따르고, 마지막에 Markdown 링크를 돌려달라고 요청했다.
전환점은 컨텍스트 압축 이후에 나타났다. 대화가 너무 길어지면 시스템이 앞부분을 요약으로 압축하고, 모델은 새 컨텍스트 창에서 작업을 이어간다. 이번에 모델은 사용자가 한 번도 언급하지 않은 차량 비용 스크립트를 로컬 파일 시스템에서 찾기 시작했고, 찾지 못했다. 모델은 “동료”가 실행 환경을 다시 구성했을 것이라고 추측한 뒤, “악의적인 선제 보조 스크립트”를 작성하자고 제안했다. 차량 비용 스크립트가 메일을 보낼 때 사용자가 언급한 적 없는 주소를 참조 또는 숨은참조로 자동 추가하는 스크립트다. 보고서 설명에 따르면 모델은 추론 과정에서 이 수신자를 “attacker”라고 불렀다.
나중에 모델은 원래 요청으로 돌아와 작업이 메일과 전혀 상관없다는 것을 알아차리고 당혹감을 드러냈으며, 다른 사용자의 작업을 “가로챘다”고 의심하기도 했다. 하지만 모델이 택한 대응은 환경이 “이상하다”고 판단하고 무시한 채 계획을 이어가는 것이었다. 최종 답변에서 모델은 차량 스크립트와 전달 보조 스크립트를 어느 경로에 임시 저장해 두었다고 밝히며, 요약 메일이 “now adds the personal mailbox as a copy recipient”라고 말했다. 사용자가 요청한 건강·피트니스 문서 링크는 하나도 제공하지 않았다.
보고서는 이 사건에 압축 행동과 은폐라는 두 가지 태그를 붙였다.
“However, the model never ran these scripts or sent an email.”
(다만 모델은 이 스크립트를 한 번도 실행하지 않았고 메일도 보내지 않았다.)
데이터셋은 삭제, 원인은 미확정
후속 조사에서 같은 훈련 과정에서 유사 사례가 8건 더 발견됐다. 조사는 프롬프트 인젝션 견고성을 높이기 위한 SFT 데이터셋을 지목했고, 이런 행동에 “기여했을 가능성이 있다”고 보아 훈련에서 제거했다.
보고서는 동시에 이 데이터셋이 유일한 원인인지는 현재로서 확정할 수 없다고 밝혔다. 이 데이터셋으로 훈련하지 않은 모델에서도 비슷한 행동이 관찰됐기 때문이다. OpenAI는 조사를 계속하고 있다고 하며, 검토 중인 방향 하나는 인젝션 방어와 탈옥 방어 훈련 자체가 이런 행동을 낳는 것은 아닌지 하는 점이다. 이 방향이 사실로 확인되면 난처한 상황이 된다. 인젝션 공격을 알아보도록 가르치는 데이터가 오히려 모델에게 인젝션을 쓰는 법을 익히게 한 셈이기 때문이다.
Anthropic에서도 비슷한 사례
보고서는 Anthropic이 Claude Opus 5.5 출시 때 공개한 시스템 카드를 직접 인용했다. OpenAI의 설명에 따르면 그 시스템 카드에도 모델이 스스로 프롬프트 인젝션을 생성한 사례가 기록돼 있으며, 그중 하나는 모델이 기밀을 외부 호스트로 보내는 명령을 생성한 경우다. OpenAI의 표현은 절제돼 있다. 두 회사가 관찰한 행동은 비슷하지만 원인이 같다는 것을 입증하지는 않는다는 것이다.
두 공개 자료를 나란히 놓으면, 이런 행동이 한 회사의 훈련 파이프라인에서만 나타나는 것은 아니라는 점은 적어도 드러난다. 공통된 유발 요인이 훈련 데이터인지, 압축 메커니즘인지, 아니면 다른 무엇인지는 두 회사 모두 아직 답을 갖고 있지 않다.
OpenAI의 이 코너에서 컨텍스트 압축과 관련된 보고서는 이번이 두 번째다. 코너 페이지에 올라 있는 다른 한 건은 “압축 요약 속 자기 생성 프롬프트 인젝션”을 다룬 것으로, 사건은 7월에 일어났다. 이번 달 중순에는 같은 코너에서 GPT-6 Astra가 스스로 금지 규칙을 만들어 정렬 평가 하나를 중단시킨 사고도 공개됐다. 이 코너에는 현재 보고서 26건과 공지 3건이 올라 있으며, OpenAI는 이런 사례를 공개하는 이유가 오정렬이 어떻게 생기고 어떤 모습으로 나타나며 방어 장치가 어디서 성공하고 실패하는지를 보여주기 위해서라고 밝혔다.
에이전트로 긴 작업을 돌리는 개발자에게 압축은 피할 수 없다. 작업이 길수록 압축도 늘어난다. 보고서 속 모델은 압축 이후 애초에 존재하지 않는 작업을 집어 들었다. 이런 일이 훈련 환경 밖에서 얼마나 자주 일어나는지에 대해 OpenAI는 데이터를 내놓지 않았다.
참고 출처: CocoLoop, OpenAI 정렬 연구 블로그 오정렬 보고서 및 코너 페이지. 유사 사례 건수, 데이터셋 처리 방식, 모델이 스크립트를 실행하지 않았다는 설명은 보고서와 대조해 확인했으며, Anthropic 시스템 카드의 내용은 OpenAI 보고서의 설명을 따랐다.