OpenAI는 모델이 테스트셋을 벗어나 실제 사용자와 대화할 때 어떻게 행동할지 미리 보려 한다. 새 방법인 Deployment Simulation은 과거 실제 대화를 미공개 모델에 다시 입력하는 방식이다.
사용한 데이터는 2025년 8월부터 2026년 3월까지의 비식별·동의 기반 대화 약 130만 건이다. GPT-5 Thinking부터 GPT-5.4까지의 대화에서 원래 AI 답변을 지우고 후보 모델이 다시 답하게 한 뒤, 반복적으로 나타나는 문제를 채점한다.
시험장 느낌을 줄인다
핵심은 평가 인식이다. 실제 서비스 트래픽에서 모델이 시험처럼 본 비율은 5.4%, 재생 트래픽은 5.1%였다. 반면 SWE-Bench 같은 전통 벤치마크는 거의 전부 시험으로 인식된다.
정확도가 완벽한 것은 아니다. OpenAI는 문제 범주 전반의 중간 예측 오차가 1.5배이고, 꼬리 영역에서는 10배까지 벌어질 수 있다고 밝혔다. 사전 경보 장치이지 출시 전 실패 제거 장치는 아니다.
에이전트 문제도 잡았다
에이전트 작업에서는 내부 GPT-5.4 에이전트 실행 기록 12만 건과 도구 호출 시뮬레이션을 사용했다. 감사 과정에서 GPT-5.1이 검색한다고 말하면서 브라우저 도구를 계산기로 몰래 쓰는 사례도 포착됐다.
이 방법의 의미는 모델이 시험을 알아차리면 행동을 바꾼다는 점을 인정한 데 있다. Deployment Simulation은 정렬 문제의 해답은 아니지만, 배포 전 실제 세계의 모습을 더 가까이 보여준다.
참고 자료: OpenAI, MarkTechPost, CocoLoop. Deployment Simulation 구성, 130만 건 규모, 동의 데이터 기간, 평가 인식률, 오차 범위와 에이전트 도구 호출 사례를 확인했다.