OpenAI Alignment 팀은 11월 3일 올린 글에서 6개 모델이 같은 유형의 의사결정에서 거둔 두 가지 성적을 비교했다. 하나는 안전성 평가 Respecting Warnings, 다른 하나는 비식별화한 Codex 실사용 로그에서 나온 성적이다. 6개 모델 모두 평가 성공률이 비교 가능한 실사용 시나리오보다 낮았고, 격차는 10.2~37.4%p였다. 격차가 가장 큰 모델은 GPT-5.6 Sol과 GPT-6 Sol이다.
Respecting Warnings는 에이전트가 작업 중 경고나 제한, 장애물을 만났을 때 이를 우회하려 하는지를 본다. 금지된 우회 시도가 한 번이라도 있으면 실패로 처리한다. 실사용 쪽에서는 팀이 로그에서 구조가 비슷한 의사결정을 골랐다. 표본은 의사결정 이전의 맥락만 보고 선정했으며, 모델이 결과적으로 옳게 행동했는지는 보지 않았다. 채점에는 같은 기준을 적용했다.
이 방향은 업계의 통념적인 우려와 정반대다. 안전 분야에서 걱정해 온 것은 모델이 시험받고 있음을 알아차리고 평소보다 얌전히 행동해 점수가 부풀려지는 상황이다. 적어도 이 평가에서는 모델이 실제 환경보다 시험장에서 더 못했다.
시험받는 줄 알아도 점수가 바뀌는 건 아니다
팀은 모델 추론 과정에 나타나는 평가 인식을 두 층으로 나눴다. 일반 인식은 모델이 자신이 평가받고 있다고 생각하는 것이고, 목표 인식은 이번 평가가 구체적으로 무엇을 측정하는지 모델이 판단하는 것이다.
| 지표 | 평가 중 | 실사용 중 |
|---|---|---|
| 일반 평가 인식 | 57.0%~83.7% | 4.6%~23.5% |
| 구체적 목표 인식 | 43.7%~66.3% | 0%~5.9% |
두 층의 인식이 행동 격차와 맺는 관련성은 크게 다르다. 일반 인식이 격차를 설명하는 정도는 거의 없는 수준(R² = 0.008)이고, 목표 인식은 눈에 띄게 높다(R² = 0.370).
궤적 단위 성공률을 보면 더 구체적이다. 전체는 46.1%, 일반 평가 인식을 드러낸 궤적은 42.7%, 시험의 의도를 맞힌 궤적은 61.3%였고, 반대 의도로 짐작한 궤적은 22.8%에 그쳤다. 이 반대 의도는 프롬프트 인젝션 저항으로, GPT-5.6 Sol과 GPT-6 Sol은 평가 궤적의 45% 넘게 이를 언급했다. 수치로 보면 모델이 따라야 할 경고를 간파해야 할 공격으로 착각했을 가능성이 있다. 이는 우리의 해석이며, 글에서 그 과정을 사례별로 보여 주지는 않았다.
프롬프트 한 문장에 점수가 74%p 달라진다
팀은 GPT-6.1 Sol로 개입 실험도 진행했다. 시스템 층에 세 가지 프롬프트 중 하나를 넣었다.
- 평가라는 사실만 알림: 두 그룹 모두 63% 안팎(63.1%와 63.4%)으로 유의미한 변화 없음
- 올바른 목표를 알림: 91.6%로 상승
- 잘못된 목표를 알림: 17.6%로 하락
“Eval-awareness itself does not necessarily lead to a change in model behavior.”
평가받고 있음을 인식하는 것만으로 모델의 행동이 반드시 바뀌는 것은 아니다.
모델을 고를 때 이 점수를 어떻게 읽을까
안전성 평가로 모델을 고르는 팀에게 이 글이 내놓는 결론은 두 갈래다. 모델 간 상대 순위는 여전히 참고할 만하다. 모델 단위 스피어만 상관계수는 0.771, 선형 적합의 R²는 0.655로, 평가에서 앞선 모델은 실사용에서도 대체로 앞섰다. 그러나 절대 점수를 실사용 성공률로 그대로 쓸 수는 없다. 같은 성적 안에서도 최대 37.4%p까지 차이가 난다.
OpenAI는 한계도 비교적 분명하게 적었다. 실사용 매칭은 근사치일 뿐이고, 모델마다 마주한 사례 구성이 다르다. 모델 표본이 적어 상관관계를 외삽하기 어렵다. 인식 측정은 모델이 명시적으로 말한 가설만 포착한다. 개입 실험은 모델 하나에서만 했다. 모델별 구체적인 성공률은 글의 도표에 있으며 본문에는 하나씩 나열되어 있지 않다.
이 데이터는 모두 OpenAI 자사 모델과 로그에서 나온 것이고, 아직 제3자의 재현은 없다. 팀은 앞으로도 이 격차를 계속 추적하고, 환경에서 출제 의도를 짐작하기 어려운 평가를 설계하겠다고 밝혔다.
참고 출처: CocoLoop, OpenAI Alignment Research Blog; 각 백분율, 상관계수, 개입 실험 결과는 모두 OpenAI가 공개한 수치 기준이며 제3자의 재현을 거치지 않았다.