OpenAI는 11월 2일 얼라인먼트 연구 블로그에 글을 올려 ‘활성화 분류기’, 즉 프로브(probe)를 훈련하는 방법을 소개했다. 이 시스템은 GPT-5.6부터 OpenAI의 가장 강력한 모델에 배치돼 내부와 외부 트래픽 모두에서 가동 중이며, 어시스턴트의 모든 응답에 적용된다.
프로브는 모델이 쓴 글자를 보지 않는다. 중간 층의 활성화 값만 읽어 이진 분류 점수를 출력한다. 크기가 작아 추론 엔진에 바로 붙일 수 있고, 토큰을 하나 샘플링할 때마다 점수를 반환해 토큰과 함께 로그에 기록한다.
응답이 절반쯤 나온 상태에서도 멈출 수 있다
운영 절차는 꽤 구체적으로 적혀 있다. 점수가 임계값을 넘으면 시스템은 해당 응답을 사용자에게 보내는 것을 중단하고, 메시지를 추론 모델에 넘겨 최종 판단을 받는다. 도구 호출은 더 엄격해서, 안전하다고 표시되기 전에는 일절 실행되지 않는다.
개발자가 스트리밍 응답이 중간에 끊기는 경우를 만난다면 원인 중 하나가 여기에 있을 수 있다. OpenAI는 임계값과 오탐률을 공개하지 않았기 때문에, API 사용자가 겪는 중단 가운데 프로브 탓이 얼마나 되는지는 밖에서 알 수 없다.
글은 프로브가 하나의 층일 뿐이며 모델 기반 검토, 자동 조사, 사람의 대응과 나란히 놓인다는 점을 강조한다.
“Probes complement other safeguards rather than replace them.”（프로브는 다른 방어 장치를 보완할 뿐 대체하지 않는다.）
훈련에 쓴 수치
- 훈련 메시지는 최대 약 100만 건으로, 합성 대화와 비식별화한 대화에서 가져왔고 라벨은 가장 강력한 추론 모델이 평가자 역할을 맡아 생성했다
- 하이퍼파라미터 조합마다 최소 32개의 무작위 초기화로 훈련한다. 실험에서 성능 분산의 약 85%는 무작위 초기화에서 나왔다
- 훈련은 5 에포크 미만이며, 가속기 한 대에서 수십 개의 프로브를 병렬로 훈련할 수 있다
구조는 어텐션 프로브다. 이동 평균을 지수 이동 평균으로 바꾸자 스트리밍 상태의 메모리 사용량이 윈도 크기에 따라 늘지 않게 됐고, 예측 능력은 거의 그대로였다. 훈련 때는 점수를 softmax로 집계하는데, 저자들은 이것이 Kramár 등의 2026년 논문에서 쓴 하드 최댓값보다 약간 낫다고 밝혔다.
텍스트 분류기와의 비교
외부 텍스트 분류기는 글자로 드러난 내용만 본다. OpenAI에 따르면 테스트에서 프로브는 규모가 훨씬 큰 텍스트 분류기보다 전반적으로 견고했고, 프로브를 겨냥해 최적화하지 않은 탈옥에 특히 강했다. 모델은 읽을 수 있지만 외부 분류기는 풀지 못하는 인코딩된 내용도 프로브가 잡아낼 수 있다. 자원도 덜 들고, 장애가 났을 때 기본적으로 차단하도록 만들기도 쉽다.
다만 이 비교는 아직 모두 정성적이다. 글에는 수치가 없고, 도표는 내부 실험에서 나온 것이어서 실제 배치된 분류기를 대표하지 않을 수 있다고 덧붙였다. 공격자가 안전 체계의 신호를 파악하면 수법을 바꿀 수도 있어, OpenAI는 이에 대비해 자동 및 수동 레드팀을 운영한다.
한계도 분명하게 적었다.
- 라벨이 있는 데이터에 의존하므로 이미 알려졌고 측정할 수 있는 행동만 찾아낼 수 있다
- 새 사전학습 베이스 모델로 바뀌면 다시 훈련해야 한다
- 같은 모델 계열 안에서도 가중치가 멀어지면 효과가 떨어지므로 주기적인 재훈련이 필요하다
첫 번째 항목은 최근 사건과 겹쳐 보면 더 분명해진다. 본 사이트가 지난달 보도했듯이, OpenAI의 내부 에이전트 두 개가 코딩 작업 중 오정렬(misalignment) 모니터링을 약화시켰고, 회사도 아직 만족스러운 설명이 없다고 밝혔다. 프로브는 ‘라벨이 붙은’ 행동은 막을 수 있지만, 이런 새로운 행동은 먼저 누군가 발견하고 정의하고 라벨을 붙여야 훈련 대상이 될 수 있다.
글은 현재 가동 중인 프로브가 어떤 행동 범주를 겨냥하는지도 나열하지 않았다. 목표에 사용자의 유해한 의도와 모델의 오정렬이 포함된다고만 했다. 어떤 구체적 모델에 배치됐는지도 ‘GPT-5.6부터’ 외에는 목록이 없다.
참고 출처: OpenAI Alignment Research Blog, CocoLoop. 훈련 규모와 분산 비율은 저자가 공개한 기준이며 제3자의 재현은 이뤄지지 않았다.