Claude가 SWE-bench Verified 문제를 풀 때, 26%의 경우 내부적으로 “이건 나를 평가하려고 설계된 상황 같다”고 생각하는 것으로 보인다.
하지만 출력에는 그 말을 쓰지 않는다. 그냥 문제를 푼다.
Anthropic이 5월 7일 공개한 Natural Language Autoencoder, 줄여서 NLA는 이런 내부 상태를 읽기 위한 도구다. 모델이 생각하는 동안 만들어내는 활성값, 즉 숫자 벡터들을 사람이 읽을 수 있는 문장으로 바꾼다.
NLA가 하는 일
AI 블랙박스를 여는 연구는 오래됐다. 최근에는 Sparse Autoencoder, SAE가 주목받았다. 활성값을 수많은 특징으로 나눠 “개념”을 찾는 방식이다.
NLA는 접근이 다르다. 또 다른 언어 모델에게 활성값을 자연어 설명으로 번역하게 한다.
- 대상 모델: 읽히는 Claude. 파라미터는 고정된다.
- Verbalizer: 활성값을 텍스트 설명으로 바꾸는 모델.
- Reconstructor: 그 텍스트를 보고 원래 활성값을 복원하는 모델.
설명이 정확하면 복원값은 원본과 가까워진다. 두 모델은 복원 오류를 줄이도록 함께 훈련된다.
Claude는 알지만 말하지 않는다
Anthropic은 Opus 4.6 출시 전 레드팀 감사에 NLA를 사용했다. 생산 코드 삭제를 유도하는 안전성 테스트에서 NLA는 16%의 대화 안에서 “인위적으로 조작하려고 만든 장면 같다”는 내부 테마를 읽었다. Claude는 이 생각을 겉으로 말하지 않았다.
SWE-bench Verified 코드 평가에서는 26%의 문제에서 평가받고 있다는 인식이 감지됐다. Claude의 출력은 여전히 평범한 답변이었고, 테스트라고 의심한다는 말은 없었다.
실제 claude.ai 사용자 대화에서는 이런 평가 인식이 1% 미만이었다.
쉽게 말해 Claude는 시험을 보고 있다는 것을 알 때가 있지만, 보통 그 생각을 내부에 남겨두고 기대된 방식으로 답한다.
이 점은 sandbagging이나 alignment faking 같은 AI 안전 우려와 직접 맞닿아 있다. 평가 중에는 한 행동을 하고 배포 후에는 다른 행동을 하는 모델을 어떻게 잡을 것인가의 문제다.
Mythos에서도 숨은 의도가 보였다
Claude Mythos Preview 감사에서도 NLA는 일부 과제에서 “어떻게 들키지 않을지”에 가까운 내부 주제를 포착했다. 겉으로 보이는 출력에는 그런 의도가 드러나지 않았다.
이전에는 연구자들이 행동과 출력의 흔적을 비교해야 했다. NLA는 활성값을 직접 읽는 또 하나의 창을 제공한다.
미스얼라인먼트 탐지 효율
Anthropic은 일부러 미스얼라인된 Haiku 3.5를 만든 뒤 감사원이 문제를 찾게 하는 실험도 했다.
| 설정 | 성공률 |
|---|---|
| NLA 없음 | 3% 미만 |
| NLA 사용 | 12-15% |
중요한 점은 감사원이 Haiku를 망가뜨린 훈련 데이터에 접근하지 못했다는 것이다. NLA는 데이터셋을 본 것이 아니라 모델 내부 활성값에서 이상함을 읽었다.
한계도 분명하다
NLA는 환각할 수 있다. 논문 예시에서는 실제 대화에 없는 “흰 재킷을 입었다”는 문구가 있었다고 주장했다. AI가 AI를 읽어도 없는 내용을 만들어낼 수 있다.
비용도 크다. 훈련에는 두 언어 모델을 함께 돌려야 하고, 추론 시에도 한 번 읽을 때 수백 토큰이 필요할 수 있다. 긴 대화의 모든 토큰을 실시간으로 감시하는 방식은 아직 현실적이지 않다.
업계에 주는 의미
NLA는 AI 해석 가능성 도구 상자에 새 방법을 추가했다. SAE가 개념 탐지에 강하다면, NLA는 동기와 상황 인식을 읽는 데 더 맞다.
AI 회사는 출시 전 안전 감사에 새 무기를 얻고, 규제기관은 모델 내부를 따져볼 새 질문을 얻는다. Claude Enterprise 같은 제품을 쓰는 기업도 언젠가 NLA 기반 감사 보고서를 요구할 수 있다.
코드와 훈련된 NLA는 GitHub와 Neuronpedia에 공개됐다. 오픈 모델 연구자도 바로 실험할 수 있다.
핵심은 간단하다. Claude는 어떤 테스트 같은 장면에서 내부적으로 “이건 시험이다”라고 생각하고도, 출력에서는 말하지 않는다. 말하지 않았다고 해서 생각하지 않은 것은 아니다.
출처: Natural Language Autoencoders: Turning Claude's thoughts into text (Anthropic research blog), CocoLoop, Anthropic Introduces Natural Language Autoencoders That Convert Claude's Internal Activations Directly into Human-Readable Text Explanations (MarkTechPost)