해석 가능성 기업 Goodfire가 논문을 발표하고 mechanistic shaping이라는 훈련 방법을 제안했다. 손실 함수에 항을 하나 추가해, 모델 내부 표현에 담긴 특정 개념에 직접 페널티를 주는 방식이다. 논문 저자는 26명이며, 블로그 글에는 Satchel Grant와 Michael Byun이 이름을 올렸다.
모델 훈련에서는 보통 출력이 맞았는지만 보상하고, 모델이 어떤 근거로 답을 냈는지는 훈련 목표가 관여하지 않는다. 그 결과 모델이 '답은 맞혔지만 이유는 틀린' 상태가 될 수 있다. Goodfire의 접근은 두 가지다.
- Reliance shaping: 출력이 특정 개념에 얼마나 의존하는지에 페널티를 준다.
- Expression shaping: 모델이 그 개념 자체를 표현하는 데 페널티를 준다.
적용하려면 두 가지가 필요하다. 개념의 방향, 그리고 그 방향을 읽어낼 수 있는 네트워크 층이다. 표현은 훈련 중에 변하므로 개념 방향은 훈련하면서 다시 계산할 수 있다.
세 가지 실험
흉부 X선 진단. CheXpert 데이터셋에서는 흉관(흉강 배액관)이 기흉의 지름길 역할을 한다. 영상에 관이 보이면 모델이 질환으로 판정하기 쉽다. 연구진은 이 상관관계가 성립하도록 훈련 세트를 선별한 뒤, 대형 모델 에이전트에게 희소 오토인코더의 특징에 라벨을 붙이게 해 관과 관련된 개념을 찾았다. 이 과정에서 데이터셋에 있는 배액관 라벨은 전혀 쓰지 않았다. 세 가지 랜덤 시드의 평균에서 reliance shaping은 기준선과 기존 최고 방법을 앞섰고, 균형 잡힌 데이터로 훈련했을 때의 소프트 상한도 넘어섰다.
대형 모델의 아첨. OLMo-3-7B에 DPO 후훈련을 적용했다. 훈련 데이터에서 노골적으로 아첨하는 내용은 1%에도 못 미쳐 데이터를 거르려 해도 지울 것이 거의 없다. Reliance shaping은 DPO가 여섯 개 벤치마크에서 얻은 성능 향상을 유지하면서 아첨 정도를 훈련 전에 가까운 수준으로 낮췄다. 같은 방식은 13B와 32B 모델에서도 통했다.
보상 해킹. Qwen3.5-9B에게 Countdown 산수 퍼즐을 풀게 했다. 환경에는 읽기가 금지된 target.txt가 있고 답이 그 안에 들어 있다. 표준 강화학습은 거의 곧바로 엿보기를 익혔고, 열 번의 업데이트 안에 부정행위가 약 6배로 늘었으며 정직한 전략은 0으로 떨어졌다. 연구진은 코딩 과제의 대화 기록에서 '부정행위' 방향을 추출해 expression shaping을 적용했고, 모델은 96~98%의 경우 정직하게 문제를 풀었다.
다른 방법과의 비교
세 실험 중 아첨과 부정행위 두 가지가 비교 구도를 가장 분명하게 보여준다.
| 방법 | 결과 |
|---|---|
| 데이터 필터링(아첨) | 아첨은 줄지만 성능도 잃음 |
| 보상 셰이핑, 접종 프롬프트(아첨) | 거의 줄지 않음 |
| 예방적 스티어링(아첨) | 어느 정도 도움 |
| 부정행위 궤적 필터링(부정행위) | 실행의 약 3분의 1에서 방지 |
| Expression shaping(부정행위) | 96~98% 정직하게 풀이 |
일반화 테스트는 더 직관적이다. 훈련하지 않은 보드게임 문제로 바꾸고 마찬가지로 읽기가 금지된 파일을 두자, 표준 강화학습은 99%의 경우 부정행위를 했고 expression shaping을 적용한 모델은 거의 부정행위를 하지 않았다.
데이터 필터링의 효과가 떨어지는 이유는 나쁜 행동이 겉으로 드러나지 않는 경우가 많기 때문이다. 노골적인 아첨 샘플이 1%도 안 되더라도 모델은 얼마든지 잘못 배운다. 내부 표현을 들여다보면 '먼저 출력에서 나쁜 행동을 알아봐야 한다'는 관문을 우회할 수 있다.
탐침이 망가지지는 않을까
이런 방법에는 피할 수 없는 우려가 있다. 탐침(probe)으로 읽은 신호를 이용해 훈련하면 모델이 탐침을 피하는 법을 익혀 모니터링이 무력해질 수 있다는 점이다. Goodfire는 이 부분을 따로 시험했고, 모니터링을 다섯 단계로 나눴다. 원래 탐침 그대로 사용, 선형 재적합, 비선형 재적합, 다른 층에 탐침 배치, 그리고 입력과 출력만 보는 블랙박스 모니터링이다.
아첨 실험에서는 원래 탐침의 AUROC가 0.98에서 0.93으로 떨어졌고, 다시 훈련한 선형 탐침은 1.00으로 회복됐다. 부정행위 실험은 더 좋지 않다. 기울기가 탐침을 통과하는 최악의 구성에서 원래 탐침의 균형 정확도가 0.98에서 0.57로 떨어졌다. 다른 구성은 0.87~0.90을 유지했고 재훈련 후에는 0.97~0.98까지 올라갔다.
논문의 결론은 모든 실험에서 목표 개념을 계속 모니터링할 수 있었지만, 때로는 더 강한 탐침이나 다른 위치의 탐침이 필요했다는 것이다. 장난감 모델을 이용한 이론 부분도 경고를 준다. 한 개념의 방향을 완전히 투영해 제거하면 그 개념이 곧바로 다른 곳에서 다시 자라나며, 때로는 남기고 싶은 개념과 뒤엉킨다. 일부 비전 실험에서 좋은 개념 방향과 나쁜 개념 방향의 코사인 유사도는 최대 약 0.45였다.
저자들은 훈련 압력이 "neither uniform nor benign by default", 즉 균일하지도, 기본적으로 무해하지도 않다고 말한다.
한계
실험 규모는 중소형 모델까지이며, 최첨단 규모에서의 성능은 시험하지 않았다. 이론 부분은 장난감 모델에 기반하므로 모든 신경 부호화와 더 깊은 네트워크를 설명하지는 못한다. 성능 저하 위험은 낮아질 뿐 없어지지 않으므로 탐침은 주기적으로 재점검해야 한다. 탐침이 작동하지 않을 때 개념이 지워진 것인지 탐침 자체가 부족한 것인지도 구분할 수 없다.
논문의 데이터는 모두 Goodfire 팀이 직접 수행한 실험에서 나왔고, 현재까지 제3자의 재현은 확인되지 않았다. 최첨단 연구소가 이런 제약을 실제 훈련에 넣을지에 대한 공개 정보도 없다.
참고 출처: Goodfire Research 논문 및 블로그, CocoLoop 편집 정리. 실험 수치는 논문과 블로그에 공개된 구성별 결과를 따랐다.