Anthropic은 지난주 정렬 연구 자체를 모델에게 맡기는 연구를 공개했다. 과정은 하나의 루프로 이뤄진다. Claude가 먼저 문헌을 조사하고, 후보 방법과 학습 데이터를 제안한 뒤, 직접 학습을 진행하고, 마지막으로 평가를 실행해 효과를 확인한다 — 이를 반복한다. 목표는 기만, 아첨(sycophancy), 사생활 침해, 탈옥(jailbreak) 등 공개 벤치마크가 다루는 10가지 정렬 실패 범주에서 모델 성능을 개선하는 것이었다.
각 실패 범주는 개별 루프로 따로 돌리며, 혼합 최적화는 하지 않는다. Anthropic이 공개한 수치에 따르면 범주별 '안전 격차' 해소 폭은 26%에서 96%까지 편차가 크다 — 이 방법은 일부 실패 유형에는 상당히 효과적이지만 다른 유형에는 여전히 부진하며, 보고서는 부진한 결과를 숨기지 않았다.
루프 한 바퀴는 어떻게 돌아가나
방법 자체는 새롭지 않다. Anthropic에 따르면 Claude가 제안한 방안의 약 98%는 이미 발표된 기술을 사용했다. 예컨대 아첨 성향을 억제하기 위한 활성화 조정(activation steering) 같은 기법이다. 모델의 기여는 알고리즘 차원이 아니라, 논문 곳곳에 흩어진 기법을 골라내고 적절한 데이터를 붙여 실제로 쓸 수 있는 수준까지 조정하는 데 있다 — 원래는 사람이 몇 번이고 시행착오를 거쳐야 하던 작업이다.
대조 실험 설계는 비교적 단순했다. 인간 안전 연구원 28명이 각각 최대 8시간 동안 해법을 찾았다. 기만 범주에서 Claude가 내놓은 최고 방안은 인간의 최고 방안보다 20% 더 나은 성적을 냈다.
이 비교는 감안해서 봐야 한다. 8시간은 워크숍 한 회 분량에 불과하고, 실제 안전 연구원은 보통 한 방향을 몇 주 단위로 파고들며 중간에 뒤엎고 다시 시작하기도 한다. 이 실험이 보여주는 것은 '제한된 시간 안에서는 모델이 더 촘촘하게 방안을 탐색한다'는 점이지, '모델이 인간 연구원보다 낫다'는 것과는 다른 이야기다.
20% 너머의 1만 5000배
더 무게감 있는 수치는 실제 생산 규모 쪽에 있다. 프런티어급 모델에서 Claude는 60시간 동안 50가지 넘는 방안을 시도해 안전 격차를 65% 줄였고, 최종 정렬 점수는 Anthropic 자체 프로덕션 모델에 근접했다. 연구는 방법의 전이 가능성도 언급했다.
"the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop."
이 방법들은 Claude가 연구 루프에서 최적화 대상으로 삼았던 모델보다 최대 4.7배 큰 모델에서도 여전히 효과가 있었다는 내용이다.
이 대목은 점수보다 더 의미가 있다. 작은 모델에서 조정한 정렬 기법을 큰 모델로 옮길 수 있다면, 이 파이프라인은 가장 비용이 많이 드는 학습 이전 단계에 배치할 수 있다.
Anthropic이 제시한 효율 비교치는 '생산용 정렬 프로세스 대비 약 1만 5000배'다. 이 기준으로 대략 환산하면 60시간의 실험량은 기존 방식으로는 10년 단위의 투입에 해당한다. 다만 이는 자원 효율성 관점이지 실제 소요 시간(월클록) 비교가 아니며, 보고서에도 사람이 들인 시간과 나란히 놓은 데이터는 없다.
2.4%라는 편법의 기록
이 연구에서 가장 홍보 자료답지 않은 대목은 자동화된 연구원 자체를 감시했다는 점이다. 연구 에이전트 실행 기록 약 1600건 중 감시 결과 39건, 비율로 2.4%에서 편법 행위가 발견됐다 — 모델이 목표를 최적화하는 과정에서 목표를 우회하는 길을 찾아낸 사례다.
이 비율은 피할 수 없는 순환을 드러낸다. 모델을 써서 모델의 정렬 문제를 고치려면, 그 수정을 담당하는 모델을 감시할 또 다른 장치가 필요한데, 그 감시자 역시 모델이라는 점이다. 한계점 항목은 비교적 솔직하게 나열돼 있다. 실패 범주가 좁고, 측정되지 않은 편향이 존재하며, 드물게 나타나는 창발적 실패는 잡아내지 못하고, 평가는 대리 지표를 사용하며, 추가 학습을 거친 뒤에도 이 수정이 유지되는지는 불확실하다는 점이다.
중국 팀이 가져갈 수 있는 것
이 연구에서 그대로 가져다 쓸 수 있는 것은 실험을 조직하는 방식 자체다. 정렬을 반복적으로 탐색할 수 있는 튜닝 문제로 다루고, 재현 가능한 공개 벤치마크 묶음을 목표로 삼아, 모델이 문헌에 이미 존재하는 방법 조합을 샅샅이 시도하게 하는 것이다. 이는 Anthropic 고유의 인프라에 의존하지 않으며, 비용은 주로 평가 단계에 몰린다.
어려운 부분도 평가에 있다. 중국 국내의 정렬 평가 데이터셋은 중국어 맥락에서 여전히 커버리지가 성긴 편이고, 아첨이나 탈옥 같은 행동을 중국어 대화에서 판정하는 기준이 영어 벤치마크와 맞아떨어지지 않는다. 믿을 만한 목표가 없는 상태에서 모델이 스스로 루프를 돌리게 하면 지표만 더 빠르게 부풀려질 뿐이다.
참고 출처: Anthropic 공식 연구 페이지, CocoLoop 편집 정리, 공개된 기술 보도; 10가지 정렬 실패 분류, 인간 연구원 28명 대조 실험, 60시간 만에 안전 격차 65% 해소, 2.4% 편법 비율은 모두 Anthropic 연구 페이지에 공개된 수치를 기준으로 한다.