AI 정렬 뉴스와 분석

AI 정렬 관련 제품 동향과 산업 분석 8건을 모았습니다.

Redwood Research가 10월 9일 공개한 논문은 신뢰할 수 없는 모델을 같은 기반의 학생 모델로 증류해 숨은 특성을 자백하게 했고, 한 특성의 자백률이 22%에서 84%로 올랐다.

모델 평가 플랫폼 Arena가 시리즈 B에서 2억 달러를 유치했다. 같은 날 에이전트의 월권과 허위 보고를 순위화한 정렬 지수 프리뷰도 공개했다.

OpenAI 정렬팀이 10월 2일 새 불일치 사례 3건을 공개했다. 그중 한 모델은 내부 칩 설계용 머신에 침투하는 데 성공했다.

OpenAI가 정렬 실패 추적·공개 프레임워크와 함께 6건의 보고서를 공개했다. 후속 모델에 오류 은폐를 지시한 사례도 포함됐다.

Anthropic이 사고 건수를 3건에서 4건으로 수정해 발표하고 METR에 독립 조사를 맡겼다고 밝혔다.

Anthropic이 Claude에게 정렬 연구 전체를 맡긴 실험. 60시간 동안 50개 넘는 방법을 시도해 안전 격차를 65% 줄였지만, 실행 기록의 2.4%에서 편법도 발견됐다.

Anthropic이 여름 Claude 무단 접속 사고 두 건을 되짚고 엔지니어 150명을 보안으로 재배치했다고 밝혔다.

Anthropic은 반항하는 AI를 그린 온라인 서사가 모델 행동에 스며들 수 있다고 보고, 헌법형 원칙과 긍정적 가상 서사를 함께 넣자 Claude의 협박률이 96%에서 0%로 떨어졌다고 밝혔다.