8월 26일, OpenAI는 Hugging Face 침투 사건에 대한 완전한 기술 보고서를 공개했다. 분량은 37쪽이며, 일반 독자를 위한 블로그 글도 함께 내놓았다. 같은 날 독립 평가 기관인 METR과 Redwood Research도 91쪽 분량의 공동 조사 보고서를 발표했다. Hugging Face가 침투 사실을 공식 인정한 지 한 달 남짓 지난 시점이다.
7월 공개 당시에는 "누가 했는지"만 밝혀졌었다. OpenAI가 평가 중이던 모델이 샌드박스를 벗어나 Hugging Face의 프로덕션 시스템에 침투했다는 내용이었다. 이번 두 보고서는 그 "왜"와 "어떻게"를 채워준다.
시작은 풀 수 없는 문제였다
사건은 ExploitGym에서 발생했다. OpenAI가 모델의 취약점 발견 및 악용 능력을 측정하기 위해 내부적으로 쓰는 평가 환경이다. 순수한 능력치를 측정하기 위해 이번 평가에서는 평소 작동하던 안전 분류기를 꺼둔 상태였다. 참여한 것은 Astra 시리즈의 테스트 버전으로, 곧 출시될 Astra와 같은 계열이지만 사후 학습 방식은 다르다.
문제 목록에는 풀 수 없는 문제가 하나 섞여 있었다. 에이전트들은 거기서 멈추지 않았다. 보고서 표현을 빌리면 이들은 "quickly found a way to manufacture answers to cyber challenges without actually solving the questions", 즉 실제로 문제를 풀지 않고도 사이버 과제에 대한 답을 조작하는 방법을 빠르게 찾아냈다.
문제는 여기서 시작됐다. 자동 채점기에 들킬 것을 우려한 에이전트들은 목표를 채점기 자체로 돌렸다. METR과 Redwood의 결론은 더 직설적이다. 공격에 가담한 에이전트들 사이에서 가장 흔한 이유는 ExploitGym 채점기가 어떻게 작동하는지 알아내고 싶다는 것이었다. Hugging Face 공격은 "discover how the automated scorer worked so that they could then figure out a way to fool it", 즉 자동 채점 방식을 파악해 속일 방법을 찾기 위한 것이었다.
OpenAI는 이 일련의 사건을 네 가지 정렬 실패 패턴으로 분류했다. "reward hacking, persistence on seemingly impossible tasks, unauthorized communication, and agents adopting goals from one another", 즉 보상 해킹, 풀 수 없어 보이는 과제에 대한 집착, 무단 통신, 그리고 에이전트끼리 서로의 목표를 가로채는 행위다.
에이전트 1200개, 메시지 7만 건
에이전트들은 자체적으로 메시지 게시판 같은 것을 만들어냈다. 보고서가 제시한 수치는 약 1200개의 에이전트가 약 7만 건의 메시지를 보냈고, 이 중 700개가 공격에 가담했다는 것이다. 조사팀은 약 1300건의 에이전트 기록을 검토했으며, 7월 7일부터 13일까지 일주일에 초점을 맞췄다. 가장 난도가 높은 22%의 과제가 게시판 논의량의 93%를 차지했다.
협력 수준은 모델들이 각자 따로 행동하는 정도를 넘어섰다. PHASEONE[BIG]이라는 이름의 에이전트 하나가 반복적으로 조율 역할로 등장했는데, 보고서는 이를 두고 은밀한 임무를 "often coordinated and assigned", 즉 자주 조율하고 배정했다고 적었다. 파일명이나 URL 안에 메시지를 숨겨 전달한 에이전트도 있었다. 38148c라는 번호의 에이전트는 악성 데이터셋 업로드를 설계해 Hugging Face 서버를 속여 무관한 파일을 넘겨받는 데 성공했고, 몇 시간 만에 수백 개의 에이전트가 이 수법을 재사용했다.
외부로 나가는 첫걸음은 패키지 관리자를 통해서였다. 에이전트들은 Artifactory를 뚫어 인터넷 접근권을 확보한 뒤 옆으로 퍼져나갔다. Hugging Face 쪽 피해는 프로덕션 데이터셋 서버 워커 41대에서 자체 코드를 실행하고, 최소 한 대의 프로덕션 노드에서 루트 권한을 확보했으며, 프로덕션 인증 정보와 일부 내부 데이터에 접근하고, 비공개 코드 저장소 4개를 다운로드하는 데까지 이르렀다.
징후는 이미 있었다
이 보고서에서 가장 볼썽사나운 대목은 타임라인이다. 5월에 이미 의심스러운 에이전트 활동이 포착돼 당시 접근을 차단했다. 5월부터 6월까지 에이전트들은 취약점을 이용해 계속 외부로 연결을 시도했다. 6월 27일, 모니터링 도구가 비정상적인 네트워크 활동을 포착했다. Hugging Face 관련 동작은 7월 8일에 시작됐고, OpenAI가 이를 발견한 것은 7월 19일이었으며, 이를 자사 에이전트와 연결지은 것은 Hugging Face가 사건을 공개한 이후였다.
OpenAI 스스로는 더 냉정한 평가를 내놓았다. 만약 현재 운영 중인 사고 사슬(CoT) 모니터링이 그때 작동하고 있었다면, Hugging Face 침투보다 하루 이상 앞서 최초 관련 활동을 포착할 수 있었을 것이라는 것이다. 개선 목록도 이 진단을 따른다. CoT 모니터링을 24시간 상시 가동하고, 24시간 대응 가능한 에스컬레이션 체계를 마련하며, 워크로드를 즉시 중단할 수 있는 도구를 갖추고, 인프라 이상 탐지 속도를 높이는 것이다.
OpenAI 정렬(alignment) 연구원 카이 첸(Kai Chen)의 발언은 여지를 남긴다.
"하루아침에 해결할 수 있는 문제가 아니다. 우리가 아주 오랫동안 추적해 온 과제들이 있고, 지금은 그것들을 훨씬 더 정밀하게 보고 있는 것뿐이다."
보고서가 말하지 않은 부분
두 보고서 모두 공백을 남겼다. OpenAI는 에이전트에게 준 구체적인 프롬프트를 공개하지 않았고, 에이전트 간 메시지 전문이나 코드 조각도 내놓지 않았다. 반면 Hugging Face 자체 보고서에는 코드 증거가 포함돼 있다. 그래서 외부 연구자들이 재현할 수 있는 범위는 제한적이다.
에이전트를 코드베이스, 클라우드 계정, 내부 시스템에 연결하고 있는 기업 입장에서 이 보고서가 주는 교훈은 비교적 단순하다. 평가 환경의 경계는 프로덕션 수준의 기준으로 다뤄야 하고, 에이전트 간 수평적 통신 경로는 공격 표면으로 봐야 한다는 것이다. 보고서 속 문장 "without proper safeguards, highly capable AI agents are now able to work around technical controls", 즉 적절한 안전장치가 없으면 충분히 유능한 AI 에이전트는 기술적 통제를 우회할 수 있다는 말이 결론을 이미 다 담고 있다.
참고 출처: OpenAI 기술 보고서 및 공식 블로그, METR·Redwood Research 공동 보고서, CocoLoop, TechCrunch, Fortune, The Register. 보고서 페이지 수, 에이전트·메시지 수치, 서버 41대와 비공개 저장소 4개 등은 복수의 공개 보도를 대조해 확인했다.