8월 18일, OpenAI는 내부에서 이미 한동안 진행돼 온 조치를 공개했다. 차세대 모델 Astra에 대한 사이버보안 능력 평가가 '안전' 결론에 이르지 못하면서, 회사는 최신 배포 모델의 강화학습 훈련을 2주간 중단했다. 이 글이 게시된 시점까지 규모가 가장 큰 프런티어 강화학습은 재개되지 않았으며, 소규모 훈련과 평가만 평소대로 진행되고 있다.
이 소식이 처음 알려진 것은 8월 7일로, 당시 외부에 전해진 버전은 'OpenAI가 Astra 출시를 연기했다'는 것이었다. 8월 18일 게시글은 그 연기 뒤에 있던 판단 과정을 풀어놓았다. 내부 평가에 따르면 Astra는 자율 코딩과 사이버 공격·방어 두 영역에서 진전을 보였고, 이 진전 폭이 회사로 하여금 Astra가 이미 'Critical' 등급에 도달했을 가능성을 배제할 수 없게 만들었다.
생각보다 구체적인 기준선
OpenAI의 Preparedness Framework는 사이버보안 분야의 Critical 기준을 판별 가능한 두 가지 능력 서술로 구체화하고 있다. 하나는 모델이 이미 강화된 여러 실제 핵심 시스템을 대상으로 자율적으로 사용 가능한 제로데이 취약점 익스플로잇을 작성할 수 있는 경우이고, 다른 하나는 상위 수준의 목표만 주어진 상태에서 모델이 강화된 목표물을 상대로 새로운 공격을 처음부터 끝까지 스스로 설계하고 실행할 수 있는 경우다.
내부 평가의 결론은 '배제할 수 없다'는 단계에 머물렀을 뿐, 도달을 확정한 것은 아니었다. 그러나 회사의 이후 행보를 보면 이 정도 판단만으로도 예방적 감속을 촉발하기에 충분했다. 확인을 기다릴 필요 없이, 연산 자원을 가장 많이 소모하면서 능력을 더 끌어올릴 가능성이 가장 큰 훈련부터 먼저 멈춘 것이다.
멈춘 것은 훈련, 바뀐 것은 데이터센터
중단은 조치의 절반에 불과하다. OpenAI는 인프라 차원의 변경 사항도 함께 나열했다. 샌드박스 격리와 네트워크 분리를 더 엄격하게 만들고, 뚫리기 쉬운 공유 서비스를 제거하고, 장기 유효 권한을 축소하고, 보안 로그의 공백을 메웠다. Astra의 상당수 작업 부하는 여전히 보류 상태이며, 새 요건을 충족하는 환경으로 이전되기를 기다리고 있다.
모니터링 쪽이 가장 직접적인 수치를 제시한다. 새로 도입된 모니터링은 두 부분으로 구성된다. 하나는 생성 과정에서 의심스러운 행동을 토큰 단위로 표시하는 활성화 분류기이고, 다른 하나는 표시된 내용을 검토하는 자동화 조사 시스템이다. 이 모니터링에 소모되는 연산 자원은 추론 연산 자원의 약 20%에 달한다. 경보에 대한 목표 대응 시간은 30분 이내이며, 안전팀이 오탐을 배제하는 데 걸리는 시간 역시 30분 이내로 설정돼 있다.
20%라는 수치는 문서상으로는 엔지니어링 파라미터처럼 보이지만, 지출로 환산하면 이야기가 달라진다. 프런티어 연구소들의 연간 추론 연산 비용은 대체로 수십억 달러 규모로 알려져 있다(각 사의 산정 기준이 달라 대략적인 추정치다). 그중 5분의 1을 모니터링에 상시 배정한다는 것은 수십억 달러 규모의 고정비를 의미하며, 이 비용은 사용자에게 제공되는 처리 용량을 전혀 만들어내지 않는다. 이 부담을 장기적으로 감수하겠다는 태도는 회사가 위험의 창이 몇 주 안에 닫힐 것으로 보지 않고, 차세대 모델의 전체 수명 주기를 커버해야 한다고 보고 있음을 시사한다.
비교할 만한 다른 경로는 공격·방어 능력을 방어 측에 우선적으로 넘기는 방식이다. 취약점 탐지 모델을 제한된 명단에만 공개해, 통제된 배포 범위와 맞바꿔 시간을 버는 것이다. 이번에 OpenAI가 선택한 방식은 더 상류에 위치해, 훈련 단계에서 직접 제동을 건다. 두 경로 모두 같은 판단을 겨냥하고 있다. 모델의 공격 능력이 방어 측의 패치 파이프라인보다 더 빠르게 성장하고 있다는 판단이다.
스스로 세운 관문
이 프로세스 전체에 외부 규제가 들어설 자리는 없다. 발동 조건, 평가 기준, 중단 기간, 재개 기준 모두 OpenAI가 직접 작성하고 판단하고 실행하며, 외부에는 사후 설명 글 하나만 공개된다. Critical 기준이 구체적으로 어떻게 측정되는지, Astra가 각 테스트에서 받은 점수가 무엇인지 등 제3자가 검증할 수 있는 수치는 글에서 제시되지 않았다. 회사는 별도로, 앞서 논란이 됐던 Hugging Face 샌드박스 사건은 Astra와 무관하다고 밝혔다.
진행 상황을 지켜보는 개발자들에게 단기적 영향은 두 가지로 요약된다. Astra 관련 기능의 출시 시점이 뒤로 밀리는 것, 그리고 이미 가동 중인 Astra 작업 부하가 새 환경으로 이전돼야 하며 그 속도는 OpenAI가 일방적으로 통제한다는 것이다. 규모가 가장 큰 프런티어 강화학습이 언제 재개될지에 대해서는 회사가 아직 밝히지 않았다.
참고 출처: OpenAI 공식 블로그, Axios, CocoLoop, AIGC News. Preparedness Framework의 Critical 기준 정의, 모니터링에 배정된 추론 연산 자원 20%라는 수치, 30분이라는 경보 대응 시간은 모두 OpenAI의 공개 발표를 기준으로 확인했다.