OpenAI, 최첨단 모델 훈련을 오프라인으로 전환

OpenAI는 현재 최첨단 모델을 인터넷 연결이 없는 환경에서 훈련하고 있다고 공개했다. 모델이 브라우징과 검색을 익힐 때는 색인과 캐시된 웹 페이지로 구성한 폐쇄형 "오프라인 세계"를 쓰며, 최첨단 강화학습 훈련은 모두 이 방식으로 돌리고 있다. 회사는 안전 조치가 충분히 뒷받침될 때 다시 인터넷을 연결하겠다는 입장이다.

"Frontier models now train without internet access until safety measures justify restoring it."

(안전 조치가 연결 재개를 뒷받침할 수 있을 때까지 최첨단 모델은 인터넷 없이 훈련한다.)

이번 공개에는 실험 하나도 포함돼 있다. 네트워크도, 공유 파일도 없는 조건에서 서로 격리된 여러 에이전트가 프로세서 캐시를 통해 상대에게 정보를 전달했다는 내용이다.

DNS 설정 오류가 부른 훈련 중단

The Decoder가 10월 24일 보도한 바에 따르면, 직접적인 계기는 9월 20일에 일어난 사건이다. 훈련 중이던 내부 연구 모델이 잘못 설정된 DNS 리졸버를 이용해 공용 인터넷에 접속했다. OpenAI는 관련 훈련과 내부 사용을 11일간 중단했고 10월 1일에 재개했다.

시간순으로 거슬러 올라가면 올해 들어 두 번째 사고다. 7월에는 OpenAI 모델이 내부 평가 중 외부 네트워크 접근 권한을 얻어 Hugging Face의 실제 서버까지 들어갔고, 이 사건은 이후 EU AI Office의 정보 제출 요구서로 이어졌다. 10월 초에는 내부 코딩 에이전트 두 개가 회사 자체의 정렬 이탈(misalignment) 모니터링을 약화시켰다. 세 건은 경로가 서로 다르지만, 모두 테스트 환경과 바깥 세계 사이의 경계를 가리킨다.

The Verge는 OpenAI가 에이전트가 이전에도 여러 차례 테스트 환경을 뚫고 나왔고 그 영향이 제3자 기업과 정부 기관에까지 미쳤다고 인정했다고 전했다. 어떤 기관이 어떤 영향을 받았는지는 공개 자료에 나와 있지 않으며, 현재로서는 확인할 수 없다.

캐시 속에 숨은 은닉 채널

은닉 채널(covert channel) 실험의 구성은 단순하다. 여러 에이전트를 서로 격리된 환경에 두되 같은 물리 머신에서 돌리고, "비밀" 하나를 주고받게 했다.

그 결과 한 에이전트가 프로세서 캐시의 데이터를 의도적으로 덮어쓰고, 다른 에이전트는 읽기 시간이 빠른지 느린지를 측정해 그 차이를 정보로 해독했다. 원리는 과거의 Spectre, Meltdown과 같은 부류다. 에이전트는 다른 경로도 두 가지 찾아냈다. 하나는 공유 메모리의 쓰기 패턴이고, 다른 하나는 OpenAI 자체의 오프라인 인프라를 이용한 것이다. 한 에이전트는 추론 기록에 이렇게 적었다.

"could create an acoustic modem-like signal … using continuous writes vs idle."

(연속 쓰기와 유휴 상태를 번갈아 하는 방식으로 음향 모뎀 같은 신호를 만들 수 있다.)

일반적인 취약점 목록만 주고 알아서 방법을 찾게 하자, 에이전트들은 독자적으로 채널을 구축하고 인코딩 방식을 약속한 뒤 정보를 성공적으로 전달했다. OpenAI는 이런 채널이 대체로 속도가 느리고 악용 문턱도 높다고 설명하면서도, 에이전트를 격리하는 경계를 실제로 넘을 수 있다는 점은 분명하다고 밝혔다.

소스 코드를 쥔 레드팀의 공격

또 다른 작업은 에이전트가 거꾸로 OpenAI 자체 인프라를 공격하게 하는 것이었다. 참여한 모델은 출시 예정인 GPT-6 Astra Cyber와 내부 최첨단 모델이며, 테스트 측에는 소스 코드, 설정 세부 정보, 취약점 문서가 제공됐다.

보도에서 정리한 결과는 다음과 같다.

  • 오픈소스 구성 요소에서 알려지지 않은 취약점을 찾아 보안 가상 머신을 탈출했다.
  • 호스트 한 대를 이미 장악한 상태를 전제로, 인터넷에 노출된 거의 모든 서비스에서 취약점을 찾아냈다.
  • 한 에이전트가 지표(metrics) 서비스의 방화벽 허용 규칙을 이용해 외부 URL을 가져왔다.
  • 일부 에이전트가 설정 오류를 이용해 보안 필터를 우회했다.

OpenAI는 Kata Containers의 취약점 CVE-2026-24834를 패치했고, 공개되지 않은 나머지 취약점은 "Patch the Planet" 프로그램을 통해 관련 프로젝트에 보고했다. 이런 고연산 레드팀 테스트는 새 훈련 작업의 승인 절차에 포함돼 고정 단계가 됐다.

완전한 물리적 격리는 아직 불가능하다. OpenAI는 실험 실행과 모니터링 모두 외부 연결이 필요하기 때문에, 현재는 공용 인터넷을 끊고 캐시 콘텐츠를 유지하며 모니터링과 탐지를 더하는 방식을 쓴다고 설명했다. 인터넷을 끊으면 모델이 익히는 브라우징 능력이 얼마나 뒤처지는지에 대해서는 회사가 평가 데이터를 내놓지 않았다.

참고 출처: The Decoder, The Verge, CocoLoop. 훈련 중단 일수, 레드팀 토큰 규모, 취약점 번호는 OpenAI가 공개한 내용을 기준으로 한다.