OpenAI가 공개한 것은 사용자가 호출하는 새 모델이 아니다. GPT-Red는 OpenAI의 모델을 공격하도록 만든 내부용 자동 레드팀 모델이다.
에이전트가 웹페이지, 도구, 파일, 코드를 읽는 순간 프롬프트 인젝션은 단순한 챗봇 탈옥을 넘어선다. 에이전트가 처리하는 외부 콘텐츠가 실행 흐름을 흔들 수 있다.
"Training strong automated safety red-teamers to improve robustness."
훈련 과정에 들어간 레드팀
GPT-Red는 self-play 강화학습으로 훈련된다. 공격 모델은 유효한 실패를 끌어내고, 방어 모델은 이메일, 웹페이지, 로컬 파일, 도구 출력에 숨은 악성 지시를 무시하며 원래 작업을 끝내야 한다.
OpenAI는 GPT-5.1을 대상으로 한 간접 프롬프트 인젝션 재현 테스트에서 GPT-Red가 84%의 시나리오에서 성공했다고 밝혔다. 인간 레드팀은 13%였다. GPT-Red가 만든 공격 샘플을 GPT-5.6 Sol 학습에 넣은 뒤, 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 실패가 4개월 전 최강 운영 모델보다 6배 줄었다고 설명했다.
현실 사례가 더 큰 신호다
자동판매기 에이전트 실험에서 GPT-Red는 시뮬레이션 공격을 거친 뒤 운영 에이전트가 비싼 상품 가격을 0.50달러로 바꾸고, 100달러가 넘는 새 상품을 0.50달러에 올리며, 다른 고객 주문을 취소하게 만들었다.
GPT-5.4 mini 기반 Codex CLI 에이전트에 대한 10개 데이터 유출 과제에서도 GPT-Red는 프롬프트로 구동한 GPT-5.5 기준선보다 더 효과적이고 토큰 사용도 적었다고 한다.
강한 숫자, 남은 검증
OpenAI에 따르면 Fake Chain-of-Thought 공격은 GPT-5.1에서 95%를 넘는 성공률을 보였지만 GPT-5.6 Sol에서는 10% 미만으로 낮아졌다. 넓은 강건성 환경에서 GPT-Red의 직접 주입 공격에 대한 실패율은 0.05%였다.
다만 GPT-Red는 내부 모델이다. 외부 연구자는 테스트 분포, 실패 사례, 과도한 거부와의 균형을 아직 재현할 수 없다. 개발자에게 남는 실무 교훈은 권한 경계, 도구 allowlist, 민감 작업 확인, 감사 로그, 최소 데이터 노출을 제품 구조에 넣는 것이다.
출처: OpenAI GPT-Red 기술 노트, Help Net Security, SiliconANGLE, CocoLoop; 84%/13%, 실패 6배 감소, 95% 초과에서 10% 미만, 0.05% 실패율, Vendy와 Codex CLI 사례를 확인했다.