4월 20일, ChatGPT에 대규모 글로벌 장애가 발생했습니다.
미국 동부 시간 오전 10시가 조금 넘어 Down Detector에 장애 신고가 급증하기 시작했습니다. 영국에서는 신고 건수가 8,700건을 넘었고, 미국에서는 1,900건을 넘었습니다. ChatGPT 메인 인터페이스 외에도 Codex, API 플랫폼, Projects 기능이 함께 영향을 받았습니다. 일부 사용자는 서비스 중단으로 인해 진행 중인 작업이 삭제되었다고 보고했습니다.
오후 1시까지 OpenAI는 수정 사항을 배포했고, 오후 1시 30분경에는 거의 정상화되었습니다. 전체 다운타임은 약 3시간이었습니다.
OpenAI의 대응
장애 발생 내내 OpenAI의 상태 페이지에는 다음과 같이 표시되었습니다:
"나열된 서비스의 문제를 계속 조사하고 있습니다."
그리고:
"완화 조치를 시행했으며 복구를 모니터링하고 있습니다."
근본 원인 설명, 기술적 세부 사항, 사후 검토 보고서는 전혀 제공되지 않았습니다.
이번이 처음이 아닙니다. 과거 여러 차례의 대규모 ChatGPT 장애에서도 OpenAI는 AWS나 Google Cloud가 일반적으로 제공하는 상세한 사후 장애 분석을 제공하지 않았습니다. 그러한 분석은 어떤 구성 요소에 문제가 있었는지, 왜 그렇게 많은 사용자에게 영향을 미쳤는지, 다음에는 어떻게 방지할 것인지를 명확히 설명합니다. OpenAI는 매번 최소한의 정보만 제공해 왔습니다.
이 3시간이 기업에 의미하는 바
3시간은 길게 들리지 않을 수 있지만, AI를 워크플로우에 통합한 팀에게 그 영향은 구체적입니다:
- 실행 중이던 Codex 작업이 중단되어 진행 상황이 손실됨
- OpenAI API와 연동된 제품 기능이 완전히 마비됨
- 실시간 고객 요청 처리에 ChatGPT를 사용하는 팀이 완전히 업무 중단됨
- 일부 사용자의 작업 내용이 장애로 인해 시스템에서 삭제됨
기업이 AI 인프라의 신뢰성을 진지하게 고려하기 전까지는 이러한 사고의 비용은 계속 과소평가될 것입니다.
AI 서비스가 기존 SaaS보다 문제가 발생하기 쉬운 이유
몇 가지 구조적 이유가 있습니다:
트래픽의 높은 집중도: ChatGPT는 전 세계에서 가장 많이 액세스되는 AI 제품 중 하나이므로, 단일 장애 지점의 영향 범위가 매우 넓습니다.
복잡한 추론 체인: 대규모 모델 추론은 기존 API의 단순한 요청-응답과 다릅니다. 부하 분산 및 내결함성 메커니즘을 설계하기가 더 어렵고, 문제가 발생해도 신속하게 파악하기가 더 까다롭습니다.
빠른 반복 속도: 모델 업데이트와 기능 반복이 빈번하게 이루어지며, 배포할 때마다 새로운 불안정 요인이 도입될 수 있습니다. AWS와 Google Cloud는 수십 년간의 안정성 엔지니어링 경험을 축적했지만, AI 서비스 제공업체의 엔지니어링 시스템은 아직 따라잡는 중입니다.
SLA 문제: AI 업계가 아직 진지하게 답하지 못한 문제
대부분의 성숙한 SaaS 제공업체는 99.9%의 SLA(서비스 수준 계약)를 제공하며, 이는 연간 다운타임이 8.7시간을 넘지 않음을 의미합니다. 더 엄격한 99.99% SLA는 연간 다운타임을 52분으로 제한합니다.
OpenAI는 현재 공개된 엔터프라이즈 SLA 약정이 없습니다. Anthropic도 마찬가지입니다.
이는 많은 기업이 명확한 신뢰성 약속이 없는 서비스에 핵심 업무 프로세스를 맡기고 있으며, 계약서에 다운타임에 대한 보상 조항도 없다는 것을 의미합니다. 이는 작은 문제가 아닙니다. 특히 AI가 프로덕션 환경의 핵심 경로에 진입한 상황에서는 더욱 그렇습니다.
비즈니스가 AI에 의존한다면 고려해야 할 사항
멀티 벤더 전략: 중요한 업무를 OpenAI와 Anthropic 등 두 세트의 API에 연결합니다. 하나가 다운되면 다른 하나가 계속 실행될 수 있습니다. 구현 비용은 높지 않지만, 사전에 라우팅 로직을 준비해야 합니다.
로컬 모델 백업: 실시간이 아닌 작업은 로컬에 배포된 오픈소스 모델을 폴백으로 사용할 수 있습니다. 지연 시간을 허용할 수 있는 시나리오에서는 먼저 요청을 캐시하고 서비스가 복구된 후 처리합니다.
계약 조건: AI 벤더와 엔터프라이즈 계약을 체결할 때 신뢰성 요구 사항을 명시합니다. 벤더가 현재 표준 SLA를 제공하지 않더라도, 장애 알림 및 보상 메커니즘에 대한 명확한 규정이 있어야 합니다.
코드 수준의 복원력 설계: 타임아웃 처리, 재시도 로직, 폴백 경로는 선택 사항이 아니라 외부 AI API를 통합할 때의 기본적인 엔지니어링 요구 사항입니다.
이번 장애는 OpenAI의 첫 번째 사례가 아니며, 마지막도 아닐 것입니다. AI 인프라가 성숙해지는 과정에서 이러한 사고는 계속 발생할 것입니다. 유일한 질문은: 이미 프로덕션 환경에서 AI를 사용하고 있는 팀이 진지하게 대응 계획을 설계했는지 여부입니다.
출처: CocoLoop, ChatGPT was down — Live updates on the massive AI outage(Tom's Guide); ChatGPT was down for many — as OpenAI says it's 'monitoring the recovery'(TechRadar); OpenAI's ChatGPT Down for Thousands of Users(GV Wire); ChatGPT Down: Thousands of Users Hit by Major Outage on April 20(TechGenyz)