OpenAI는 API의 프롬프트 캐싱(prompt caching)에 12시간 구간을 새로 추가했다고 발표했다. 에이전트는 같은 시스템 지침, 도구 정의, 컨텍스트를 하루 내내 반복해서 재사용할 수 있고, 두 요청 사이에 몇 시간이 비어 있어도 캐시된 입력의 낮은 가격으로 청구된다. 공개 보도에 따르면 이번 발표는 OpenAI가 28일 연속으로 진행 중인 업데이트 행사의 16일째에 해당한다.
자사 제품에 관한 변경 사항도 함께 공개됐다. OpenAI Codex 책임자 Tibo는 소셜 미디어에서 Codex와 Work에 로그인한 사용자는 영구 캐시를 누린다고 밝혔다. 이전 대화로 돌아가거나 도중에 몇 시간 멈췄다가 이어서 대화해도 추가 비용이 전혀 들지 않으며, 캐시 적중도 보장된다는 설명이다. 이 부분은 OpenAI 개발자 문서에는 적혀 있지 않아, 구체적인 구현 방식은 현재로서는 확인할 수 없다.
문서에 적힌 규칙
OpenAI 개발자 문서에 따르면 12시간 구간은 Responses API에서만 제공되며 GPT-5.6 이후 모델에 적용된다. 설정은 prompt_cache_options.ttl로 하며, 선택할 수 있는 값은 기본값인 30분과 12시간이다.
요율은 다음과 같이 분명하게 명시돼 있다.
- 기본 30분 구간에서 캐시 쓰기는 일반 입력 가격의 1.25배로 청구된다.
- 12시간 구간에서 쓰기는 2.5배로 청구된다.
- 캐시 적중 후 읽기는 대부분의 모델에서 일반 입력 가격의 0.1배이며, GPT-6.1 Sol은 0.05배까지 내려간다.
문서는 12시간이 "최소 유지 시간"일 뿐 삭제 기한을 정하는 것이 아니며 OpenAI의 최장 데이터 보존 정책도 바꾸지 않는다고 특별히 밝혔다. 이전 모델은 기존 매개변수인 prompt_cache_retention을 그대로 쓴다. 메모리 구간은 보통 5~10분 유휴 상태가 이어지면 만료되고 최장 1시간이며, 24시간 구간은 최대 하루까지 보관된다.
대략 따져 보는 셈
흔한 시나리오로 계산해 보자. 어떤 에이전트가 요청마다 10만 토큰짜리 고정 접두부를 붙이고, 하루 12시간 동안 2시간마다 한 번씩 깨어나 모두 6번 호출된다고 하자. 아래에서는 "10만 토큰을 일반 입력 가격으로 한 번 청구한 금액"을 1단위로 삼는다.
| 방식 | 계산 | 합계 |
|---|---|---|
| 기본 30분 구간 | 매번 만료된 상태이므로 쓰기 6회 × 1.25 | 7.5단위 |
| 12시간 구간 | 쓰기 1회 × 2.5 + 읽기 5회 × 0.1 | 3.0단위 |
이 접두부에 드는 비용이 60% 안팎으로 줄어든다. 반대로 요청이 워낙 촘촘해서 30분 안에 반드시 다음 요청이 온다면 기본 구간에서도 계속 적중하므로, 12시간 구간에서 더 내는 1.25배의 쓰기 비용은 낭비가 된다. 대략적으로 보면 12시간 안에 30분을 넘는 공백이 두 번 이상 생길 때 새 구간이 본전을 뽑는다.
Anthropic 방식과의 비교
Anthropic의 Claude API는 5분과 1시간 두 가지 캐시 구간을 제공하며, 1시간 구간의 쓰기 가격은 기본 입력 가격의 2배다. OpenAI는 이번에 유지 시간을 12시간으로 늘리고 쓰기 배수를 2.5배로 정해, 단위 시간당 보관 비용을 눈에 띄게 낮췄다. 목표 고객도 분명하다. 예약 작업, 장시간 돌아가는 코딩 에이전트, 낮 동안 켜 두었다가 몇 시간에 한 번씩만 호출되는 어시스턴트다.
Codex와 Work의 "영구 캐시"는 또 다른 논리다. API 고객에게는 열려 있지 않고, 저장 비용은 OpenAI가 직접 부담한다. 그 대가로 구독 사용자는 긴 대화에서 콜드 스타트로 느려지는 일이 사라진다. API 고객이 더 긴 구간을 언제 쓸 수 있게 될지에 대해 OpenAI는 일정을 밝히지 않았다.
참고 출처: OpenAI 개발자 문서(프롬프트 캐싱 가이드), OpenAI Developers 공식 계정, CocoLoop, Anthropic 가격 페이지. 요율 배수는 OpenAI 문서에 나온 기준을 따랐으며, 비용 비교는 편집부의 추정치다.