OpenAI 宣布,API 的提示缓存(prompt caching)新增 12 小时档位。智能体可以在一整天里反复复用同一套系统指令、工具定义和上下文,两次请求隔了几个小时,仍按缓存输入的低价计费。公开报道显示,这是 OpenAI 连续 28 天更新活动中的第 16 天。
同时公布的还有一条面向自家产品的变化:OpenAI Codex 负责人 Tibo 在社交平台上称,Codex 和 Work 的登录用户享有永久缓存,回到旧对话或者中途停几个小时,再接着聊不会有任何额外代价,并且保证命中缓存。这部分 OpenAI 开发者文档里没有写,具体实现方式目前无法核实。
文档里的规则
按 OpenAI 开发者文档,12 小时档位只在 Responses API 里提供,适用于 GPT-5.6 及之后的模型,通过 prompt_cache_options.ttl 设置,可选值是默认的 30 分钟和 12 小时。
几项费率写得很清楚:
- 默认 30 分钟档,缓存写入按普通输入价的 1.25 倍计费;
- 12 小时档,写入按 2.5 倍计费;
- 命中缓存后的读取,多数模型是普通输入价的 0.1 倍,GPT-6.1 Sol 低至 0.05 倍。
文档特意说明,12 小时是“最短存活时间”,不设定删除期限,也不改变 OpenAI 的最长数据保留政策。更早的模型仍用旧参数 prompt_cache_retention:内存档一般在闲置 5 到 10 分钟后失效、最长一小时;24 小时档最多保留一天。
粗算一笔账
拿一个常见场景估算:某智能体每次请求都带一段 10 万 token 的固定前缀,一天 12 小时里每 2 小时被唤醒一次,共 6 次。下面以“10 万 token 按普通输入价计费一次”为 1 个单位。
| 方案 | 计算 | 合计 |
|---|---|---|
| 默认 30 分钟档 | 每次都已过期,6 次写入 × 1.25 | 7.5 单位 |
| 12 小时档 | 1 次写入 × 2.5 + 5 次读取 × 0.1 | 3.0 单位 |
这段前缀的花费降了六成左右。反过来,如果请求本来就密集到 30 分钟内一定会再来一次,默认档一直命中,12 小时档多付的那 1.25 倍写入费就白花了。粗略看,12 小时内只要出现两次以上超过半小时的空档,新档位就能回本。
和 Anthropic 的做法对照
Anthropic 的 Claude API 提供 5 分钟和 1 小时两档缓存,1 小时档的写入价是基础输入的 2 倍。OpenAI 这次把存活时间拉到 12 小时、写入倍数定在 2.5 倍,单位时间的保留成本明显更低,目标客户也很清楚:定时任务、长期运行的编程智能体,以及那些白天开着、隔几个小时才被叫一次的助手。
Codex 和 Work 的“永久缓存”则是另一套逻辑。它不对 API 客户开放,由 OpenAI 自己承担存储成本,换来的是订阅用户在长对话里不再被冷启动拖慢。API 客户什么时候能拿到更长的档位,OpenAI 没有给时间表。
参考来源:OpenAI 开发者文档(提示缓存指南)、OpenAI Developers 官方账号、CocoLoop、Anthropic 定价页;费率倍数以 OpenAI 文档列出的口径为准,成本对比为编辑估算。