OpenAI API 提示缓存延长到 12 小时

OpenAI 宣布,API 的提示缓存(prompt caching)新增 12 小时档位。智能体可以在一整天里反复复用同一套系统指令、工具定义和上下文,两次请求隔了几个小时,仍按缓存输入的低价计费。公开报道显示,这是 OpenAI 连续 28 天更新活动中的第 16 天。

同时公布的还有一条面向自家产品的变化:OpenAI Codex 负责人 Tibo 在社交平台上称,Codex 和 Work 的登录用户享有永久缓存,回到旧对话或者中途停几个小时,再接着聊不会有任何额外代价,并且保证命中缓存。这部分 OpenAI 开发者文档里没有写,具体实现方式目前无法核实。

文档里的规则

按 OpenAI 开发者文档,12 小时档位只在 Responses API 里提供,适用于 GPT-5.6 及之后的模型,通过 prompt_cache_options.ttl 设置,可选值是默认的 30 分钟和 12 小时。

几项费率写得很清楚:

  • 默认 30 分钟档,缓存写入按普通输入价的 1.25 倍计费;
  • 12 小时档,写入按 2.5 倍计费;
  • 命中缓存后的读取,多数模型是普通输入价的 0.1 倍,GPT-6.1 Sol 低至 0.05 倍。

文档特意说明,12 小时是“最短存活时间”,不设定删除期限,也不改变 OpenAI 的最长数据保留政策。更早的模型仍用旧参数 prompt_cache_retention:内存档一般在闲置 5 到 10 分钟后失效、最长一小时;24 小时档最多保留一天。

粗算一笔账

拿一个常见场景估算:某智能体每次请求都带一段 10 万 token 的固定前缀,一天 12 小时里每 2 小时被唤醒一次,共 6 次。下面以“10 万 token 按普通输入价计费一次”为 1 个单位。

方案计算合计
默认 30 分钟档每次都已过期,6 次写入 × 1.257.5 单位
12 小时档1 次写入 × 2.5 + 5 次读取 × 0.13.0 单位

这段前缀的花费降了六成左右。反过来,如果请求本来就密集到 30 分钟内一定会再来一次,默认档一直命中,12 小时档多付的那 1.25 倍写入费就白花了。粗略看,12 小时内只要出现两次以上超过半小时的空档,新档位就能回本。

和 Anthropic 的做法对照

Anthropic 的 Claude API 提供 5 分钟和 1 小时两档缓存,1 小时档的写入价是基础输入的 2 倍。OpenAI 这次把存活时间拉到 12 小时、写入倍数定在 2.5 倍,单位时间的保留成本明显更低,目标客户也很清楚:定时任务、长期运行的编程智能体,以及那些白天开着、隔几个小时才被叫一次的助手。

Codex 和 Work 的“永久缓存”则是另一套逻辑。它不对 API 客户开放,由 OpenAI 自己承担存储成本,换来的是订阅用户在长对话里不再被冷启动拖慢。API 客户什么时候能拿到更长的档位,OpenAI 没有给时间表。

参考来源:OpenAI 开发者文档(提示缓存指南)、OpenAI Developers 官方账号、CocoLoop、Anthropic 定价页;费率倍数以 OpenAI 文档列出的口径为准,成本对比为编辑估算。