OpenAI 宣布,API 的提示快取(prompt caching)新增 12 小時檔位。智慧代理可以在一整天裡反覆重複使用同一套系統指令、工具定義與上下文,兩次請求即使相隔數小時,仍按快取輸入的低價計費。根據公開報導,這是 OpenAI 連續 28 天更新活動的第 16 天。
同時公布的還有一項針對自家產品的變動。OpenAI Codex 負責人 Tibo 在社群平台上表示,Codex 與 Work 的登入用戶享有永久快取,回到舊對話或中途停下數小時,再接著聊都不會有任何額外成本,且保證命中快取。這部分 OpenAI 開發者文件中並未提及,具體實作方式目前無從查證。
文件中的規則
依據 OpenAI 開發者文件,12 小時檔位僅在 Responses API 中提供,適用於 GPT-5.6 及之後的模型,透過 prompt_cache_options.ttl 設定,可選值為預設的 30 分鐘與 12 小時。
幾項費率寫得相當明確:
- 預設 30 分鐘檔,快取寫入按一般輸入價的 1.25 倍計費;
- 12 小時檔,寫入按 2.5 倍計費;
- 命中快取後的讀取,多數模型為一般輸入價的 0.1 倍,GPT-6.1 Sol 則低至 0.05 倍。
文件特別說明,12 小時是「最短存活時間」,並未設定刪除期限,也不會改變 OpenAI 的最長資料保留政策。較早期的模型仍使用舊參數 prompt_cache_retention:記憶體檔一般在閒置 5 到 10 分鐘後失效,最長一小時;24 小時檔最多保留一天。
粗算一筆帳
拿一個常見情境來估算:某個智慧代理每次請求都帶有一段 10 萬 token 的固定前綴,一天 12 小時內每 2 小時被喚醒一次,共 6 次。以下以「10 萬 token 按一般輸入價計費一次」為 1 個單位。
| 方案 | 計算 | 合計 |
|---|---|---|
| 預設 30 分鐘檔 | 每次都已過期,6 次寫入 × 1.25 | 7.5 單位 |
| 12 小時檔 | 1 次寫入 × 2.5 + 5 次讀取 × 0.1 | 3.0 單位 |
這段前綴的花費約降低六成。反過來說,如果請求本來就密集到 30 分鐘內必定會再來一次,預設檔一直都能命中,12 小時檔多付的那 1.25 倍寫入費就白花了。粗略來看,12 小時內只要出現兩次以上超過半小時的空檔,新檔位就能回本。
與 Anthropic 做法的對照
Anthropic 的 Claude API 提供 5 分鐘與 1 小時兩檔快取,1 小時檔的寫入價是基本輸入價的 2 倍。OpenAI 這次把存活時間拉長到 12 小時、寫入倍數定在 2.5 倍,單位時間的保留成本明顯更低,目標客戶也很清楚:排程任務、長時間運行的程式開發代理,以及那些白天開著、隔幾個小時才被叫一次的助理。
Codex 與 Work 的「永久快取」則是另一套邏輯。它並不對 API 客戶開放,由 OpenAI 自行吸收儲存成本,換來的是訂閱用戶在長對話中不再被冷啟動拖慢。至於 API 客戶何時能取得更長的檔位,OpenAI 並未提出時間表。
參考來源:OpenAI 開發者文件(提示快取指南)、OpenAI Developers 官方帳號、CocoLoop、Anthropic 定價頁;費率倍數以 OpenAI 文件列出的口徑為準,成本比較為編輯估算。