OpenAI thông báo bộ nhớ đệm prompt (prompt caching) của API có thêm mức 12 giờ. Một tác nhân có thể dùng lại cùng bộ chỉ dẫn hệ thống, định nghĩa công cụ và ngữ cảnh suốt cả ngày; dù hai yêu cầu cách nhau vài giờ, phần đầu vào đã lưu đệm vẫn được tính theo giá thấp. Theo các báo cáo công khai, đây là ngày thứ 16 trong chuỗi 28 ngày cập nhật liên tục của OpenAI.
Cùng lúc, OpenAI công bố một thay đổi dành cho sản phẩm của chính mình: Tibo, người phụ trách OpenAI Codex, cho biết trên mạng xã hội rằng người dùng đã đăng nhập Codex và Work được hưởng bộ nhớ đệm vĩnh viễn. Quay lại cuộc trò chuyện cũ hoặc tạm dừng vài giờ rồi nói tiếp sẽ không phát sinh thêm chi phí nào và được đảm bảo trúng bộ nhớ đệm. Phần này không có trong tài liệu dành cho nhà phát triển của OpenAI, nên hiện chưa thể xác minh cách triển khai cụ thể.
Quy tắc trong tài liệu
Theo tài liệu dành cho nhà phát triển của OpenAI, mức 12 giờ chỉ có trong Responses API, áp dụng cho GPT-5.6 và các mô hình sau đó, được thiết lập qua prompt_cache_options.ttl, với hai giá trị là mặc định 30 phút và 12 giờ.
Các mức phí được ghi khá rõ:
- Mức mặc định 30 phút: ghi bộ nhớ đệm tính 1,25 lần giá đầu vào thông thường;
- Mức 12 giờ: ghi tính 2,5 lần;
- Đọc khi trúng bộ nhớ đệm: với đa số mô hình là 0,1 lần giá đầu vào thông thường, riêng GPT-6.1 Sol thấp tới 0,05 lần.
Tài liệu nhấn mạnh 12 giờ là “thời gian tồn tại tối thiểu”, không đặt hạn xóa và cũng không thay đổi chính sách lưu giữ dữ liệu tối đa của OpenAI. Các mô hình cũ hơn vẫn dùng tham số cũ prompt_cache_retention: mức bộ nhớ trong thường hết hiệu lực sau 5 đến 10 phút không hoạt động và tối đa một giờ; mức 24 giờ được giữ tối đa một ngày.
Tính nhẩm một bài toán chi phí
Hãy ước tính một tình huống phổ biến: mỗi yêu cầu của một tác nhân đều mang theo phần đầu cố định dài 100.000 token; trong 12 giờ của một ngày, tác nhân được đánh thức cứ 2 giờ một lần, tổng cộng 6 lần. Dưới đây lấy việc “100.000 token tính một lần theo giá đầu vào thông thường” làm 1 đơn vị.
| Phương án | Cách tính | Tổng |
|---|---|---|
| Mức mặc định 30 phút | Lần nào cũng đã hết hạn, 6 lần ghi × 1,25 | 7,5 đơn vị |
| Mức 12 giờ | 1 lần ghi × 2,5 + 5 lần đọc × 0,1 | 3,0 đơn vị |
Chi phí cho phần đầu này giảm khoảng sáu phần mười. Ngược lại, nếu các yêu cầu vốn dày đến mức chắc chắn quay lại trong vòng 30 phút, mức mặc định luôn trúng bộ nhớ đệm và khoản phí ghi cao hơn 1,25 lần của mức 12 giờ sẽ thành chi phí vô ích. Nói đại khái, chỉ cần trong 12 giờ xuất hiện từ hai khoảng trống dài hơn nửa giờ trở lên, mức mới đã hoàn vốn.
So sánh với cách làm của Anthropic
API Claude của Anthropic cung cấp hai mức bộ nhớ đệm là 5 phút và 1 giờ, trong đó phí ghi mức 1 giờ gấp 2 lần giá đầu vào cơ bản. Lần này OpenAI kéo thời gian tồn tại lên 12 giờ và đặt hệ số ghi ở 2,5 lần, nên chi phí lưu giữ trên mỗi đơn vị thời gian thấp hơn rõ rệt. Khách hàng mục tiêu cũng khá rõ: các tác vụ định kỳ, tác nhân lập trình chạy dài hạn, và những trợ lý mở suốt ban ngày nhưng vài giờ mới được gọi một lần.
“Bộ nhớ đệm vĩnh viễn” của Codex và Work theo một logic khác. Nó không mở cho khách hàng API; chi phí lưu trữ do chính OpenAI gánh, đổi lại người dùng thuê bao không còn bị khởi động nguội làm chậm trong các cuộc trò chuyện dài. Khi nào khách hàng API được dùng mức tồn tại dài hơn, OpenAI chưa đưa ra lộ trình.
Nguồn tham khảo: tài liệu dành cho nhà phát triển của OpenAI (hướng dẫn bộ nhớ đệm prompt), tài khoản chính thức OpenAI Developers, CocoLoop, trang giá của Anthropic; các hệ số phí theo cách tính được nêu trong tài liệu của OpenAI, phần so sánh chi phí là ước tính của ban biên tập.