OpenAI mengumumkan bahwa cache prompt (prompt caching) di API kini memiliki tingkat 12 jam. Agen dapat memakai ulang instruksi sistem, definisi alat, dan konteks yang sama sepanjang hari. Meski dua permintaan terpaut beberapa jam, input tetap ditagih dengan harga murah untuk input yang di-cache. Menurut laporan publik, ini adalah hari ke-16 dari rangkaian pembaruan 28 hari berturut-turut yang digelar OpenAI.
Perubahan untuk produk OpenAI sendiri juga diumumkan bersamaan. Tibo, pemimpin OpenAI Codex, menyatakan di media sosial bahwa pengguna yang masuk (login) di Codex dan Work mendapat cache permanen: kembali ke percakapan lama, atau berhenti beberapa jam di tengah obrolan lalu melanjutkannya, tidak menimbulkan biaya tambahan apa pun, dan cache dijamin terpakai. Bagian ini tidak tercantum dalam dokumentasi pengembang OpenAI, sehingga cara kerjanya belum dapat diverifikasi saat ini.
Aturan dalam dokumentasi
Menurut dokumentasi pengembang OpenAI, tingkat 12 jam hanya tersedia di Responses API dan berlaku untuk GPT-5.6 serta model setelahnya. Pengaturannya dilakukan lewat prompt_cache_options.ttl, dengan pilihan nilai bawaan 30 menit dan 12 jam.
Tarifnya dituliskan dengan jelas:
- Pada tingkat bawaan 30 menit, penulisan cache ditagih 1,25 kali harga input biasa;
- Pada tingkat 12 jam, penulisan ditagih 2,5 kali;
- Pembacaan setelah cache terpakai pada sebagian besar model sebesar 0,1 kali harga input biasa, dan serendah 0,05 kali untuk GPT-6.1 Sol.
Dokumentasi secara khusus menyebut bahwa 12 jam adalah "waktu hidup minimum", bukan batas waktu penghapusan, dan tidak mengubah kebijakan retensi data maksimum OpenAI. Model yang lebih lama tetap memakai parameter lama prompt_cache_retention: tingkat memori umumnya kedaluwarsa setelah menganggur 5 hingga 10 menit dan paling lama satu jam, sedangkan tingkat 24 jam menyimpan data hingga satu hari.
Hitung-hitungan kasar
Ambil satu skenario umum: sebuah agen menyertakan prefiks tetap sepanjang 100.000 token di setiap permintaan, dibangunkan setiap 2 jam dalam 12 jam sehari, sehingga totalnya 6 kali. Di bawah ini, 100.000 token yang ditagih sekali dengan harga input biasa dihitung sebagai 1 unit.
| Skema | Perhitungan | Total |
|---|---|---|
| Tingkat bawaan 30 menit | Selalu sudah kedaluwarsa, 6 kali tulis × 1,25 | 7,5 unit |
| Tingkat 12 jam | 1 kali tulis × 2,5 + 5 kali baca × 0,1 | 3,0 unit |
Biaya untuk prefiks ini turun sekitar enam puluh persen. Sebaliknya, jika permintaan sudah begitu rapat sehingga pasti ada permintaan berikutnya dalam 30 menit, tingkat bawaan akan selalu terpakai, dan biaya tulis tambahan 1,25 kali di tingkat 12 jam menjadi sia-sia. Secara kasar, tingkat baru ini balik modal begitu muncul dua jeda atau lebih yang lebih panjang dari setengah jam dalam rentang 12 jam.
Perbandingan dengan pendekatan Anthropic
Claude API milik Anthropic menyediakan dua tingkat cache, 5 menit dan 1 jam, dan harga tulis tingkat 1 jam adalah 2 kali harga input dasar. Dengan memperpanjang masa hidup hingga 12 jam dan menetapkan pengali tulis 2,5 kali, OpenAI membuat biaya penyimpanan per satuan waktu jauh lebih rendah. Pelanggan sasarannya pun jelas: tugas terjadwal, agen pemrograman yang berjalan lama, serta asisten yang dibiarkan menyala di siang hari tetapi hanya dipanggil setiap beberapa jam.
"Cache permanen" untuk Codex dan Work mengikuti logika lain. Fitur ini tidak dibuka bagi pelanggan API; OpenAI sendiri yang menanggung biaya penyimpanan, dan sebagai imbalannya pengguna berlangganan tidak lagi terhambat cold start dalam percakapan panjang. Kapan pelanggan API bisa mendapatkan tingkat yang lebih panjang, OpenAI belum memberikan jadwal.
Sumber: dokumentasi pengembang OpenAI (panduan prompt caching), akun resmi OpenAI Developers, CocoLoop, halaman harga Anthropic. Pengali tarif mengikuti angka yang tercantum dalam dokumentasi OpenAI; perbandingan biaya merupakan estimasi redaksi.