OpenAI beri diskon mode latar belakang hingga 40%

OpenAI menambahkan dua tingkat batas waktu penyelesaian pada mode latar belakang (background mode) di Responses API. Developer menyetel background: true pada permintaan, lalu memilih 2h atau 8h lewat background_options.completion_window. Tarif token model masing-masing turun 30% dan 40% dibanding Standard. Jika parameter ini tidak diisi, permintaan berjalan dengan nilai bawaan soonest dan ditagih sesuai harga normal. Situs developer pihak ketiga mencatat tanggal peluncurannya pada 17 November, dan dokumentasi developer OpenAI kini sudah menuliskan aturannya secara lengkap.

Mode latar belakang sendiri bukan hal baru. Fungsinya mengubah permintaan yang memakan waktu lama menjadi asinkron: klien cukup menerima response ID lalu boleh memutus koneksi, dan hasilnya diambil kemudian lewat webhook atau polling. Yang baru kali ini adalah opsi “mau menunggu, bayar lebih murah”. Contoh di dokumentasi cukup membumi: tingkat 2 jam cocok untuk menganalisis tiket dukungan pelanggan yang menumpuk sejak pagi sebelum rapat triase sore, sedangkan tingkat 8 jam cocok untuk menyerahkan sekumpulan dokumen agar ditinjau semalaman dan hasilnya dilihat keesokan paginya.

Illustration: three belts carry parcels, with coins on the two longer belts marking OpenAI background task discounts

Syarat agar mendapat diskon

Diskon saat ini berstatus beta publik dan hanya mencakup GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra, dan GPT-6 Luna. Beberapa batasannya ditulis sangat rinci:

  • service_tier harus disetel ke default, yaitu pemrosesan Standard; bila disetel ke auto, diskon hanya berlaku jika API benar-benar memilih Standard;
  • Permintaan 2h dan 8h tidak boleh memakai keluaran streaming, sehingga stream harus dihilangkan atau diatur ke false;
  • Kedua tingkat ini berbagi batas laju (rate limit) yang sama dengan Batch API, dan token input sudah dihitung saat pengiriman;
  • Batas waktu hanyalah target: setelah API menerima permintaan, ia berusaha menyelesaikannya dalam jendela waktu, dan otomatis mencoba ulang bila terjadi galat kapasitas yang memenuhi syarat.

Ada satu hal yang mudah terlewat. Cache prompt yang dibuat pada tingkat 2h dan 8h tidak bisa dipakai ulang oleh permintaan Standard biasa, meskipun prompt-nya persis sama kata demi kata. Aplikasi yang separuh trafiknya lewat jendela diskon dan separuhnya lagi real time akan mendapati rasio cache hit-nya terbelah dua.

Tugas agen berlangkah banyak juga bisa menikmati diskon. Permintaan lanjutan dalam alur kerja yang sama harus mempertahankan proyek API yang sama, model yang sama, service tier yang sama, pengaturan background yang sama, batas waktu penyelesaian yang sama, dan continuation_id yang sama. ID ini dibuat sendiri oleh aplikasi, dan memakainya kembali juga memberi prioritas antrean yang lebih tinggi. Jika respons sebelumnya sudah kedaluwarsa, input asli dan seluruh item keluaran harus diputar ulang secara berurutan, dengan item penalaran terenkripsi dan pemanggilan fungsi mentah yang tidak boleh ketinggalan.

Flex pergi, Batch tetap

Ada satu perubahan di dokumentasi yang bobotnya tidak ringan: mulai GPT-6.2 Astra dan Sol, model baru tidak lagi menyediakan pemrosesan Flex (service_tier: flex) saat diluncurkan. Permintaan berdurasi panjang dialihkan ke jendela diskon dengan Standard. Flex semula adalah jalur murah yang disediakan OpenAI untuk permintaan yang tidak masalah kalau agak lambat, dan kebutuhan itu kini diserap ke dalam dua tingkat batas waktu di mode latar belakang.

Jika disandingkan dengan Batch API, pembagian perannya cukup jelas. Batch cocok untuk mengirim sekaligus banyak permintaan yang tidak saling bergantung, dan dokumentasi juga menyarankan tetap memakainya untuk tugas semacam itu. Tingkat 2h dan 8h di mode latar belakang ditujukan untuk satu tugas panjang, terutama eksekusi agen yang memanggil alat dan berjalan dalam beberapa langkah. Hasilnya bisa diterima lewat webhook, dan eksekusi bisa dibatalkan di tengah jalan dengan memanggil POST /v1/responses/{id}/cancel; pembatalan berulang bersifat idempoten.

Hitungan kasarnya begini: tugas peninjauan dokumen yang berjalan sekali tiap malam dan menghabiskan 100 juta token per putaran akan ditagih 60% untuk biaya token setelah dipindah ke tingkat 8 jam. Mengonversinya ke dolar bergantung pada harga satuan tiap model dan rasio input terhadap output. OpenAI kali ini tidak merinci daftar harga per jendela, dan harga per sejuta token yang beredar di internet belum bisa dicocokkan dengan halaman resmi, jadi artikel ini tidak memakainya.

Data disimpan sementara di disk

Tim yang menangani kepatuhan perlu memperhatikan satu ketentuan: mode latar belakang menyimpan data respons secara sementara agar permintaan dapat diselesaikan dan klien bisa mengambil hasilnya, bahkan jika store: false disetel atau organisasi mengaktifkan Zero Data Retention (ZDR). OpenAI menyebut data sementara untuk ketiga jendela waktu sudah dienkripsi saat disimpan (at rest); berapa lama data disimpan tidak dituliskan dalam dokumentasi.

Bagi pelanggan di sektor kesehatan dan keuangan yang telah menandatangani perjanjian zero data retention, ini adalah pertukaran yang nyata: untuk mendapat diskon 40%, mereka harus menerima data singgah sebentar di sisi OpenAI. Ada pula harga dari sisi pengalaman pakai. Dokumentasi mengingatkan bahwa token pertama respons latar belakang bisa datang lebih lambat dibanding permintaan sinkron, dan contoh Java serta Ruby langsung menyetel batas waktu (timeout) hingga 30 menit.

Sumber: Panduan Background mode di dokumentasi developer OpenAI, dipakai untuk memverifikasi besaran diskon 2h dan 8h, model yang berlaku, perubahan Flex, dan ketentuan penyimpanan sementara; CocoLoop; Komunitas Developer OpenAI.