Kepala Codex di OpenAI, Thibault Sottiaux (Tibo), mengumumkan di X pada malam 11 Oktober bahwa panjang konteks default GPT-6.1 Sol saat dipakai di Codex dan ChatGPT Work naik dari 272 ribu token menjadi 500 ribu token, kenaikan sekitar 80% menurut pernyataannya sendiri.
Ini adalah hari ke-7 program "28 hari pembaruan berturut-turut" tim Codex. Program itu diumumkan pada 4 Oktober, dengan aturan setiap hari tim merilis satu perbaikan yang berguna bagi sebagian besar pengguna, atau mereset kuota untuk semua orang.
Apa yang berubah
Sottiaux hanya menyebut satu alasan: mengurangi seberapa sering kompaksi konteks (compaction) terjadi. Dalam tugas panjang, agen Codex terus memasukkan isi file, keluaran perintah, dan catatan pemanggilan alat ke dalam konteks. Setelah jendela penuh, sistem harus memadatkan isi lama agar bisa melanjutkan. Harganya adalah hilangnya detail, sehingga agen bisa lupa tanda tangan fungsi atau pesan galat yang sudah dibacanya.
"It was carefully tested and is the new sweet spot for most of our users."
(Nilai ini diuji dengan cermat dan menjadi titik keseimbangan baru bagi sebagian besar pengguna.)
Nilai default baru bisa dinaikkan atau diturunkan secara manual. Batas atas yang ia tulis di unggahannya adalah 1 juta, sedangkan halaman model OpenAI mencantumkan jendela penuh GPT-6.1 Sol sebesar 1,05 juta token dengan keluaran maksimum 128 ribu. Ia juga menambahkan "We will go higher in the future" tanpa memberi jadwal.
Ada laporan yang menyebut perubahan ini tidak dikenai biaya tambahan bagi pelanggan langganan. Unggahan Sottiaux sendiri tidak membahas harga, dan apakah jendela default yang lebih besar akan menghabiskan kuota mingguan lebih cepat juga belum dijelaskan secara terbuka oleh OpenAI. Rujuk penjelasan penggunaan resmi berikutnya.
Dari mana angka 272 ribu berasal
Default lama 272 ribu bukan angka asal-asalan. Halaman model OpenAI menyatakan bahwa jika input permintaan API ke GPT-6.1 Sol melebihi 272 ribu token, seluruh input dan input ter-cache ditagih 2 kali lipat, sedangkan output 1,5 kali lipat. Dengan tarif standar US$2 per juta token untuk input dan US$10 untuk output, setelah melewati batas itu angkanya menjadi sekitar US$4 untuk input dan US$15 untuk output.
Default dan ambang biaya tambahan bertepatan persis, sehingga sebagian analis menduga pengaturan lama itu dimaksudkan untuk melindungi pengguna dari biaya konteks panjang. Sottiaux tidak mengonfirmasi hal ini. Pelanggan langganan membayar lewat kuota, bukan per token, dan bagaimana kedua skema itu dikonversi tidak terlihat dari luar.
Merangkai beberapa titik terakhir
Pengelolaan konteks Codex terus bergerak selama dua bulan terakhir:
- Awal September, beberapa pull request digabungkan ke repositori openai/codex. Arahnya: saat sesi penuh, tidak lagi membuat ringkasan, melainkan membuka jendela baru dan dilengkapi alat pencarian riwayat agar model bisa menelusuri catatan lama sendiri;
- Pada 30 September, seorang pengguna mengajukan isu di GitHub, mengaku bahwa di Codex versi desktop, membuka utas baru dan hanya membalas "OK" sudah membuat penggunaan konteks GPT-6.1 Sol mencapai sekitar 208 ribu / 258 ribu, sementara GPT-6 Sol dalam skenario yang sama sekitar 40 ribu. Pelapor sendiri mengaku tidak bisa memastikan apakah token tambahan itu benar-benar dikirim ke model atau hanya salah tampil di statistik. Isu itu ditandai selesai dan ditutup pada 8 Oktober, dan tidak ada balasan dari staf OpenAI di halamannya;
- Pada 11 Oktober, jendela default naik menjadi 500 ribu.
Jika ketiganya dilihat bersama, Codex di satu sisi mengubah mekanisme kompaksi dan di sisi lain memperbesar jendela, dan keduanya mengarah ke gejala yang sama: agen "lupa" di tengah tugas panjang. Apakah penyesuaian ini berhubungan langsung dengan laporan masalah tersebut, pihak resmi tidak menyebutnya. Jika utas baru masih langsung menghabiskan lebih dari 200 ribu token sejak awal, ruang 258 ribu yang lama nyaris habis begitu pekerjaan dimulai, dan dengan 500 ribu ruang geraknya jauh lebih longgar.
Bagi pengembang di Tiongkok, Codex memerlukan akun ChatGPT berbayar. Perubahan ini hanya memengaruhi GPT-6.1 Sol di dua pintu masuk Codex dan Work, sedangkan proyek yang memanggil API secara langsung tidak terpengaruh: panjang konteks tetap ditentukan peminta, dan ambang harga tidak berubah.
Sumber: pengumuman Thibault Sottiaux di media sosial, halaman model GPT-6.1 Sol OpenAI, CocoLoop, FourWeekMBA; laporan isu di repositori openai/codex digunakan untuk memverifikasi angka penggunaan konteks pada utas baru, dan halaman model untuk memverifikasi batas jendela serta pengali harga konteks panjang.