Pada 2 November, Anthropic membuka beta publik message threads di Claude Platform. Pengembang cukup menambahkan satu parameter thread pada permintaan Messages API, mengirim seluruh percakapan pada giliran pertama, lalu pada giliran berikutnya hanya mengirim pesan baru beserta ID balasan sebelumnya. Server yang menyusun kembali percakapan itu.
Angka yang disodorkan Anthropic berasal dari Claude Code. Fitur ini sudah aktif secara bawaan bagi sebagian besar pengguna Claude Code, dan pada permintaan 500 ribu hingga 1 juta token, median waktu ke token pertama turun sekitar 35%. Hasil untuk rentang panjang lainnya tidak dicantumkan di blog.
Beta publik ini mencakup Claude API, Claude Platform on AWS, Microsoft Foundry, dan Claude yang di-hosting Anthropic di Google Cloud. Model yang tercantum dalam dokumentasi berkisar dari Sonnet 4.5 dan Opus 4.5 hingga Fable 5.1 dan Mythos 5.1.
Yang dihemat adalah validasi dan tokenisasi
Tanpa thread, agen harus mengunggah ulang seluruh percakapan pada setiap giliran, dan API pun harus memvalidasi serta memecah token dari awal lagi. Semakin panjang sesi, semakin lama pekerjaan persiapan ini. Agen yang mengoperasikan komputer paling dirugikan, sebab tangkapan layar riwayat harus dikirim ulang di setiap giliran.
Thread menaruh semua konten itu di memori server terlebih dahulu, sehingga beban pemrosesan pada dasarnya tinggal giliran yang baru ditambahkan.
Claude tetap membaca seluruh percakapan di setiap giliran, jadi jumlah token di sisi model tidak berkurang, dan penagihan serta pembatasan laju tetap mengikuti aturan yang ada. Hitungan kasarnya begini: untuk sesi 800.000 token dengan tambahan 2.000 token per giliran, isi yang dikirim dalam permintaan dengan thread sekitar seperempat ratus dari semula, tetapi token masukan di tagihan tetap lebih dari 800.000. Untuk benar-benar berhemat, tetap dibutuhkan prompt caching, yang merupakan sakelar terpisah. Permintaan thread dapat menyertakan cache_control di tingkat teratas; tanpa itu, mengirim pesan baru saja tidak akan menyimpan apa pun ke dalam cache.
Siapkan jalur cadangan saat mengintegrasikan
Dokumentasi mendefinisikan thread sebagai layanan “upaya terbaik” (best effort), dan itu menentukan cara integrasinya.
- Kedaluwarsa: thread kedaluwarsa 5 menit setelah permintaan terakhir, pengatur waktunya dimulai ulang setiap kali balasan disimpan, dan thread dihapus paling lambat 1 jam setelah penggunaan terakhir.
- Tidak berlaku lagi: begitu permintaan lanjutan mengembalikan 404, Anda harus mengirim ulang seluruh percakapan dan membuka thread baru. Hasil yang dikembalikan tidak memberi tahu apakah giliran tersebut berhasil disimpan; Anda baru tahu pada permintaan lanjutan berikutnya.
- Salinan: versi otoritatif percakapan tetap berada di sisi aplikasi. Helper SDK resmi menyimpan satu salinan di memori dan memutar ulangnya secara otomatis, tetapi salinan itu hilang saat proses berakhir; jika perlu lintas proses, Anda harus menyimpannya sendiri.
- Kolom tetap:
systemdantoolshanya dikirim saat pembuatan, dan menyertakannya dalam permintaan lanjutan, bahkan sebagai null, akan memicu galat 400. Kolom sepertimodel,thinking,tool_choice, danmcp_serversharus dikirim ulang apa adanya di setiap giliran; jika diubah, hasilnyathread_fingerprint_mismatch. Untuk mengganti prompt sistem atau alat, satu-satunya cara adalah membuka thread baru.
Ada pula batasan dari sisi kepatuhan. Isi thread disimpan terenkripsi di memori dan tidak ditulis ke penyimpanan persisten, tetapi fitur ini tidak memenuhi syarat nol retensi data (ZDR). Perusahaan yang telah menandatangani ZDR tidak terpengaruh pada fitur lain, tetapi tidak dapat memakai thread.
Pengembang juga perlu membedakan: Claude Managed Agents memiliki session threads sendiri, yang merupakan hal berbeda dari message threads yang diumumkan kali ini.
Satu potongan yang akhirnya dilengkapi
Responses API milik OpenAI sudah lama memiliki previous_response_id, yang juga meneruskan sebuah ID untuk melanjutkan konteks sebelumnya. Anthropic lama mewajibkan klien membawa riwayat lengkap di setiap giliran; keuntungannya tanpa status (stateless) dan implementasinya lugas, tetapi harganya adalah latensi saat percakapan memanjang. Pendekatan kali ini adalah jalan tengah: status hanya singgah sebentar di server, bila hilang tinggal diputar ulang, dan salinan di sisi klien tidak boleh kurang satu pun.
Dari skenario penggunaan yang didaftar secara resmi, sasaran utamanya adalah agen pemrograman yang berjalan lama, agen pengoperasi komputer, dan alur kerja yang padat dokumen serta gambar. Anthropic pun mengaktifkannya lebih dulu secara bawaan di Claude Code miliknya sendiri sebelum membukanya untuk pengguna API.
Berapa besar peningkatan untuk percakapan biasa yang lebih pendek dari beberapa ratus ribu token, Anthropic tidak memberikan angkanya; dokumentasi hanya menyebut bahwa thread paling membantu dalam putaran agen yang panjang. Tim yang membangun agen sendiri sebaiknya mengujinya dulu dengan sebaran panjang sesi mereka, lalu memutuskan apakah layak menulis satu lapis kode tambahan untuk jalur pemutaran ulang saat 404 itu.
Sumber: blog resmi Claude, CocoLoop, dokumentasi pengembang Claude Platform; penurunan latensi mengacu pada median Claude Code yang dipublikasikan resmi, dan hitungan kasar merupakan perkiraan editor.