Anthropic merilis panduan arsitektur untuk agent e-commerce sekaligus meng-open-source-kan implementasi referensinya, anthropics/commerce-agents, di GitHub. Cakupannya meliputi shopping agent, merchant agent, serta framework dan alat evaluasi untuk empat skenario: ritel, perjalanan, telekomunikasi, dan tiket. Tulisan ini disusun oleh Ali Shazal dan Matthew Koen.
Rekomendasi pembukanya sederhana sampai terasa berlawanan dengan intuisi: satu model, satu loop agent standar, kemampuan ekor panjang diserahkan ke skill, dan tool langsung memanggil sistem backend yang sudah ada.
Skill lebih diutamakan daripada sub-agent
Dokumen ini menempatkan "skill, bukan sub-agent" sebagai butir pertama dalam prinsip arsitekturnya. Alasannya, proses serah terima pada arsitektur sub-agent rentan kehilangan status, sehingga kualitas menurun. Menurut Anthropic, dalam perbandingan internal mereka, kombinasi agent tunggal dengan skill secara konsisten mengungguli dua alternatif lain — satu prompt serba bisa yang menangani semuanya, dan arsitektur yang dipecah menjadi banyak sub-agent.
Untuk menentukan pembagian antara system prompt dan skill, panduan ini memberi aturan berdasarkan frekuensi: instruksi yang dipakai lebih dari sepertiga permintaan masuk ke system prompt, sisanya masuk ke skill. Dalam konteks belanja, pencarian produk muncul di hampir setiap sesi, sehingga tetap berada di prompt.
Komponen antarmuka juga diperlakukan sebagai tool, bukan dengan membiarkan model mengeluarkan tag kustom. Pendekatan tag kustom terbukti kurang andal di lingkungan produksi, karena format tag yang dihasilkan model tidak punya batasan yang kuat.
Cache hit rate menentukan tagihan latensi
Inti dari bagian performa terpusat pada caching. Dokumen ini menyebut cache hit rate di produksi bisa mencapai 90% hingga 99%, dan biaya membaca dari cache hanya sepersepuluh dari token baru. Caranya dengan memecah permintaan menjadi tiga segmen berurutan tetap: segmen global berisi system prompt dan definisi tool, segmen sesi berisi konteks pengguna, dan segmen volatil berisi status saat ini.
Ada satu jebakan yang disebutkan secara gamblang: menaruh timestamp atau halaman yang sedang aktif di bagian atas system prompt akan membuat cache tidak valid pada setiap permintaan. Kesalahan ini umum terjadi di e-commerce karena developer terbiasa menaruh "keranjang saat ini" di bagian paling depan. Dokumen ini juga memberi angka acuan — respons e-commerce biasanya berkisar 500 hingga 700 output token.
Metodologi pemilihan model dilakukan dengan menjalankan seluruh evaluation suite pada semua kandidat model dan semua tingkat inferensi, lalu menimbang metrik kualitas bersama anggaran latensi dan biaya, bukan menilainya secara terpisah.
Keamanan tidak bisa hanya mengandalkan prompt
Sikap pada bagian deployment produksi cukup tegas: prompt adalah titik awal perilaku yang aman, tetapi dalam e-commerce ia tidak boleh menjadi titik eksekusi. Tindakan seperti pembayaran, refund, dan perubahan harga harus melalui staging dan persetujuan di sisi server. Mekanisme yang dijelaskan dokumen ini disebut kontrol akses berbasis ID — harness mencatat, untuk setiap sesi, setiap ID yang benar-benar diberikan server ke model, dan hanya ID dalam catatan itu yang boleh ditulis atau diterima untuk dirender. ID produk yang dikarang sendiri oleh model langsung ditolak.
Memori juga didorong keluar dari model: memori jangka panjang disimpan di database milik Anthropic sendiri sebagai catatan bertipe — key, value, kategori, dan sesi sumber — yang dibaca secara asinkron oleh thread atau proses terpisah untuk menambah, menghapus, atau memperbarui fakta. Ekstraksi asinkron ini meningkatkan recall fakta sebesar 13%.
Evaluasi meninggalkan simulasi percakapan multi-giliran dan beralih ke pendekatan snapshot: membangun status uji, menambahkan satu pesan pengguna, lalu menilai hasilnya. Skala awal yang disarankan adalah 50 hingga 100 kasus uji per alur pengguna, dengan contoh positif dan negatif berpasangan, mencakup permintaan yang bergantung pada konteks maupun permintaan yang melintasi beberapa kemampuan sekaligus.
Anthropic menyebut agent-agent ini sudah berjalan di produksi, dan pelanggan enterprise mencatat nilai pesanan yang lebih besar. Nama pelanggan spesifik tidak diungkapkan.
Sumber: blog resmi Anthropic, repositori GitHub anthropics/commerce-agents, CocoLoop; angka cache hit rate, peningkatan recall 13%, dan kisaran 500-700 output token semuanya dikutip dari dokumen tersebut.