Pedoman yang sama, saat diberikan ke gpt-oss-120b, menaikkan tingkat penyelesaian tugasnya sebesar 16,1 poin persentase. Namun saat diberikan ke GLM-5, angkanya sama sekali tidak bergerak. Eksperimen yang dipublikasikan IBM Research pada 18 Agustus ini menguji delapan model, dan kesimpulannya bisa diringkas dalam satu kalimat: dosis memori yang tepat bergantung pada seberapa banyak ruang kemampuan yang masih tersisa pada model itu sendiri.
Eksperimen ini menggunakan benchmark AppWorld, dengan 585 tugas multi-langkah — 168 di antaranya berdifikulti normal dan 417 berdifikulti tinggi — yang tersebar di 9 aplikasi simulasi seperti kalender, pesan, dan pembayaran.
Metodenya sendiri tidak rumit: agen dijalankan lebih dulu untuk menyelesaikan tugas, lalu dari jejak keberhasilan dan kegagalannya diekstrak pedoman perilaku yang dikumpulkan menjadi satu set yang bisa dipakai ulang; pada saat inferensi, pedoman ini dimasukkan kembali ke dalam konteks. Ada dua cara pemberiannya — seluruh set pedoman disuntikkan di setiap langkah, atau sebagian inti yang ringkas ditetapkan tetap sementara sisanya diambil sesuai kebutuhan tugas melalui pencarian. Set pedoman yang sama, dua cara pemberian, dibandingkan berdampingan.
Tiga Tingkat Model, Tiga Solusi Optimal
Dari delapan model yang diuji, pembagian tingkatnya cukup jelas.
Tingkat dengan ruang kemampuan berlimpah — DeepSeek-V3.2 (671B MoE), Claude Opus 4.6, dan GPT-5.5 — mendapat hasil terbaik saat diberi seluruh set pedoman. Tingkat penyelesaian tugas DeepSeek-V3.2 naik 9,5 poin persentase dan tingkat penyelesaian skenario naik 16,1 poin; Claude Opus 4.6 naik 4,1 dan 7,1; GPT-5.5 naik 2,9 dan 7,2.
Tingkat dengan kapasitas terbatas hanya diisi oleh gpt-oss-120b (117B MoE). Jika seluruh set pedoman dijejalkan, model ini justru kewalahan; setelah beralih ke pencarian selektif, kedua metrik masing-masing naik 16,1 poin persentase — kenaikan terbesar di antara delapan model.
GLM-5 (745B MoE) masuk ke tingkat jenuh — sudah mendekati batas atas pada kumpulan tugas ini, sehingga baik diberi memori maupun tidak, kedua metrik sama-sama tidak berubah, tetap 0,0 poin persentase.
Dua Metrik Harus Dilihat Terpisah
TGC (task goal completion) mengukur proporsi tugas individual yang diselesaikan agen secara lengkap dan benar. SGC (scenario goal completion) lebih ketat — satu skenario mencakup beberapa varian dari tugas yang sama (data, cara penyampaian, atau kondisi batas yang berbeda), dan skenario baru dianggap lolos jika semua variannya lolos.
Nilai dari memisahkan kedua metrik ini tersembunyi di dalam angkanya: TGC DeepSeek-V3.2 hanya naik 9,5 poin, sementara SGC-nya naik 16,1 poin. Pola yang sama juga berlaku pada Claude Opus 4.6 (4,1 berbanding 7,1) dan GPT-5.5 (2,9 berbanding 7,2). Manfaat memori lebih banyak muncul pada “bisa menyelesaikan tugas sejenis dengan benar meski disampaikan berbeda”, bukan pada “menyelesaikan lebih banyak soal baru”. Bagi tim yang membangun sistem produksi, manfaat jenis pertama jauh lebih langka dibanding yang kedua.
Biayanya Tertulis dalam Token
Bagian biaya adalah bagian paling praktis dari eksperimen ini. Dengan injeksi penuh, konsumsi token per tugas DeepSeek-V3.2 naik dari 148.000 menjadi 263.000, kenaikan 78%. gpt-oss-120b, juga dengan injeksi penuh, naik dari 110.000 menjadi 166.000, kenaikan 51%. Setelah beralih ke pencarian selektif, konsumsi gpt-oss-120b hanya mencapai 116.000, kenaikan 5%, dengan imbalan kenaikan 16,1 poin persentase.
Jika kedua kelompok angka ini dibandingkan secara kasar, gpt-oss-120b menghabiskan tambahan token 5% untuk mendapatkan 16,1 poin, sementara DeepSeek-V3.2 menghabiskan tambahan token 78% hanya untuk mendapatkan 9,5 poin (berdasarkan TGC). Model pertama menghasilkan sekitar 3,2 poin persentase untuk setiap kenaikan 1% token, sementara model kedua hanya sekitar 0,12 — selisihnya lebih dari dua puluh kali lipat. Bagi layanan produksi yang ditagih berdasarkan token, selisih ini saja cukup membuat strategi “menjejali model kuat dengan memori secara penuh” menjadi perhitungan yang tidak masuk akal.
Pembelajaran Terjadi di Luar Model
Para penulis menyisakan satu kalimat yang menegaskan batas dari metode ini:
Learning happens around the model, not inside it.
(Pembelajaran terjadi di sekitar model, bukan di dalam model.)
Yang diubah oleh pedoman ini adalah lingkungan konteks agen, sementara bobot model sama sekali tidak bergerak. Keuntungannya, pedoman ini bisa ditambah atau dicabut kapan saja, bisa diaudit, dan bisa diganti setiap kali model diganti. Namun batasannya juga ada di situ — semua manfaat ini dibatasi oleh jendela konteks dan biaya inferensi, dan jika ditambahkan melewati titik tertentu justru akan berbalik merugikan, seperti yang terjadi pada gpt-oss-120b yang kewalahan oleh seluruh set pedoman.
Penelitian ini berasal dari IBM Research, dengan sepuluh penulis yang tercantum, termasuk Vatche Isahagian, Evelyn Duesterwald, dan Vinod Muthusamy. Kode dan metodenya dipublikasikan dengan nama ALTK-Evolve.
Bagi tim yang sedang menambahkan memori ke agen mereka, data ini memberikan urutan langkah kerja yang lebih berguna daripada kesimpulannya sendiri: uji dulu performa dasar model pada tugas target untuk melihat berapa banyak ruang kemampuan yang tersisa; model dengan ruang kemampuan kecil sebaiknya memakai pencarian selektif, model dengan ruang kemampuan besar bisa mempertimbangkan injeksi penuh; sementara model yang sudah mendekati batas atas sebaiknya menghemat token tersebut dan mengalihkan upayanya ke hal lain.
Sumber: blog teknis IBM Research dan Hugging Face, CocoLoop; komposisi 585 tugas AppWorld, perubahan poin persentase TGC/SGC pada delapan model, serta biaya token tiap konfigurasi telah diverifikasi berdasarkan data eksperimen yang dipublikasikan.