Dalam postingan blog rekayasa tertanggal 2 September, GitHub memublikasikan daftar langkah penghematan biaya untuk agen coding Copilot, ditulis oleh Erik Kristensen dan Napalys Klicius. Empat perubahan masing-masing memangkas biaya inferensi — 5,5%, 3,1%, 2,9%, dan 2,3% — dan semuanya menyasar context yang dikirim ke model, bukan dengan mengganti model.
Empat perubahan, masing-masing beberapa poin persentase
Penghematan terbesar datang dari kompresi output selektif, hemat 5,5%. Aturannya dibuat sangat spesifik: source code dibiarkan apa adanya, output perintah dibiarkan apa adanya, hasil pencarian hanya diurutkan ulang tanpa memangkas isinya. Yang benar-benar dikompresi hanyalah ribuan baris noise berulang dalam log instalasi, build, dan test. Bagian yang dikompresi tetap punya jalur pemulihan — model bisa menarik kembali output aslinya bila diperlukan.
Kedua, menghilangkan prefiks nomor baris saat membaca file, hemat 3,1%. Versi awal Copilot menandai setiap baris dengan nomor barisnya saat membaca file; alur editing saat ini tidak lagi membutuhkan format itu. Setelah dihapus, biaya inferensi di benchmark turun sekitar 5%, yang setara dengan 3,1% dari total tagihan — kedua angka ini memakai basis penyebut yang berbeda.
Perubahan ketiga menyasar prompt untuk tool task. Dengan pendekatan meta-prompting, tim memangkas sekitar setengah dari instruksi yang menjelaskan eksekusi paralel tanpa mengubah perilakunya, hemat 2,9%. Prompt ini dikirim ulang di setiap giliran interaksi dengan model, sehingga pemangkasan ini menghemat sekitar 1.300 token per giliran.
Perubahan keempat mengurangi bolak-balik notifikasi, hemat 2,3%. Sebelumnya, setelah tugas latar belakang selesai, dibutuhkan satu giliran pengambilan data tambahan agar hasilnya sampai ke model. Dengan pengiriman yang di-batch sekaligus, satu panggilan model penuh bisa dihilangkan.
Menghemat token tidak sama dengan memangkas context
Kalimat dalam rangkuman ini yang paling rawan disalahpahami adalah cara tim mendefinisikan tujuannya:
The goal shouldn't be to use fewer tokens, but to tap into the right amount of context to move a task forward.
Tujuannya bukan memakai token sesedikit mungkin, melainkan mengambil context secukupnya untuk membuat tugas terus berjalan.
Kesamaan dari keempat perubahan ini adalah semuanya hanya memangkas bagian yang dibaca model tapi tidak pernah dipakai: log build yang berulang, nomor baris yang tak dikonsumsi siapa pun, instruksi panjang yang dikirim ulang setiap giliran, satu putaran pengambilan data ekstra. Bagian yang benar-benar membawa informasi — source code, output perintah, hasil pencarian — sama sekali tidak disentuh. Menarik garis antara "berlebih" dan "context kurang" adalah prasyarat agar seluruh pendekatan ini bisa berjalan: memangkas terlalu agresif membuat tingkat penyelesaian tugas turun, dan itu ongkosnya jauh lebih mahal ketimbang token yang dihemat.
Benchmark offline dulu, baru perbandingan online
Proses yang dijabarkan di sini lebih berharga ketimbang angkanya. Setiap perubahan lebih dulu divalidasi pada benchmark coding berbasis agen secara offline untuk memastikan kualitas tugas tidak turun, lalu dijalankan lewat eksperimen online yang terkontrol, dan baru setelah itu digulirkan ke tiga lini produk: Copilot CLI, aplikasi Copilot, dan code review.
Urutan seperti ini mencegah cara paling umum penghematan biaya jadi bumerang: pemakaian token turun, tingkat penyelesaian tugas diam-diam merosot beberapa poin, tagihan per panggilan terlihat lebih bagus, pengguna mulai lebih sering mencoba ulang, dan total pengeluaran justru naik. Menempatkan "kualitas tugas tidak boleh turun" sebagai syarat mutlak di awal adalah yang membuat persentase penghematan di baliknya benar-benar valid.
Dijumlahkan, keempat perubahan ini setara sekitar 13,8% — penjumlahan langsung yang mungkin mengandung tumpang tindih pada praktiknya. Angka ini tidak besar dibanding mengganti model — satu kali pergantian generasi model kerap membawa penurunan harga hingga puluhan persen. Tapi jenis perubahan ini berbeda sifatnya: tidak bergantung pada model yang dipakai, tetap efektif setelah model diganti, dan tidak menuntut pengguna mengubah cara kerjanya sama sekali.
Bagi pengguna Copilot dengan skema tagihan berbasis pemakaian, penghematan di sisi platform langsung mengalir ke tagihan mereka. Satu kali menjalankan tugas agen coding dengan mudah menghabiskan ratusan ribu token, dan volume log build serta output test kerap melebihi total source code yang benar-benar dibaca — itu sebabnya perubahan pertama saja bisa menarik kembali 5,5%. Tim di China yang membangun agen coding sendiri juga menghadapi titik buta yang sama; sebagian besar framework secara default menuangkan seluruh stdout kembali ke context, dan satu kali npm install saja bisa menggeser ribuan baris source code yang berguna.
Dilihat dari rangkuman ini, kontrol biaya agen coding sudah bergeser ke lapisan manajemen context — jalur yang sebagian besar berjalan independen dari pemilihan model.
Sumber: Blog Rekayasa Resmi GitHub, CocoLoop, dokumentasi produk Copilot. Persentase penghematan, angka penghematan token per giliran, dan proses validasi masing-masing perubahan diperiksa sesuai postingan blog asli; total 13,8% merupakan penjumlahan langsung tanpa penyesuaian.