Warp Biarkan Agennya Menulis Ulang Skill Sendiri, Mulai dari Akurasi 80%

Anthropic pada 26 Agustus merilis tulisan teknis tentang Warp, yang menjelaskan bagaimana perusahaan ini membuat agennya terus memperbaiki perilaku tanpa pernah menyentuh bobot model.

Warp membangun terminal AI dan lingkungan pengembangan agen. Didirikan tahun 2020 oleh Zach Lloyd, perusahaan ini telah mengumpulkan pendanaan sebesar 73 juta dolar AS. Menurut data yang mereka rilis, Warp memiliki 800 ribu developer aktif bulanan, dan 56% perusahaan Fortune 500 pernah memakai produknya. Claude Code telah menjalankan lebih dari 10 juta sesi secara kumulatif di dalam Warp, kini melampaui 400 ribu sesi per minggu, dengan total percakapan agen di platform mencapai 40 juta.

Struktur tiga lapis

Kalau dibedah, mekanisme ini hanya terdiri dari tiga bagian.

Paling dalam ada base skill, sebuah file berisi pengetahuan domain dan aturan operasional, misalnya apa saja yang harus diperiksa dalam code review dan apa yang dianggap sebagai masalah yang menghambat. Di tengah ada masukan manusia, yaitu penilaian developer terhadap output agen. Paling luar ada agen penulis ulang, yang secara internal disebut Warp sebagai improver skill. Tugasnya cuma satu: secara berkala mengumpulkan masukan dan mengusulkan perubahan kecil pada base skill.

Lloyd menjelaskan struktur ini sebagai berikut:

"There's the base domain-specific skill and then there's the improver skill that refines that domain-specific skill. This simplicity is the beauty of this approach."

Terjemahan bebas: ada skill dasar yang spesifik untuk satu domain, dan ada improver skill yang menyempurnakan skill domain itu. Kesederhanaan inilah yang menjadi keunggulan pendekatan ini.

Skill disimpan dalam bentuk file, menggunakan Agent Skills API di platform Claude. Pilihan ini membawa efek berantai yang lebih besar dari kelihatannya. File bisa langsung diedit oleh agen, sekaligus dimasukkan ke Git, sehingga setiap perubahan yang diusulkan agen penulis ulang muncul sebagai perubahan kode biasa yang melewati proses review tim. Manusia bisa menolaknya, membatalkannya, atau sekadar membaca diff untuk melihat aturan apa yang baru ditambahkan agen untuk dirinya sendiri. Dengan menuliskan pengetahuan ke sistem berkas, bukan menumpuknya di prompt, pertanyaan "kenapa model berubah lagi hari ini" berubah jadi satu commit yang bisa ditelusuri.

Ada satu premis yang mudah terlewat di sini: lapisan paling luar dari tiga lapisan itu sendiri juga merupakan file skill. Bagaimana agen penulis ulang membaca masukan, memutuskan perlu tidaknya perubahan, dan seberapa banyak yang boleh diubah sekaligus, semuanya juga tertulis dalam file dan bisa diubah manusia. Tidak ada kotak hitam di seluruh sistem ini; kalau ada masalah, tinggal ditelusuri lewat dua file tersebut sampai ke akarnya.

Kualitas masukan menentukan batas atas

Agen code review milik Warp saat pertama diluncurkan punya akurasi sekitar 80%, dan loop inilah yang menutup kekurangan 20% sisanya. Yang ditekankan Lloyd adalah bentuk masukannya: kalimat singkat "review ini kurang bagus" tidak berguna, sedangkan "detailed reasons why a code review wasn't good" itulah yang benar-benar mendorong pembelajaran.

Masalahnya, menulis alasan detail butuh waktu, sementara developer sedang sibuk mengerjakan tugas masing-masing. Solusi Warp adalah membuat jalur masukan itu serendah mungkin frictionnya. Kata Lloyd, "Low friction is what keeps signal flowing" — makin rendah friksinya, makin lancar sinyalnya mengalir. Bagian ini justru lebih sulit diwujudkan dibanding arsitektur tiga lapis itu sendiri: arsitekturnya bisa dibangun dalam seminggu, tapi membuat tim terus-menerus meninggalkan penilaian yang informatif dalam jangka panjang adalah persoalan desain produk.

Batas dari pendekatan ini

Kalau dihitung kasar ekonominya, agen penulis ulang hanya berjalan sekali setelah masukan terkumpul cukup banyak. Setiap kali jalan, yang dibaca adalah masukan yang sudah diagregasi plus satu file skill sepanjang beberapa ratus sampai beberapa ribu token, dan yang dihasilkan cuma beberapa baris diff. Dibanding fine-tuning, biayanya nyaris bisa diabaikan; harganya, yang bisa diubah cuma aturan eksplisit yang tertulis di file. Penilaian atau preferensi bawaan model sendiri tidak tersentuh.

Jadi pendekatan ini lebih mirip memberi agen sebuah buku panduan operasional yang hidup, bukan membuat modelnya jadi lebih pintar. Cocok untuk tugas dengan aturan yang jelas, masukan yang padat, dan benar-salah yang bisa dinilai: code review, klasifikasi tiket, konversi format. Begitu sampai pada pekerjaan yang butuh model mengubah penilaian dasarnya sendiri, loop ini pun mentok.

Bagi kebanyakan tim, batas ini bukan masalah besar. Sebagian besar error yang dibuat agen di lingkungan produksi berasal dari aturan yang tidak dituliskan dengan jelas, bukan dari kuat atau lemahnya model. Menuliskan aturan dengan jelas dulu mengandalkan manusia yang menulis ulang prompt berkali-kali; sekarang ada kolaborator yang menuliskannya sendiri, dan setiap perubahannya diletakkan di atas meja review.

Sumber: blog resmi Anthropic tentang retrospektif teknik Warp, CocoLoop, informasi produk dan pendanaan Warp yang dipublikasikan secara resmi; jumlah sesi, angka akurasi, dan nilai pendanaan dicatat sesuai yang mereka ungkapkan secara publik.