Organisasi riset keamanan AI METR melakukan eksperimen dengan kesimpulan yang mengejutkan banyak orang: pengembang berpengalaman yang menggunakan alat coding AI justru menyelesaikan tugas 19% lebih lambat.
Desain Eksperimen
METR merekrut sejumlah pengembang perangkat lunak berpengalaman dan meminta mereka menyelesaikan tugas pemrograman yang sama dalam dua kondisi:
- Kelompok eksperimen: Bebas menggunakan alat coding AI
- Kelompok kontrol: Tidak menggunakan alat AI
Tugas mencakup skenario pengembangan umum seperti perbaikan bug, pengembangan fitur, dan refaktorisasi kode.
Mengapa Lebih Lambat
Studi ini mengidentifikasi beberapa alasan utama:
1. Biaya peninjauan
Kode yang dihasilkan AI tidak bisa diterima begitu saja; perlu ditinjau baris per baris. Pengembang berpengalaman dengan standar kualitas tinggi menghabiskan lebih banyak waktu untuk meninjau dan memverifikasi daripada waktu yang dihemat AI dalam penulisan.
2. Peralihan konteks
Peralihan yang sering antara berpikir sendiri dan meninjau keluaran AI mengganggu alur kerja (flow state) pengembang.
3. Kecenderungan ketergantungan berlebihan
Beberapa pengembang mendapati diri mereka menghabiskan waktu untuk "menyetel" AI setelah menerima saran, daripada menulis kode secara langsung — padahal menulis langsung seringkali lebih cepat.
Keterbatasan Utama
Studi ini memiliki beberapa batasan penting:
- Ukuran sampel yang kecil
- Jenis tugas yang terbatas
- Alat AI yang digunakan mungkin bukan versi terbaru atau terkuat
- Pengembang "berpengalaman" sudah cepat, sehingga ruang untuk peningkatan lebih kecil
Bagi pengembang junior, dampak efisiensi alat AI mungkin sangat berbeda. Studi METR berfokus pada kelompok "berpengalaman" dan temuannya tidak dapat digeneralisasi ke semua pengembang.
Bagaimana Memahaminya
Penelitian ini bukan berarti alat coding AI tidak berguna. Melainkan menunjukkan bahwa peningkatan efisiensi tidak terjadi secara otomatis. Diperlukan pembelajaran cara penggunaan yang tepat, penerapan alat dalam skenario yang sesuai, dan pembentukan alur kerja kolaborasi manusia-AI yang efektif.
Pengembang terbaik bukanlah mereka yang "paling banyak menggunakan AI," melainkan mereka yang tahu kapan harus menggunakannya dan kapan tidak.
Sumber: CocoLoop, laporan riset METR