Benchmark yang dipimpin Shanghai Jiao Tong University menunjukkan agen sering menemukan file benar, tetapi baris kunci bug hanya tepat sekitar 14% hingga 19%.
Apa yang berubah
Artikel sumber menempatkan perkembangan ini dalam konteks Pemrograman AI, Benchmark model besar, Agen, Riset, dengan fokus pada angka, kendala penerapan, dan tekanan bagi perusahaan maupun regulator.
Mengapa ini penting
Yang penting bukan hanya pengumumannya. Sinyal yang lebih besar adalah bagaimana kemampuan AI, biaya, regulasi, dan kanal distribusi mulai menentukan produk mana yang bisa dipakai rutin.
Sumber: CocoLoop, AI coding agents find the right file but miss the exact lines that matter, study shows（The Decoder）；SWE-Explore 基准研究（arXiv，上海交通大学等）