Benchmark do Đại học Giao thông Thượng Hải dẫn dắt cho thấy agent thường tìm đúng file nhưng chỉ định đúng dòng liên quan bug khoảng 14% đến 19%.
Điều gì đã thay đổi
Bài gốc đặt diễn biến này trong bối cảnh Lập trình AI, Đánh giá mô hình lớn, Tác nhân, Nghiên cứu, tập trung vào các con số, ràng buộc triển khai và áp lực với doanh nghiệp lẫn nhà quản lý.
Vì sao đáng chú ý
Điều đáng chú ý không chỉ là tiêu đề ra mắt. Tín hiệu lớn hơn là năng lực AI, chi phí, quy định và kênh phân phối đang quyết định sản phẩm nào có thể đi vào sử dụng thường ngày.
Nguồn: CocoLoop, AI coding agents find the right file but miss the exact lines that matter, study shows（The Decoder）；SWE-Explore 基准研究（arXiv，上海交通大学等）