상하이교통대 주도 벤치마크는 에이전트가 파일은 찾아도 버그 관련 정확한 줄은 14~19%만 맞힌다고 밝혔다.
무엇이 달라졌나
원문은 AI 코딩, 대형 모델 벤치마크, 에이전트, 연구 흐름 속에서 숫자, 배포 조건, 기업과 정책 담당자가 받는 압력을 정리한다.
왜 중요한가
중요한 것은 발표 자체가 아니다. AI의 성능, 비용, 규제, 유통 채널이 실험을 일상적 사용으로 옮길 수 있는지를 가르기 시작했다.
출처: CocoLoop, AI coding agents find the right file but miss the exact lines that matter, study shows（The Decoder）；SWE-Explore 基准研究（arXiv，上海交通大学等）