Trail of Bits는 9월 15일 1Password의 AI 패치 벤치마크 보고서 결론이 성립하지 않는다는 글을 게시했다. 1Password가 발표한 수치는 "클린 수정률" 26%였다. Trail of Bits가 같은 데이터셋을 다시 채점한 결과 3067개 패치 가운데 2634개가 짝을 이루는 공격을 성공적으로 막아냈고, 이는 86%에 해당한다.
두 수치의 차이는 60%포인트이며, 그 격차는 채점 방식에서 비롯된다.
Trail of Bits가 지적한 네 가지 문제
Trail of Bits는 다음 네 가지를 꼽았다.
- 표본이 너무 좁다. 벤치마크 전체가 복잡한 취약점 단 6개만 사용했고, 각각의 수정률은 3%에서 60%까지 큰 폭으로 흔들렸다. 이 6개의 평균값을 "AI 패치 능력"으로 삼으면 표본 잡음이 신호를 압도하게 된다.
- 프롬프트 자체에 문제가 있다. 전체 데이터의 22%는 에이전트를 의도적으로 잘못된 수정으로 유도하는 프롬프트를 쓴 시험에서 나왔다. 이런 시험은 모델이 오도될 수 있는지를 측정할 뿐, 제대로 고칠 수 있는지를 측정하지 않는다.
- 도구가 빠졌다. 시험의 36%에서는 모델이 코드를 컴파일하거나 테스트하는 것이 허용되지 않았다. 같은 조건에서 사람 개발자가 같은 취약점을 고친다 해도 성적이 크게 나아지지는 않을 것이다.
- 설정이 일관되지 않았다. 모델마다 서로 다른 추론 설정을 사용해 점수를 나란히 비교할 수 없다.
이 글은 네 명의 저자, Anish Naik, Dan Guido, Benjamin Samuels, Marcelo Morales 명의로 발표됐다. 1Password 측은 이 재분석에 대해 아직 공식 반응을 내놓지 않았다.
사람 기준선
이 글에서 더 설득력 있는 부분은 대조군을 제시했다는 점이다. Trail of Bits가 인용한 데이터에 따르면 개발자가 이상적인 조건에서 보안 취약점을 수정할 때 첫 시도 실패율은 약 12.5%로, 여덟 번에 한 번꼴로 틀린다.
이 기준선이 있어야 "AI는 깔끔하게 고치지 못한다"는 판단이 좌표를 갖는다. 26%라는 클린 수정률은 그 자체로 낙제점처럼 보인다. 하지만 87.5%라는 사람 기준선 옆에 86%라는 AI 점수를 놓으면 이야기가 달라진다. 대체로 비슷한 수준이지, 아직 앞선 것은 아니라는 이야기가 된다.
Trail of Bits는 자사의 Patch the Planet 프로젝트 수치도 함께 공개했다. 제출한 풀 리퀘스트는 186건, 이 가운데 업스트림에 병합된 것은 126건으로 병합률 67.7%다. 병합된 패치 중 72.2%는 추가 보안 수정이 필요하지 않았다. 이는 벤치마크 시험과는 잣대가 다르다. 실제 메인테이너가 패치를 받아들이는지를 측정하는 지표로, 단순히 공격을 막는 것보다 실제 운영 환경에 더 가깝다.
덤으로 공개된 두 가지 스킬
글 말미에는 두 가지 에이전트 스킬도 공개됐다. post-patch-validation은 에이전트가 패치를 제출하기 전에 스스로 테스트하고 검증하게 하고, review-walkthrough는 엔지니어가 코드 변경을 논리적 순서로 훑어볼 수 있게 돕는다.
이 두 스킬의 존재 자체가 벤치마크에 대한 대답이다. 문제로 지적된 시험의 36%에서는 컴파일과 테스트가 금지됐는데, Trail of Bits가 내놓은 첫 번째 스킬은 바로 제출 전 검증을 다루는 것이다. 결국 패치 품질의 상당 부분은 에이전트가 스스로 점검할 기회를 얻는지에 달려 있다는 뜻이다.
이런 벤치마크를 볼 때 확인할 점
올해는 AI의 취약점 수정 성적표가 여러 곳에서 쏟아졌지만 채점 기준은 제각각이다. 이 글은 독자가 그대로 쓸 수 있는 체크리스트를 제공한다. 표본이 몇 개인지, 일부러 잘못 유도하는 프롬프트가 섞여 있지는 않은지, 모델이 컴파일과 테스트를 허용받았는지, 모델 간 추론 설정이 일관됐는지, 비교할 사람 기준선이 있는지. 이 다섯 가지 중 하나라도 빠지면 공개된 수치를 그대로 도구 선택의 근거로 삼을 수 없다.
더 실용적으로 보면, 이 두 스킬은 이미 공개되어 있어 누구의 승인도 기다릴 필요 없이 기존 코드 리뷰 파이프라인에 바로 연결할 수 있다. 연결한 뒤 얼마나 효과를 볼지는 코드베이스마다 차이가 커서 아직 정해진 답은 없다.
참고 출처: Trail of Bits 공식 블로그, CocoLoop, 1Password 벤치마크 보고서. 네 가지 방법론적 지적, 3067건과 2634건이라는 패치 집계, Patch the Planet의 186건·126건 병합 수치는 모두 원문 블로그를 기준으로 한다.