Anthropic은 10월 8일 오픈소스 프로젝트를 대상으로 무료 취약점 스캔 서비스 'OSS Scanner'를 공개했다. 참여는 자율이며, 스캔은 Claude Mythos를 비롯한 자체 모델이 수행한다. 생성된 보고서는 사람의 검토나 등급 분류 없이 그대로 유지보수자에게 전달된다.
보고서마다 독립적으로 실행 가능한 재현 프로그램과 취약점 설명이 함께 제공된다. 원인을 특정할 수 있는 경우에는 이진 탐색으로 찾아낸, 결함을 유발한 커밋도 첨부하고 가능하면 수정 패치까지 제시한다. Anthropic은 발표에서 보고서에 오류나 무효한 내용이 포함될 수 있다고 밝혔다.
신청 자격은 누구에게
자격 기준은 구글 OSS-Fuzz와 비슷하게, 인프라나 사용자 보안에 '치명적 영향'을 미치는 프로젝트인지를 건별로 심사한다. 신청은 프로젝트의 핵심 유지보수자가 진행하며, 깃허브의 anthropics/oss-scanner 저장소에 풀 리퀘스트를 올리고 템플릿에 맞춰 프로젝트 정보를 작성하는 방식이다.
발표문에는 개별 프로젝트를 얼마나 자주 스캔하는지, 유지보수자가 중간에 참여를 철회할 경우의 절차는 나와 있지 않다. 공개는 조정된 취약점 공개(CVD) 방식을 따르지만, 구체적인 기한은 발표문에 명시돼 있지 않다.
반년 시범 운영에서 나온 수치들
Anthropic에 따르면 지난 반년 동안 자사 모델로 오픈소스 코드를 스캔해 2만 9000건이 넘는 후보 취약점을 찾아냈고, 이 중 사람이 검토한 것은 약 6000건이다. 초기 테스트 단계에서는 48개 프로젝트에서 높음 또는 치명적 등급으로 판정된 97건을 추려냈으며, 이 중 85건이 공개 프로세스 요건을 충족해 비율은 약 88%였다.
또 다른 수치는 이미 발송된 보고서에서 나온다. 유지보수자에게 전달된 보고서는 5000건에 가깝다. 회사가 제시한 74건의 샘플 중에서는 유지보수자가 72건을 유효하다고 확인했고, 5건은 CVE 번호를 받았다. 발표에서 이름이 언급된 프로젝트로는 PostgreSQL, OpenSSL, wolfSSL, HotCRP, Linux가 있다.
"The reports we received from Anthropic, raw model output included, were as good and sometimes better than what we get from people."
(Anthropic에서 받은 보고서는 모델의 원본 출력까지 포함해도 사람이 제출한 것과 비슷하거나 때로는 더 나았다.)
사람 검토를 뺀 이유
Anthropic이 내세운 이유는 스캔을 '더 빠르고 더 자주' 하기 위해서다. 자체 수치를 봐도 인력이 따라가지 못하는 상황이 드러난다. 2만 9000건의 후보 중 사람이 검토한 것은 5분의 1 정도에 그친다. 스캔 규모가 커지면서 검토 단계는 유지보수자 쪽으로 넘어갔고, 분류에 드는 시간 비용도 함께 넘어갔다.
경쟁 서비스들과 비교하면
Anthropic은 이 서비스가 OSS-Fuzz에서 영감을 받았다고 설명한다. OSS-Fuzz는 구글이 2016년 선보인 프로젝트로, 퍼징을 지속적으로 실행해 오픈소스 코드를 테스트하고 충돌을 발견하면 유지보수자에게 자동으로 알린다. OSS Scanner는 이를 언어 모델이 코드를 읽고 재현 코드를 작성하는 방식으로 바꿨으며, 대상은 마찬가지로 '핵심 프로젝트'로 제한된다.
이 사이트는 이전에도 관련된 몇 가지 흐름을 다룬 바 있다. 구글은 한때 AI가 생성한 취약점 보고서가 몰리면서 일부 오픈소스 제품에 대한 접수를 중단했다. 소프트뱅크와 OpenAI는 기업 고객을 대상으로 취약점 자동 패치 서비스를 제공하는 제휴를 맺었다. 세 회사의 입장은 각각 다르다. 구글은 들어오는 보고서 양을 억제하는 쪽이고, OpenAI의 사업은 기업 대상이며, Anthropic은 이번에 오픈소스 유지보수자를 대상으로 무료로 제공하면서 재현 프로그램과 패치를 함께 묶어 보고서의 품질로 설득하려 한다.
유지보수자 입장에서는 참여 여부가 자신들의 처리 역량에 달려 있다. 5000건에 가까운 보고서 중 몇 건이 수정됐는지, 평균 처리 기간이 얼마인지는 발표문에 공개돼 있지 않다. 참여 프로젝트가 늘어났을 때 검토되지 않은 보고서가 다시 부담이 될지는 신청 목록이 공개돼야 드러날 것이다.
참고 출처: Anthropic 공식 발표(후보 취약점 수, 사람 검토, 공개 기준 충족 비율과 보고서 수), anthropics/oss-scanner 신청 안내, CocoLoop; 신청 자격과 보고서 구성은 Anthropic 발표로 대조 확인.