Ngày 8 tháng 10, Anthropic ra mắt OSS Scanner, cung cấp dịch vụ quét lỗ hổng miễn phí cho các dự án mã nguồn mở, các dự án tham gia trên cơ sở tự nguyện. Việc quét do các mô hình riêng của công ty như Claude Mythos thực hiện, báo cáo được gửi trực tiếp đến tay người duy trì dự án, không qua bước kiểm duyệt và phân loại của con người.
Mỗi báo cáo gồm một chương trình tái hiện lỗi có thể chạy độc lập và một đoạn mô tả lỗ hổng; khi xác định được, báo cáo còn kèm commit gây ra lỗi được tìm bằng phương pháp tìm kiếm nhị phân, và cố gắng đưa ra bản vá sửa lỗi. Anthropic viết rõ trong thông báo rằng những báo cáo này có thể có sai sót, cũng có thể không hợp lệ.
Ai có thể đăng ký
Tiêu chí tham gia dựa theo chuẩn của Google OSS-Fuzz: dự án phải có "ảnh hưởng then chốt" tới hạ tầng hoặc an toàn người dùng, được đánh giá từng trường hợp. Việc đăng ký do người duy trì chính (core maintainer) của dự án thực hiện, bằng cách gửi pull request lên repository anthropics/oss-scanner trên GitHub và điền thông tin dự án theo mẫu.
Thông báo không nói rõ mỗi dự án được quét bao lâu một lần, cũng không đưa ra quy trình để người duy trì rút khỏi giữa chừng. Việc công bố lỗ hổng theo hướng công bố có điều phối (CVD), thời hạn cụ thể không được nêu trong thông báo.
Vài số liệu từ nửa năm thử nghiệm
Theo Anthropic, trong sáu tháng qua công ty dùng mô hình để quét mã nguồn mở, thu được hơn 29.000 lỗ hổng tiềm năng, con người đã kiểm tra khoảng 6.000 trong số đó. Giai đoạn thử nghiệm sớm chọn ra 97 lỗ hổng được đánh giá mức cao hoặc nghiêm trọng, nằm trong 48 dự án, 85 trong số đó đáp ứng yêu cầu quy trình công bố của công ty, tỷ lệ khoảng 88%.
Một nhóm số liệu khác đến từ các báo cáo đã gửi đi: số báo cáo gửi tới người duy trì gần 5.000; trong một mẫu 74 báo cáo do công ty đưa ra, người duy trì xác nhận 72 báo cáo hợp lệ, 5 báo cáo nhận được mã CVE. Các dự án được thông báo nêu tên gồm PostgreSQL, OpenSSL, wolfSSL, HotCRP và Linux.
Nhận xét từ phía OpenSSL cũng được đưa vào thông báo:
"The reports we received from Anthropic, raw model output included, were as good and sometimes better than what we get from people."
(Các báo cáo chúng tôi nhận từ Anthropic, kể cả phần đầu ra thô của mô hình, tốt tương đương và có lúc còn tốt hơn những gì chúng tôi nhận được từ con người.)
Vì sao bỏ bước kiểm duyệt con người
Lý do Anthropic đưa ra là để việc quét "nhanh hơn, thường xuyên hơn". Nhìn vào số liệu của chính công ty, nhân lực con người thực sự không theo kịp: trong 29.000 lỗ hổng tiềm năng, con người chỉ xem qua khoảng một phần năm. Khi quy mô quét được mở rộng, bước rà soát lại chuyển sang phía người duy trì dự án, chi phí thời gian để phân loại cũng theo đó mà chuyển giao.
Đặt cạnh các đối thủ cùng ngành
Anthropic cho biết dịch vụ này lấy cảm hứng từ OSS-Fuzz. OSS-Fuzz là dự án Google ra mắt năm 2016, dùng kỹ thuật fuzzing để liên tục chạy mã nguồn mở, tự động thông báo cho người duy trì khi phát hiện sự cố sập (crash). OSS Scanner thay bằng mô hình ngôn ngữ đọc mã và viết chương trình tái hiện lỗi, ngưỡng tham gia vẫn đặt ở mức "dự án then chốt".
Trang này từng đưa tin về vài hướng đi gần giống nhau. Google từng bị báo cáo lỗ hổng do AI tạo ra tràn ngập, phải ngừng nhận báo cáo lỗ hổng cho một số sản phẩm mã nguồn mở; SoftBank hợp tác với OpenAI ra mắt dịch vụ tự động vá lỗi, hướng tới khách hàng doanh nghiệp. Vị trí của ba công ty khác nhau: Google đang chặn lượng báo cáo đổ vào, OpenAI đi theo hướng kinh doanh doanh nghiệp, còn Anthropic lần này miễn phí cho người duy trì mã nguồn mở, đóng gói kèm chương trình tái hiện lỗi và bản vá, muốn dùng chất lượng báo cáo để thuyết phục đối tác.
Với người duy trì dự án, có tham gia hay không còn tùy vào khả năng xử lý của chính họ. Trong gần 5.000 báo cáo đã gửi, có bao nhiêu đã được sửa, chu kỳ xử lý trung bình là bao lâu, thông báo không công bố; khi số dự án tham gia tăng lên, liệu những báo cáo không ai rà soát có trở thành gánh nặng một lần nữa hay không, phải chờ danh sách đăng ký công khai mới biết được.
Nguồn tham khảo: Thông báo chính thức của Anthropic (số lỗ hổng tiềm năng, kiểm tra của con người, tỷ lệ đạt chuẩn công bố và số báo cáo), hướng dẫn đăng ký anthropics/oss-scanner, CocoLoop; thông báo của Anthropic để đối chiếu điều kiện đăng ký và thành phần báo cáo.