Anthropic meluncurkan OSS Scanner pada 8 Oktober, menawarkan pemindaian kerentanan gratis untuk proyek sumber terbuka yang memilih untuk ikut. Pemindaian dilakukan oleh model buatan perusahaan sendiri, termasuk Claude Mythos, dan laporan yang dihasilkan langsung dikirim ke maintainer — tanpa ada tahap tinjauan atau penyortiran oleh manusia di tengahnya.
Setiap laporan dilengkapi program reproduksi yang bisa dijalankan sendiri dan deskripsi celahnya. Jika sumbernya bisa dilacak, laporan juga menyertakan commit yang memicu bug tersebut, ditemukan lewat pencarian biner, serta usulan perbaikan jika memungkinkan. Pengumuman Anthropic menyebutkan bahwa laporan ini bisa saja mengandung kesalahan atau ternyata tidak valid.
Siapa yang bisa mendaftar
Syarat kelayakan kurang lebih mengikuti standar OSS-Fuzz milik Google: proyek harus memiliki "dampak kritis" terhadap infrastruktur atau keamanan pengguna, dinilai satu per satu. Pendaftaran dilakukan oleh maintainer inti proyek dengan mengirim pull request ke repositori anthropics/oss-scanner di GitHub dan mengisi templat berisi informasi proyek.
Pengumuman tersebut tidak menyebutkan seberapa sering sebuah proyek akan dipindai, atau bagaimana prosesnya jika maintainer ingin menarik diri di tengah jalan. Pengungkapan mengikuti proses coordinated vulnerability disclosure (CVD), meski tenggat waktu spesifiknya tidak dijabarkan dalam pengumuman.
Sejumlah angka dari uji coba enam bulan
Anthropic mengatakan, selama enam bulan terakhir, pihaknya memakai modelnya untuk memindai kode sumber terbuka dan menemukan lebih dari 29.000 kandidat kerentanan, di mana sekitar 6.000 di antaranya diperiksa manusia. Tahap uji coba awal mengidentifikasi 97 bug yang dinilai berisiko tinggi atau kritis di 48 proyek; 85 di antaranya memenuhi syarat proses pengungkapan, dengan rasio sekitar 88%.
Angka lain berasal dari laporan yang sudah dikirim: hampir 5.000 laporan telah diterima maintainer. Dari sampel 74 laporan yang disebut perusahaan, maintainer mengonfirmasi 72 di antaranya valid, dan 5 mendapat nomor CVE. Proyek yang disebut dalam pengumuman antara lain PostgreSQL, OpenSSL, wolfSSL, HotCRP, dan Linux.
"The reports we received from Anthropic, raw model output included, were as good and sometimes better than what we get from people."
(Laporan yang kami terima dari Anthropic, termasuk keluaran mentah modelnya, sama baiknya dan terkadang lebih baik dibanding yang kami terima dari manusia.)
Mengapa tahap manusia dihilangkan
Alasan yang diberikan Anthropic adalah membuat pemindaian "lebih cepat dan lebih sering". Angka mereka sendiri menunjukkan tenaga manusia tidak sanggup mengikuti laju itu: dari 29.000 kandidat, manusia hanya memeriksa sekitar seperlimanya. Setelah skala pemindaian membesar, tahap tinjauan beralih ke maintainer, begitu juga biaya waktu untuk menyortirnya.
Dibandingkan dengan yang sejenis
Anthropic mengatakan layanan ini terinspirasi oleh OSS-Fuzz, proyek yang diluncurkan Google pada 2016 yang menjalankan fuzz testing berkelanjutan pada kode sumber terbuka dan otomatis memberi tahu maintainer saat menemukan crash. OSS Scanner menggantinya dengan model bahasa yang membaca kode dan menulis reproduksi, dengan ambang batas yang tetap sama: "proyek kritis".
Situs ini sebelumnya pernah membahas beberapa hal yang berkaitan. Google pernah kebanjiran laporan kerentanan buatan AI dan berhenti menerimanya untuk sejumlah produk sumber terbuka; SoftBank dan OpenAI bekerja sama menghadirkan layanan penambalan bug otomatis untuk klien perusahaan. Posisi ketiganya berbeda: Google menahan arus masuk laporan, lini OpenAI menyasar bisnis perusahaan, dan kali ini Anthropic memberikannya gratis untuk maintainer sumber terbuka, sambil menyertakan program reproduksi dan tambalan, mengandalkan kualitas laporan untuk meyakinkan mereka.
Bagi maintainer, keputusan untuk ikut atau tidak bergantung pada kapasitas mereka sendiri dalam menangani laporan. Pengumuman tidak mengungkapkan berapa banyak dari hampir 5.000 laporan yang sudah diperbaiki, atau berapa lama rata-rata waktu penanganannya; apakah laporan yang tidak ditinjau akan kembali menjadi beban saat makin banyak proyek bergabung baru akan terlihat setelah daftar pendaftar dipublikasikan.
Sumber: pengumuman resmi Anthropic (jumlah kandidat kerentanan, tinjauan manusia, rasio pemenuhan standar pengungkapan dan jumlah laporan), panduan pendaftaran anthropics/oss-scanner, CocoLoop; syarat kelayakan dan susunan laporan dicek ulang dengan pengumuman Anthropic.