El 8 de octubre, Anthropic lanzó OSS Scanner, un escaneo gratuito de vulnerabilidades para proyectos de código abierto, a los que los proyectos se suman de forma voluntaria. El escaneo lo realizan modelos propios de la empresa, como Claude Mythos, y los informes llegan directamente a manos de los mantenedores, sin pasar por revisión ni clasificación humana.
Cada informe incluye un programa de reproducción que puede ejecutarse de forma independiente y una descripción de la vulnerabilidad; cuando es posible localizarlo, se adjunta el commit que introdujo el fallo, hallado mediante búsqueda binaria, junto con un intento de parche de corrección. Anthropic señala expresamente en el anuncio que estos informes pueden contener errores o ser inválidos.
Quién puede solicitarlo
Los criterios de elegibilidad siguen el estándar de OSS-Fuzz de Google: el proyecto debe tener un "impacto crítico" en la infraestructura o la seguridad de los usuarios, evaluado caso por caso. La solicitud la presentan los mantenedores principales del proyecto mediante un pull request al repositorio anthropics/oss-scanner en GitHub, rellenando la información del proyecto según una plantilla.
El anuncio no especifica con qué frecuencia se escanea cada proyecto, ni ofrece un proceso para que un mantenedor se retire a mitad de camino. La divulgación sigue el modelo de divulgación coordinada (CVD), sin plazos concretos indicados en el anuncio.
Algunas cifras de la prueba de medio año
Según Anthropic, en los últimos seis meses la empresa usó modelos para escanear código abierto y obtuvo más de 29.000 vulnerabilidades candidatas, de las cuales los humanos revisaron unas 6.000. En la fase inicial de pruebas se identificaron 97 vulnerabilidades consideradas altas o críticas en 48 proyectos, de las cuales 85 cumplieron los requisitos del proceso de divulgación de la empresa, una proporción de alrededor del 88%.
Otro conjunto de cifras proviene de los informes ya enviados: casi 5.000 informes llegaron a los mantenedores; en una muestra de 74 informes presentada por la empresa, los mantenedores confirmaron 72 como válidos, y 5 obtuvieron número CVE. Entre los proyectos mencionados en el anuncio están PostgreSQL, OpenSSL, wolfSSL, HotCRP y Linux.
Una valoración por parte de OpenSSL también se incluyó en el anuncio:
"The reports we received from Anthropic, raw model output included, were as good and sometimes better than what we get from people."
(Los informes que recibimos de Anthropic, incluida la salida bruta del modelo, fueron tan buenos como los que recibimos de personas, y a veces mejores.)
Por qué se eliminó la revisión humana
La razón que da Anthropic es que así el escaneo resulta "más rápido y más frecuente". A juzgar por sus propias cifras, la capacidad humana realmente no alcanza: de 29.000 candidatas, los humanos solo revisaron alrededor de una quinta parte. Al ampliar la escala del escaneo, el paso de revisión recayó en los mantenedores, y con él el costo de tiempo de la clasificación.
En comparación con otros actores del sector
Anthropic afirma que este servicio se inspiró en OSS-Fuzz. OSS-Fuzz es un proyecto lanzado por Google en 2016 que usa fuzzing para ejecutar continuamente código abierto y notifica automáticamente a los mantenedores cuando detecta fallos. OSS Scanner lo sustituye por un modelo de lenguaje que lee el código y escribe reproducciones, manteniendo el mismo umbral de "proyectos críticos".
Este sitio ha informado antes sobre algunas líneas parecidas. Google llegó a verse inundado por informes de vulnerabilidades generados por IA y dejó de aceptar informes para algunos productos de código abierto; SoftBank, junto con OpenAI, lanzó un servicio automático de corrección de vulnerabilidades dirigido a clientes corporativos. Las tres empresas ocupan posiciones distintas: Google está frenando el volumen de informes que recibe, la línea de OpenAI es un negocio corporativo, y Anthropic, en este caso, se dirige de forma gratuita a los mantenedores de código abierto, empaquetando juntos el programa de reproducción y el parche, buscando convencer con la calidad de los informes.
Para los mantenedores, sumarse o no depende de su propia capacidad de procesamiento. Cuántos de los casi 5.000 informes enviados ya se han corregido y cuál es el tiempo medio de gestión es algo que el anuncio no revela; si, al aumentar los proyectos participantes, los informes sin revisión volverán a convertirse en una carga, solo se sabrá cuando se haga pública la lista de solicitudes.
Fuentes: anuncio oficial de Anthropic (número de vulnerabilidades candidatas, revisión humana, proporción que cumple el estándar de divulgación y número de informes), instrucciones de solicitud de anthropics/oss-scanner, CocoLoop; anuncio de Anthropic para verificar los requisitos de solicitud y la composición de los informes.