Le 8 octobre, Anthropic a lancé OSS Scanner, un service gratuit de scan de vulnérabilités pour les projets open source, auquel les projets adhèrent volontairement. Le scan est effectué par les modèles propres de l'entreprise, comme Claude Mythos, et les rapports sont envoyés directement aux mainteneurs, sans relecture ni tri humain intermédiaire.
Chaque rapport comprend un programme de reproduction exécutable de façon autonome et une description de la vulnérabilité ; lorsque cela est possible, il inclut le commit à l'origine du défaut, identifié par recherche binaire, ainsi qu'un correctif proposé dans la mesure du possible. Anthropic précise dans son annonce que ces rapports peuvent contenir des erreurs, voire être invalides.
Qui peut postuler
Les critères d'admissibilité reprennent la norme d'OSS-Fuzz de Google : le projet doit avoir un "impact critique" sur l'infrastructure ou la sécurité des utilisateurs, évalué cas par cas. La candidature est déposée par les mainteneurs principaux du projet, via une pull request sur le dépôt GitHub anthropics/oss-scanner, en renseignant les informations du projet selon un modèle.
L'annonce ne précise pas à quelle fréquence un projet donné est scanné, ni n'indique de procédure pour qu'un mainteneur se retire en cours de route. La divulgation suit le modèle de divulgation coordonnée (CVD), sans délai concret mentionné dans l'annonce.
Quelques chiffres du test de six mois
Selon Anthropic, l'entreprise a utilisé des modèles pour scanner du code open source au cours des six derniers mois, obtenant plus de 29 000 vulnérabilités candidates, dont environ 6 000 ont été examinées par des humains. La phase de test initiale a permis d'identifier 97 vulnérabilités jugées élevées ou critiques dans 48 projets, dont 85 répondaient aux exigences du processus de divulgation de l'entreprise, soit un taux d'environ 88 %.
Une autre série de chiffres provient des rapports déjà envoyés : près de 5 000 rapports ont été transmis aux mainteneurs ; sur un échantillon de 74 rapports fourni par l'entreprise, les mainteneurs en ont confirmé 72 comme valides, et 5 ont obtenu un numéro CVE. Parmi les projets cités dans l'annonce figurent PostgreSQL, OpenSSL, wolfSSL, HotCRP et Linux.
Une appréciation du côté d'OpenSSL a également été intégrée à l'annonce :
"The reports we received from Anthropic, raw model output included, were as good and sometimes better than what we get from people."
(Les rapports que nous avons reçus d'Anthropic, y compris la sortie brute du modèle, étaient aussi bons que ceux que nous recevons de personnes, et parfois meilleurs.)
Pourquoi supprimer la relecture humaine
La raison avancée par Anthropic est de rendre le scan "plus rapide et plus fréquent". Au vu de ses propres chiffres, la capacité humaine ne suit effectivement pas : sur 29 000 candidates, les humains n'en ont examiné qu'environ un cinquième. Avec l'élargissement de l'échelle du scan, l'étape de relecture est retombée sur les mainteneurs, et avec elle le coût en temps du tri.
Face aux autres acteurs du secteur
Anthropic affirme que ce service s'inspire d'OSS-Fuzz. OSS-Fuzz est un projet lancé par Google en 2016, qui utilise le fuzzing pour faire tourner en continu du code open source et notifie automatiquement les mainteneurs en cas de plantage détecté. OSS Scanner le remplace par un modèle de langage qui lit le code et écrit des reproductions, le seuil restant fixé aux "projets critiques".
Ce site a déjà rapporté plusieurs évolutions proches. Google a un temps été submergé par des rapports de vulnérabilités générés par IA et a cessé d'accepter ces rapports pour certains produits open source ; SoftBank, en partenariat avec OpenAI, a lancé un service automatique de correction de vulnérabilités destiné aux clients d'entreprise. Les trois sociétés occupent des positions différentes : Google freine le volume de rapports entrants, OpenAI en fait un métier auprès des entreprises, et Anthropic s'adresse cette fois gratuitement aux mainteneurs open source, en regroupant programme de reproduction et correctif, misant sur la qualité des rapports pour convaincre.
Pour les mainteneurs, l'adhésion dépend de leur propre capacité de traitement. Combien des près de 5 000 rapports envoyés ont déjà été corrigés, et quel est le délai moyen de traitement, l'annonce ne le révèle pas ; reste à savoir, une fois la liste des projets inscrits rendue publique, si des rapports non relus redeviendront un fardeau à mesure que les projets participants se multiplient.
Sources : annonce officielle d'Anthropic (nombre de vulnérabilités candidates, relecture humaine, taux de conformité à la divulgation et nombre de rapports), instructions de candidature anthropics/oss-scanner, CocoLoop ; annonce d'Anthropic pour vérifier les conditions de candidature et la composition des rapports.