Trail of Bits a publié le 15 septembre un article affirmant que les conclusions du rapport de benchmark de correctifs IA de 1Password ne tiennent pas. 1Password avait annoncé un taux de "correction propre" de 26% ; Trail of Bits a recalculé ce même jeu de données et obtient un autre chiffre : sur 3 067 correctifs, 2 634 ont réussi à bloquer l'exploit correspondant, soit 86%.
Les deux chiffres diffèrent de 60 points de pourcentage, un écart qui tient à la méthode de notation.
Quatre défauts pointés du doigt
Trail of Bits énumère quatre points :
- Un échantillon trop restreint : l'ensemble du benchmark ne repose que sur six vulnérabilités complexes, dont les taux de correction respectifs varient de 3% à 60%. Faire de leur moyenne un indicateur de la "capacité de l'IA à corriger" laisse le bruit d'échantillonnage écraser le signal réel.
- Le prompt lui-même pose problème : 22% des données proviennent de tests où l'agent était délibérément orienté vers une mauvaise correction. Ce type de test mesure si le modèle se laisse induire en erreur, pas s'il sait corriger correctement.
- Des outils retirés : dans 36% des tests, le modèle n'avait pas le droit de compiler ni de tester le code. Un développeur humain, dans les mêmes conditions, ne ferait pas beaucoup mieux pour corriger une faille de sécurité.
- Une configuration incohérente : les différents modèles utilisaient des réglages de raisonnement différents, rendant les scores non comparables entre eux.
L'article est signé par quatre auteurs : Anish Naik, Dan Guido, Benjamin Samuels et Marcelo Morales. Du côté de 1Password, aucune réponse publique n'a pour l'instant été apportée à cette réanalyse.
La ligne de base humaine
La partie la plus convaincante de l'article est le groupe témoin qu'il apporte. Trail of Bits cite des données selon lesquelles, dans des conditions idéales, le taux d'échec d'un développeur à sa première tentative de correction d'une faille de sécurité avoisine 12,5%, soit un échec pour huit essais en moyenne.
Avec cette ligne de base, l'affirmation "l'IA ne corrige pas proprement" obtient enfin un cadre de référence. Un taux propre de 26% sonne comme un échec, mais placer 86% à côté d'une ligne de base humaine de 87,5% raconte une autre histoire : à peu près à égalité, sans l'avoir encore dépassée.
Au passage, Trail of Bits a également communiqué les chiffres de son propre projet Patch the Planet : 186 pull requests soumises, 126 fusionnées, soit un taux de fusion de 67,7% ; parmi les correctifs fusionnés, 72,2% n'ont nécessité aucune révision de sécurité supplémentaire. Cet ensemble mesure autre chose que le benchmark : il évalue si un correctif est accepté par de vrais mainteneurs, ce qui se rapproche davantage de la réalité de production que le simple blocage d'un exploit.
Deux compétences publiées au passage
En fin d'article, deux skills pour agents ont été publiées : post-patch-validation, qui fait tester et valider par l'agent son propre correctif avant de le soumettre, et review-walkthrough, qui aide les ingénieurs à parcourir les modifications de code dans un ordre logique.
L'existence même de ces deux outils constitue en soi une réponse au benchmark critiqué. Dans 36% des tests, compiler et tester étaient interdits, et la première skill proposée par Trail of Bits est justement la validation avant soumission — ce qui suggère qu'une grande partie de la qualité d'un correctif dépend de la possibilité, ou non, pour l'agent de se vérifier lui-même.
Ce que les équipes locales doivent regarder en lisant ce type de benchmark
Cette année, de nombreux acteurs publient des bilans de performance de l'IA en matière de correction de vulnérabilités, avec des critères très disparates. Cet article propose une liste de vérification directement applicable : quelle est la taille de l'échantillon, des prompts délibérément trompeurs sont-ils mêlés aux tests, le modèle est-il autorisé à compiler et à tester, la configuration de raisonnement est-elle cohérente entre les modèles, et existe-t-il une ligne de base humaine pour comparer. S'il manque un seul de ces cinq points, le pourcentage annoncé ne peut pas servir directement de critère de choix.
Plus concret pour les équipes locales : ces deux skills sont publiées ouvertement et peuvent être intégrées directement dans son propre flux de revue de code sans attendre l'autorisation de personne. Quant au gain réel une fois intégrées, il varie trop d'une base de code à l'autre pour qu'il existe une réponse toute faite.
Sources : blog officiel de Trail of Bits, CocoLoop, rapport de benchmark de 1Password ; les quatre critiques méthodologiques, le décompte des correctifs 3 067 et 2 634, ainsi que les données de fusion 186/126 de Patch the Planet reprennent l'article de blog original.