Trail of Bits veröffentlichte am 15. September einen Beitrag, der die Schlussfolgerungen des KI-Patch-Benchmarks von 1Password infrage stellt. 1Password hatte eine "saubere Fixquote" von 26 Prozent verkündet; Trail of Bits wertete denselben Datensatz neu aus und kam auf ein anderes Bild: Von 3.067 Patches konnten 2.634 den dazugehörigen Exploit erfolgreich verhindern, macht 86 Prozent.
Zwischen den beiden Zahlen liegen 60 Prozentpunkte – die Differenz steckt in der Art der Auswertung.
Vier aufgedeckte Schwachstellen
Trail of Bits nennt vier Kritikpunkte:
- Zu enge Stichprobe: Der gesamte Benchmark stützt sich auf nur sechs komplexe Sicherheitslücken, deren jeweilige Fixquote zwischen 3 und 60 Prozent schwankt. Deren Mittelwert als "KI-Patch-Fähigkeit" auszugeben, lässt das statistische Rauschen das eigentliche Signal übertönen.
- Problematische Prompts: 22 Prozent der Daten stammen aus Testläufen, bei denen der Agent absichtlich zu einer falschen Lösung gelenkt wurde. Damit wird gemessen, ob sich das Modell in die Irre führen lässt – nicht, ob es korrekt patchen kann.
- Werkzeuge entzogen: In 36 Prozent der Testläufe durfte das Modell weder kompilieren noch Code testen. Menschliche Entwickler würden unter denselben Bedingungen bei einem Sicherheitsfix kaum besser abschneiden.
- Uneinheitliche Konfiguration: Verschiedene Modelle liefen mit unterschiedlichen Reasoning-Einstellungen, wodurch die Ergebnisse untereinander nicht vergleichbar sind.
Der Beitrag trägt vier Autorennamen: Anish Naik, Dan Guido, Benjamin Samuels und Marcelo Morales. Von 1Password gibt es bislang keine öffentliche Stellungnahme zu dieser Neuauswertung.
Der menschliche Vergleichswert
Überzeugender wird der Beitrag durch die Kontrollgruppe, die er liefert. Trail of Bits zitiert Zahlen, wonach menschliche Entwickler unter idealen Bedingungen beim ersten Versuch, eine Sicherheitslücke zu schließen, eine Fehlerquote von rund 12,5 Prozent haben – also im Schnitt bei einem von acht Versuchen scheitern.
Erst mit diesem Vergleichswert bekommt die These "KI patcht nicht sauber" einen Bezugsrahmen. Eine saubere Quote von 26 Prozent klingt nach durchgefallen, aber 86 Prozent neben einer menschlichen Basislinie von 87,5 Prozent erzählen eine andere Geschichte: etwa gleichauf, noch nicht übertroffen.
Nebenbei nennt Trail of Bits Zahlen aus dem eigenen Projekt Patch the Planet: 186 Pull Requests eingereicht, 126 davon gemergt, eine Mergequote von 67,7 Prozent; bei den gemergten Patches waren bei 72,2 Prozent keine weiteren Sicherheitskorrekturen nötig. Diese Zahlen messen etwas anderes als der Benchmark – nämlich ob ein Patch von echten Maintainern akzeptiert wird, was der Produktionsrealität näherkommt als das reine Blockieren eines Exploits.
Zwei Skills als Zugabe
Am Ende des Beitrags werden zwei Agent-Skills veröffentlicht: post-patch-validation lässt den Agenten seinen Patch vor der Einreichung selbst testen und verifizieren, review-walkthrough hilft Entwicklern, Codeänderungen in logischer Reihenfolge durchzugehen.
Dass es diese beiden Werkzeuge überhaupt gibt, ist selbst eine Antwort auf den kritisierten Benchmark. In 36 Prozent der Testläufe waren Kompilieren und Testen verboten – und genau die vorgelagerte Validierung ist das erste Skill, das Trail of Bits liefert. Die Botschaft: Ein Großteil der Patch-Qualität hängt davon ab, ob der Agent überhaupt die Chance zur Selbstprüfung bekommt.
Worauf lokale Teams bei solchen Benchmarks achten sollten
Dieses Jahr veröffentlichen viele Anbieter Erfolgsbilanzen zum KI-gestützten Patchen von Sicherheitslücken, und die Messmethoden unterscheiden sich stark. Der Beitrag liefert eine Checkliste, die sich direkt übernehmen lässt: Wie groß ist die Stichprobe, sind absichtlich irreführende Prompts eingemischt, dürfen die Modelle kompilieren und testen, sind die Reasoning-Konfigurationen der Modelle konsistent, und gibt es eine menschliche Vergleichslinie? Fehlt auch nur einer dieser fünf Punkte, taugt die veröffentlichte Prozentzahl nicht als direkte Entscheidungsgrundlage.
Praktisch relevant für lokale Teams: Beide Skills sind offen veröffentlicht und lassen sich ohne Freigabe direkt in die eigene Code-Review-Pipeline einbinden. Wie viel sie dort tatsächlich bringen, hängt stark von der jeweiligen Codebasis ab – eine pauschale Antwort gibt es dafür nicht.
Quellen: offizieller Trail-of-Bits-Blog, CocoLoop, Benchmark-Bericht von 1Password; die vier methodischen Einwände sowie die Patch-Zahlen 3.067/2.634 und die Merge-Daten 186/126 aus Patch the Planet stammen alle aus dem Original-Blogbeitrag.