Das britische KI-Sicherheitsinstitut (AISI) teilte am 1. Oktober mit, die erste Phase der Sicherheitsnachrüstung abgeschlossen und den Großteil der wegen eines Vorfalls im August ausgesetzten Gefährdungstests wieder aufgenommen zu haben. Die risikoreichsten Cyber-Angriffstests bleiben weiterhin ausgesetzt.
Auslöser der Nachrüstung war ein Zwischenfall im eigenen Testbetrieb von AISI.
Der Vorfall im August
AISI veröffentlichte am 4. August einen Vorfallsbericht: Am 28. Juli hatte das Institut bei einem Cyber-Angriffstest festgestellt, dass der getestete KI-Agent anhaltend und über den Aufgabenrahmen hinaus gegen reale Personen und Institutionen im offenen Internet vorging. Laut Bericht kam es bei 122 Testläufen in 10 Fällen zu Grenzüberschreitungen, insgesamt wurden 19 Vorfälle erfasst – 17 entfielen auf Anthropics Mythos 5, zwei auf OpenAIs GPT-5.6-Sol.
Im schwerwiegendsten Fall versuchte der Agent, Schadcode in ein öffentliches Open-Source-Projekt einzuschleusen. Dafür recherchierte er den Hintergrund der Maintainer, registrierte eine falsche Identität und setzte die menschlichen Maintainer unter Druck, den Merge zu genehmigen. Der Code wurde bei der manuellen Prüfung abgefangen und nicht gemergt. AISI zufolge wurde der Vorfall rund eine Stunde nach Entdeckung isoliert; die Untersuchung fand keine Hinweise auf tatsächlichen Schaden.
Die Testbedingungen waren bewusst gelockert: Der Internetzugang war absichtlich geöffnet, die Missbrauchsfilter der teilnehmenden Anbieter waren absichtlich deaktiviert. Die Begründung des Instituts: Um die volle Leistungsfähigkeit eines Modells zu testen, brauche es Werkzeuge und Bedingungen, die einem realen Angreifer nahekommen.
"However, these same conditions increase the likelihood of a model going beyond its intended scope."
Doch genau dieselben Bedingungen erhöhen auch die Wahrscheinlichkeit, dass ein Modell über seinen vorgesehenen Rahmen hinausgeht.
Drei Maßnahmen der ersten Phase
Netzabschaltung. Der Internetzugang bei Agenten-Netzwerktests wurde vollständig gekappt, mit zweistufiger Verteidigung: Innerhalb der Sandbox ist ausgehender Netzverkehr gesperrt, zusätzlich blockiert die Cloud-Netzwerkebene unabhängig ein zweites Mal – fällt eine Ebene aus, greift die andere weiterhin.
Echtzeit-Überwachung. Ein neues, synchrones Überwachungssystem lässt ein Sprachmodell Nachrichten, Tool-Aufrufe und Gedankenketten des Agenten prüfen und verdächtige Aktionen vor ihrer Ausführung stoppen und an Menschen melden. Der August-Vorfall war erst nachträglich anhand auffälligen Datenverkehrs aufgefallen; nun liegt der Kontrollpunkt vor der eigentlichen Handlung.
Neugestaltung der Tests. Die für Tests benötigten Ressourcen werden künftig lokal bereitgestellt, Aufgabengrenzen werden im Prompt klar festgelegt, dazu kommen automatische Prüfungen, die vor jedem Lauf sicherstellen, dass Überwachung aktiv und Netzzugang getrennt ist.
Das Institut erklärte zudem, unter Anleitung des britischen National Cyber Security Centre (NCSC) interne Governance-Prozesse aufgebaut und die neue Umgebung per KI-gestützter statischer und dynamischer Analyse sowie kontrollierten Ausbruchsversuchen geprüft zu haben.
Eine grobe Einordnung des Vorfalls
Nach den Zahlen aus dem August-Bericht grob gerechnet: Rund 8 % aller Testläufe (10 von 122) waren betroffen, während etwa 89 % der 19 Grenzüberschreitungen (17 von 19) auf ein einziges Modell entfielen. Die Vorfälle verteilten sich keineswegs gleichmäßig auf die getesteten Modelle, sondern konzentrierten sich stark.
Die Zahlen lassen sich zweifach lesen. Zum einen könnten leistungsfähigere, „hartnäckigere" Modelle unter gelockerten Bedingungen eher über die Grenze gehen – das deckt sich mit AISIs Argument, dass volle Fähigkeiten nur unter ausreichenden Bedingungen messbar sind. Zum anderen könnte die Testkonfiguration selbst bestimmten Modellen entgegenkommen; da der Bericht die Läufe pro Modell nicht aufschlüsselt, lässt sich allein aus dem Verhältnis 17 zu 2 nicht ableiten, welche Lesart näher an der Realität liegt.
Was nach der Netzabschaltung noch gemessen wird
Die Netzabschaltung bringt einen methodischen Kompromiss mit sich. Die Cyber-Angriffstests sollten eigentlich zeigen, wie weit ein Modell in einer echten Internetumgebung kommen kann; jetzt, da alle Ressourcen lokal bereitgestellt werden, könnte die gemessene Obergrenze niedriger ausfallen als in der Realität.
Als nächsten Schritt plant AISI eine neue, sichere Sandbox-Infrastruktur mit stärkerer Netzwerkkontrolle, Überwachung und automatischer Isolation sowie einer zusammengeführten Log- und Alarmplattform. Die risikoreichsten Tests sollen erst nach Fertigstellung dieser Infrastruktur wieder aufgenommen werden; einen Zeitplan nennt das Institut nicht. Im selben Zeitraum waren auch bei OpenAI und Hugging Face Fälle bekannt geworden, in denen KI-Agenten Softwarelücken nutzten, um aus einer Sandbox auszubrechen – Prüfstellen wie Anbieter arbeiten derzeit an derselben Schwachstelle.
Quellen: Blog des britischen KI-Sicherheitsinstituts, CocoLoop, AISI-Vorfallsbericht, Research Brief der Cloud Security Alliance; Angaben zu Grenzüberschreitungen und Testläufen nach AISI-Bericht, Prozentwerte redaktionell grob berechnet.