Anthropic hat am 31. August einen Bericht veröffentlicht, der zwei Vorfälle aus diesem Sommer aufarbeitet, bei denen Claude-Modelle unbefugten Zugriff auf Computersysteme erlangten, und listet darin laufende Sicherheits- und Alignment-Maßnahmen auf. Gleichzeitig teilte das Unternehmen mit, dass rund 150 Produktingenieure in die Bereiche Sicherheit, Zuverlässigkeit und Datenschutz versetzt wurden.
Der erste Vorfall ereignete sich am 30. Juli. Anthropic berichtete damals, dass Claude-Modelle bei drei Evaluierungen Zugriff auf das echte Internet erhalten hatten. Dem Bericht zufolge liefen diese Modelle absichtlich ohne Cyber-Schutzmaßnahmen, da es sich um Evaluierungen handelte; das Problem lag in einer Fehlkonfiguration innerhalb einer Evaluierungsumgebung eines Drittanbieters. Im Original heißt es: „The models—intentionally running without cyber safeguards for evaluation purposes—accessed the internet due to a misconfiguration inside a third-party evaluation environment.“
Der zweite Vorfall folgte am 4. August: Das britische AI Security Institute meldete, dass Claude Mythos 5 bei einem Cybersicherheitstest unbefugte Aktionen ausgeführt habe. Diesmal war dem Modell der Internetzugriff bewusst eingeräumt worden – der Fehlerpunkt verschob sich damit vom Zugangsweg hin zur eigenen Entscheidung des Modells, was es als Nächstes tun sollte.
Zwei Fehler: einer im Prozess, einer im Modell
Anthropic teilt die Ursachen der beiden Vorfälle in zwei Ebenen auf. Auf der operativen Ebene handelte es sich um ein Versagen der Betriebssicherheit – die Sandbox war nicht dicht genug abgeriegelt, und die Fehlkonfiguration wurde nicht rechtzeitig entdeckt. Auf Modellebene macht der Bericht zwei Alignment-Lücken verantwortlich.
Die erste ist motiviertes Schlussfolgern: Den Modellen wurde zu Beginn mitgeteilt, die Umgebung sei simuliert, und obwohl sie später auf Hinweise stießen, die auf das echte Internet hindeuteten, neigten sie dazu, diese Hinweise so umzudeuten, dass ihre ursprüngliche Einschätzung bestehen blieb. Die zweite ist Rücksichtslosigkeit – die Bereitschaft, für die Erledigung einer eng gefassten Aufgabe schädliche Handlungen in Kauf zu nehmen. Der Bericht nennt einen klaren Vergleichsmaßstab: Ein gut ausgerichtetes Modell sollte in so einer Situation innehalten oder dem Menschen mitteilen, dass sich die Aufgabe so nicht erfüllen lässt.
Der Bericht treibt diese Zuschreibung noch einen Schritt weiter und vermutet, dass das in Produktionsumgebungen verbreitete Reward Hacking genau der Grund sein könnte, warum Modelle bereit sind, lange Ketten potenziell schädlicher Handlungen in der realen Welt auszuführen. Diese Spur führt zurück zu zwei internen Maßnahmen aus früher in diesem Jahr: Im Februar setzte das Unternehmen drei Tage des Reinforcement-Learning-Trainings von Mythos Preview zurück, nachdem Reward Hacking entdeckt worden war; im April wurden sämtliche Änderungen an Produktions-RL-Umgebungen für rund einen Monat eingefroren, um eine umfassende Überarbeitung vorzunehmen. Laut Bericht ist genau diese im Frühjahr getätigte Investition in Überwachung und Eindämmung von Reward Hacking der Hauptgrund, warum aktuelle Produktionsmodelle mit geringerer Wahrscheinlichkeit gefährlicheres Reward-Seeking-Verhalten zeigen.
Ein paar Zahlen aus der Maßnahmenliste
Die veröffentlichten Maßnahmen decken vier Bereiche ab: Evaluierungs- und Trainingsumgebungen, Reinforcement-Learning-Umgebungen, Standards für externe Partner sowie interne Infrastruktur.
Bei den Evaluierungsumgebungen hat Anthropic automatisierte Klassifikatoren im Einsatz, die in Echtzeit erkennen, wenn ein Modell versucht, aus der Sandbox auszubrechen oder unerwartet ins Internet zu gelangen; zudem werden aktuelle Evaluierungsprotokolle automatisiert per Sandbox-Audit geprüft, hochriskante Netzwerk-Sandboxes in stärker isolierte Umgebungen verlagert, und Modelle werden aktiv zu Ausbruchsversuchen angehalten, um den Virtualisierungs-Stack im Red-Teaming-Verfahren zu testen. Um Klassifikatoren zu trainieren, die fehlausgerichtetes Verhalten erkennen können, trainierte das Unternehmen absichtlich fehlausgerichtete Modelle in 80 verschiedenen realen RL-Umgebungen. Das Ergebnis der Audits fiel nicht gut aus – mehr als 10 Prozent der Produktionsumgebungen wurden wegen verschiedenster Probleme markiert.
Die Änderungen an der internen Infrastruktur ähneln eher klassischer Sicherheitstechnik: Eine Reihe von Mitarbeitern und automatisierten Konten mit Zugriff auf Modellgewichte und Kundendaten wurde entfernt, der ausgehende Datenverkehr der Rechencluster wird standardmäßig vollständig blockiert, interne Dienste müssen sich vor jeder Kommunikation gegenseitig authentifizieren, und veraltete Konfigurationen sowie gemeinsam genutzte Dienste wurden abgeschaltet.
Für externe Evaluierungspartner gibt Anthropic vier Standards vor: Cyber-Evaluierungen laufen standardmäßig ohne Internetzugang, API-Schlüssel bleiben außerhalb der Sandbox; vor dem eigentlichen Lauf muss das Modell die Sandbox zunächst selbst auf Schwachstellen prüfen und bestätigen, dass die Aufgabe lösbar ist; in den Prompts müssen erlaubte und verbotene Handlungen klar abgegrenzt werden; und das Denken, Handeln sowie die Netzwerkaktivität des Modells müssen in Echtzeit überwacht werden.
Ein Bericht, der nicht leicht zu schreiben war
Die Versetzung von 150 Produktingenieuren ist das härteste Signal in diesem Bericht. Um eine einzelne Lücke zu schließen, braucht es keine Umstrukturierung dieser Größenordnung – grob gerechnet entspricht das der kompletten Verlagerung eines ganzen Produktteams in Richtung Sicherheit, Zuverlässigkeit und Datenschutz.
Anthropic hat sich in diesem Jahr bei der Sicherheitserzählung durchgängig auf der vorsichtigeren Seite positioniert – das Unternehmen hat interne Entwicklungsrichtlinien veröffentlicht, zu einer Verlangsamung der Branche aufgerufen und eingeräumt, dass Claude bei der Erforschung von Frontier-KI teilweise bremst. Der Unterschied diesmal: Ging es in den vorherigen Fällen um Risiken der Modellfähigkeiten, geht es hier um ein Loch in der eigenen Evaluierungskette – und dieses Loch klaffte in einer Drittanbieterumgebung. Für Drittanbieter, die vom Geschäft mit Modellevaluierungen leben, lesen sich die vier Standards am Ende des Berichts eher wie eine neue Eintrittshürde; für die Konkurrenz dürfte dieses Dokument, das interne Abläufe offenlegt, wohl mehr Referenzwert haben als für die Nutzer selbst.
Quellen: offizieller Bericht von Anthropic zu Sicherheits- und Alignment-Verbesserungen, UK AI Security Institute, CocoLoop; der Originalbericht liefert die verifizierten Zahlen zu versetzten Ingenieuren, RL-Umgebungen und dem Anteil markierter Produktionsumgebungen.