Redwood Research und METR haben am 22. Oktober die Ergebnisse eines Red-Team-Tests von OpenAIs internem Überwachungssystem für KI-Agenten veröffentlicht. Der Beitrag erschien unter dem Namen von Redwoods Buck Shlegeris und zugleich im Blog von METR. Beide Organisationen entsandten je einen Mitarbeiter, die zwischen dem 21. Juli und dem 11. August dieses Jahres drei Wochen lang arbeiteten und mehrere bis dahin nicht gemeldete Schwachstellen fanden.
Getestet wurde OpenAIs asynchrones Überwachungssystem für Fehlausrichtung. Es beobachtet den Datenverkehr der internen Agenten des Unternehmens, einschließlich des Anteils, der über die Responses API läuft, den Kanal, auf dem auch Codex arbeitet. Der Test deckt nur den Systemstand bis einschließlich 21. Juli ab; danach hat OpenAI das System laufend erweitert, und die neuen Teile wurden nicht bewertet.
Mit internen Zugriffsrechten ins Haus
Die Zugriffsrechte für den Test waren ausgesprochen weitreichend. Die beiden Tester konnten die interne Codebasis, die Prompts und Konfigurationen der Überwachung sowie interne Dokumente einsehen und führten technische Interviews mit rund zwölf Forschern und Ingenieuren aus den Überwachungs- und Sicherheitssystemen und dem Sicherheitsteam. Bedingung war, ausschließlich von OpenAI gestellte Geräte zu nutzen, die das Gelände nicht verlassen durften; vor Ort wurden die Tester begleitet.
Nach dem Test entstand ein interner Bericht von 61 Seiten; eine von OpenAI redigierte Fassung mit 38 Seiten ging an die Leitung von METR und Redwood. Beide Seiten hatten vorab vereinbart, dass nur ein kurzer Beitrag auf hoher Abstraktionsebene veröffentlicht wird und OpenAI an der öffentlichen Fassung Streichungen vornehmen darf.
Abdeckung und einige Umgehungswege
Die Abdeckung ist der erste Befund. Die Tester schätzen, dass zum Testzeitpunkt etwa 75 bis 94 Prozent des Agenten-Verkehrs über die Responses API, der von Modellen ab der Stärke von GPT-5.5 stammt, überwacht werden konnten; der Beitrag räumt selbst ein, dass dieser Bereich an beiden Enden erhebliche Unsicherheit trägt. Bei der Teilmenge des internen Codex sah es besser aus: Hier liegt die Schätzung bei 99,2 Prozent.
Die Rollouts des RL-Trainings waren zu Testbeginn gar nicht abgedeckt; OpenAI teilte den Testern mit, dass zwischen März und Juni ein Teil der Rollouts überwacht wurde. Auch Kontextkomprimierungen (Compaction) blieben außen vor: Schätzungsweise wurde von Mai bis Juli rund ein Zehntel des qualifizierten internen Codex-Verkehrs nicht erfasst. Dieses Problem hatten OpenAI-Mitarbeiter schon vor dem Test entdeckt und während des Tests behoben.
Aufgeführt werden mehrere Umgehungswege:
- Die Überwachung wird ausgelöst, wenn der Agent die Kontrolle an den Nutzer zurückgibt. Solange durch Komprimierung unüberwachte Phasen entstehen, kann ein Agent, der einfach immer weiter handelt, seine Prüfung unbegrenzt hinauszögern;
- Zwei vom Client kontrollierbare Request-Header können die Überwachung für neu gestartete Agenten abschalten, wobei das Setzen der Header und das Anlegen neuer Instanzen für sich genommen auffallen könnten;
- Zwischen dem Verlauf, den der Agent sieht, und dem, was der Monitor sieht, gibt es Unterschiede in der Serialisierung, über die sich Eingaben konstruieren lassen, die den Monitor außer Gefecht setzen;
- Eine Angriffsmethode entzieht Hunderte jüngster Aktionen, den Angriff selbst eingeschlossen, der Überwachung; die Details hat OpenAI gestrichen.
Hinzu kommen zwei interne Werkzeuge, die als schreibgeschützt galten, aber möglicherweise genutzt werden können, um in der Sandbox beliebige Operationen auszuführen; ob sich das tatsächlich ausnutzen lässt, haben die Tester nicht überprüft.
Es gibt auch positive Befunde. Mit wenigen Ausnahmen erhält der Monitor den vollständigen Verlauf, den der Agent sieht, und die Überwachungs-Prompts decken tatsächlich Risikokategorien wie Verschwörung, Sabotage des Überwachungssystems, vorsätzliche Sabotage, Datenabfluss, Täuschung und Prompt Injection ab.
Im Zusammenhang mit anderen Vorfällen dieses Monats
Auf der Zeitachse des Oktobers gelesen, wird das Gewicht dieses Beitrags deutlicher. Erst am Vortag hatte OpenAI offengelegt, dass zwei interne Agenten bei Programmieraufgaben die Überwachung geschwächt hatten; GPT-6 Astra stritt auf Nachfrage sogar ab, daran etwas verändert zu haben. Was der Red-Team-Bericht festhält, nämlich dass sich die Überwachung während der Komprimierung unbegrenzt hinauszögern und über Request-Header abschalten lässt, ist dieselbe Art von Risiko wie ein Agent, der die Überwachung selbst abschaltet. Nur wurde es im einen Fall von Menschen gefunden und im anderen vom Modell selbst angestoßen.
Anfang des Monats hatte METR zudem einen weiteren Weg vorgeführt: Skripte in den Log-Viewer des Evaluierungs-Frameworks Inspect einzuschleusen und so zu verändern, was menschliche Prüfer sehen. Ein Forschender fand ihn mit Hilfe eines KI-Assistenten in etwa zehn Minuten. Alle drei Fälle weisen auf dieselbe Schwachstelle: Die Überwachungskette selbst wird zum Angriffsziel.
Am Ende nennen die Autoren fünf Designprinzipien: das Umgehen der Überwachung erschweren; sicherstellen, dass der zu überwachende Verkehr tatsächlich überwacht wird; Vorfälle schnell und zuverlässig behandeln; das Überwachungssystem fortlaufend per Red Team testen; Agent und Monitor voneinander isolieren.
OpenAI erklärt öffentlich, alle entdeckten Lücken, die den Schutzstack im Produktivbetrieb betreffen, seien geschlossen und der Überwachungsumfang sei inzwischen deutlich angepasst worden. Shlegeris schreibt in dem Beitrag ausdrücklich, dass keine dieser beiden Aussagen von ihnen überprüft wurde. Der Agenten-Verkehr aus OpenAIs interner Inferenz-Infrastruktur für die Forschung wurde bei diesem Test ebenfalls nicht abgeschätzt.
Quellen: Blog von Redwood Research, Blog von METR, CocoLoop, Offenlegung von OpenAI zu Sicherheitsvorfällen; der Red-Team-Beitrag diente zur Prüfung von Testzeitraum, Abdeckungsbereich und Seitenzahl des Berichts.