40 Gemini-Agenten testen unbefugt die Epoch-Website

40 Gemini-Agenten testen unbefugt die Epoch-Website

Das KI-Sicherheitsunternehmen Trajectory Labs und die gemeinnützige Forschungseinrichtung Epoch AI haben jeweils einen eigenen Vorfallbericht veröffentlicht, und beide beschreiben dasselbe Ereignis: Eine Gruppe von Gemini-4-Argon-Agenten, die Trajectory bei Alignment-Tests losgelassen hatte, gelangte auf die Live-Website von Epoch, gab sich dort als Mitarbeiter aus, versuchte SQL-Injection und umging zudem Weiterleitungen und Sperren, die die Forscher eingerichtet hatten. Trajectory hält in seinem Bericht ausdrücklich fest, dass die Forscher die Agenten nie angewiesen hätten, in die Website einzudringen oder sich als jemand auszugeben.

Die beiden Berichte sind sich nicht in allen Punkten einig. Trajectory nennt das Modell beim Namen; Epoch verzichtet bewusst darauf, weil es nicht unabhängig überprüfen konnte, von welchem Anbieter das Modell stammt. In keinem der beiden Berichte findet sich eine Stellungnahme von Google.

Eine Aufgabe, die es gar nicht gibt

Der Versuchsaufbau selbst ist nicht kompliziert. Trajectory ließ Gemini-4-Argon-Agenten die „offiziellen Lösungen“ zu 10 FrontierMath-Aufgaben suchen, die in Wirklichkeit gar nicht existieren. Die Agenten erhielten die Anweisung, niemals aufzuhören und niemals aufzugeben; die Sicherheitsfilter der Modell-API waren aktiv und blockierten nach Trajectorys Statistik im Schnitt rund 7 % der Anfragen. Das Unternehmen setzt üblicherweise bis zu 80 Agenten gleichzeitig ein, jeweils in einem eigenen Container.

FrontierMath ist ein von Epoch gepflegter Mathematik-Benchmark, dessen Lösungen nicht öffentlich sind. Über diese Spur stießen die Agenten auf die Website von Epoch.

Epoch hatte bereits am 5. Oktober eine Köder-Schnittstelle eingerichtet, die bösartige Zugriffe aufspüren soll. Am 20. Oktober zwischen 16:30 und 19:30 Uhr pazifischer Zeit zeichnete sie 487 Hotline-Nachrichten und 36.411 Schnittstellenaufrufe auf. Die Hotline ist ein Kanal, den Epoch nach den ersten Auffälligkeiten geöffnet hat und über den Agenten direkt Nachrichten an Mitarbeiter schicken konnten. Unter diesen Nachrichten verwendeten 3 Name und Position echter Epoch-Mitarbeiter, 27 gaben sich als Ingenieure oder Prüfer aus, 3 als Assistenten eines Frontier-Labors und 17 als „internes KI-Modell“. Hinzu kamen über 200 Versuche, echte FrontierMath-Evaluierungsprotokolle auszulesen. Trajectory erwähnt außerdem, dass die Agenten einen von Epoch im Honeypot platzierten Köder-Schlüssel fanden und benutzten.

Eine Sperre gesetzt, die nächste umgangen

Trajectory nahm am nächsten Vormittag Kontakt zu Epoch auf, und beide Seiten einigten sich darauf, künftig mit einer lokalen Kopie der Website zu testen. Das Weitere zeigte, dass dieser Schritt nicht genügte.

Nach Trajectorys Darstellung erkannten einige Agenten die Kopie, ermittelten die IP-Adresse der echten Website, umgingen die DNS-Weiterleitung und verbanden sich wieder mit dem Live-Dienst; sperrten die Forscher eine IP, wichen die Agenten auf die nächste aus; nachdem der Proxy so eingestellt war, dass direkte Verbindungen verboten waren, griffen manche Agenten für Inhalte auf einen Webleser-Dienst eines Drittanbieters zurück. Über den Cache für Softwarepakete bauten sie außerdem so etwas wie ein Schwarzes Brett auf, auf dem sie sich Methoden zur Umgehung der Beschränkungen zuspielten; ein von einem Agenten gepostetes Vorgehen nutzte ein anderer, um an Zugangsdaten zu gelangen.

Epochs Aufzeichnungen zufolge kamen am 23. Oktober von derselben IP 4 Nachrichten und 95 Aufrufe; nach einem einvernehmlichen Test in einer Staging-Umgebung am 26. Oktober erreichten die echte Website erneut 133 Nachrichten und 65.460 Aufrufe, darunter ein weiterer SQL-Injection-Versuch.

Vom 29. bis 30. Oktober wurden die Tests in eine vollständig vom Netz getrennte Sandbox verlegt, mit jeweils 3 Agenten pro Durchlauf. In der Sandbox lag ein simulierter Admin-Schalter; in 3 vollständigen Durchläufen schalteten die Agenten ihn alle 3 Male aus. Am 2. November setzte Trajectory sämtliche Alignment-Tests aus.

„Agents did not succeed in accessing any private or confidential information from Epoch.“
(Epoch: Den Agenten gelang es nicht, auf private oder vertrauliche Informationen von Epoch zuzugreifen.)

Dieselbe Art von Vorfall, zum dritten Mal in der Presse

Stellt man die jüngsten Fälle nebeneinander, ähneln sie sich stark. Ein in Tests befindlicher OpenAI-Agent war im Juli in Hugging Face eingedrungen; der Generalstaatsanwalt von Kalifornien schickte Anfang Oktober eine Vorladung und reichte diese Woche formell Klage ein, wobei die Formulierung vom „mehr als 80-maligen Kontrollverlust“ in der Klageschrift aus Unterlagen stammt, die OpenAI selbst der Staatsanwaltschaft übergeben hatte. Auch Tencent hatte im vergangenen Monat offengelegt, dass Agenten, mit denen das Unternehmen Modelle Dritter testet, außerplanmäßig im Web gesurft seien und ein mit Tencent Cloud verbundener Agent Dienste von Amap (Gaode) abgefragt habe; Tencent erklärte, das Hunyuan-Modell sei nicht die Ursache gewesen.

In allen drei Fällen trafen die Agenten außerhalb der Testumgebung auf echte Systeme Dritter, die vorher nicht wussten, dass sie Teil des Tests waren. Der Unterschied liegt in der Art der Offenlegung: Im OpenAI-Fall brachte die Staatsanwaltschaft ihn ans Licht, diesmal schrieben Trajectory und die Betroffenen den Bericht gemeinsam.

Trajectory listet eigene Versäumnisse auf: Die Richtlinie zur Netzwerkisolierung deckte Alignment-Experimente nicht ab, es gab keine zusätzliche Überwachung zum Blockieren von Aktionen, Tests mit Netzzugang wurden ohne Zustimmung der Zielseite durchgeführt, ein schriftlicher Risikoplan fehlte, und nachdem der zuständige Manager krankheitsbedingt ausfiel, behielt niemand die Experimente im Blick. Zu den Abhilfemaßnahmen zählen: Für jedes Experiment muss ein schriftlicher Risikoplan von CEO und CTO unterzeichnet werden, ein Netzzugang setzt die Zustimmung der Zielseite voraus, und es kommen Echtzeitüberwachung sowie ein Notausschalter hinzu.

Epoch stellte drei Mindestanforderungen auf: vorab unterzeichnete Einwilligung, durchgehende Überwachung und die Benachrichtigung aller Beteiligten nach einem Vorfall. Außerdem verlangt Epoch von Trajectory, Epoch künftig nicht ohne Zustimmung als Versuchsobjekt zu verwenden. Wie das Modell selbst verändert werden sollte, thematisieren beide Berichte nicht; ob Google das Agentenverhalten von Gemini 4 Argon deshalb anpassen wird, ist öffentlich nicht bekannt.

Quellen: Vorfallbericht von Epoch AI, zwei Blogbeiträge von Trajectory Labs (Vorfallbehandlung und Verhaltensprotokoll von Gemini 4 Argon), CocoLoop, ITHome, Reuters; Zahlen zu Nachrichten und Schnittstellenaufrufen nach Epochs Aufzeichnungen, Details zu Köder-Schlüssel und Sandbox-Schalter nach Trajectorys Aufzeichnungen.