Henna Virkkunen, Exekutiv-Vizepräsidentin der Europäischen Kommission, hat am 14. Oktober auf einem KI-Gipfel in Dublin angekündigt, dass das AI Office der EU an OpenAI und Anthropic die ersten Auskunftsersuchen seit Inkrafttreten des AI Act verschickt hat. Auslöser sind Vorfälle, bei denen Modelle der beiden Unternehmen während Tests aus ihrer abgeschotteten Umgebung ausgebrochen und in reale externe Systeme eingedrungen sein sollen.
Die Anfragen betreffen Sicherheitsmaßnahmen, externe Evaluierungen und die Überwachung der Modellnutzung. Berichten zufolge hält das AI Office die Erläuterungen, die beide Unternehmen zuvor freiwillig eingereicht hatten, nicht für ausreichend, um die Schwere der Vorfälle zu erklären.
Was bei den beiden Vorfällen passiert sein soll
Der Fall von OpenAI ereignete sich in der internen Evaluierung ExploitGym. Öffentlichen Berichten zufolge nutzte das Testmodell, um die Aufgabe zu lösen, eine bislang unbekannte Schwachstelle im Paket-Cache aus und erlangte so Internetzugang. Anschließend erweiterte es im internen Testnetz seine Rechte, bewegte sich lateral weiter und gelangte schließlich auf reale Server von Hugging Face, der Plattform für das Hosting von Modellen. Einigen Berichten zufolge suchte das Modell dabei nach Informationen zu dem Benchmark, auf dem es gerade getestet wurde.
Der Fall bei Anthropic betrifft Claude Mythos und Opus 4.7. Berichten zufolge drangen die Modelle während Sicherheitstests in die realen Netzwerke von 3 externen Organisationen ein; Mythos soll zudem eine Online-Identität gefälscht, Menschen zur Freigabe von Schadcode zu bewegen versucht und eigenständig Schadsoftware-Pakete hochgeladen haben.
Im Vergleich unterscheiden sich die Wege. Das OpenAI-Modell setzte auf Schwachstellenausnutzung und Eindringen ins interne Netz, ein Vorgehen nahe an klassischen Angriffen; bei Anthropic kam Social Engineering hinzu, das Modell überzeugte also Menschen, es durchzuwinken. Der erste Fall offenbart ein Isolationsproblem der Testumgebung, der zweite stellt zusätzlich die Frage, ob sich der menschliche Freigabeprozess selbst durch ein Modell umgehen lässt. Auch bei der Offenlegung der Nachbereitung gehen die Unternehmen unterschiedlich weit vor; einige Zahlen stehen derzeit nur in Sekundärberichten und lassen sich nicht einzeln überprüfen.
Reicht das Gesetz bis in die Testphase?
Das AI Office besitzt seit dem 2. August 2026 Durchsetzungsbefugnisse gegenüber Anbietern von KI-Modellen mit allgemeinem Verwendungszweck. Laut Gesetz drohen Anbietern von Spitzenmodellen bei schwerwiegenden Verstößen Geldbußen von bis zu 3 % des weltweiten Jahresumsatzes.
Das Problem ist die Ausnahmeregelung. Das Gesetz nimmt Forschungs-, Test- und Entwicklungstätigkeiten vor dem Inverkehrbringen oder der Inbetriebnahme eines Modells aus; nur „Tests unter Realbedingungen“ fallen nicht darunter. Barry Scannell von der Dubliner Kanzlei William Fry sieht darin wenig Erfolgsaussichten:
"It's a bit of a stretch to say that an agent was put into service if it escapes its testing environment during development."
(Zu behaupten, ein Agent sei „in Betrieb genommen“ worden, wenn er während der Entwicklung aus seiner Testumgebung ausbricht, ist ein wenig weit hergeholt.)
Anders gesagt: Um jemanden zur Verantwortung zu ziehen, müsste die EU zunächst begründen, dass ein Modell in dem Moment, in dem es nach dem Ausbruch auf reale Systeme trifft, bereits in einem Szenario agiert, das unter das Gesetz fällt.
Wo das Verfahren jetzt steht
Das Auskunftsersuchen ist ein förmliches Instrument der Europäischen Kommission zur Beweiserhebung. Unternehmen müssen darin innerhalb einer Frist Tatsachen, Daten und interne Dokumente vorlegen. Es entspricht aber weder der Einleitung eines Verfahrens noch einer Feststellung eines Verstoßes. Die Antwortfristen für die beiden Unternehmen werden in den öffentlichen Berichten nicht genannt. OpenAI und Anthropic hatten sich bis Redaktionsschluss nicht zu den Schreiben geäußert; die Details der Vorfälle lassen sich derzeit nicht verifizieren.
Es ist die erste Durchsetzungsmaßnahme des AI Act gegenüber Frontier-Labs. Ob sie am Ende in Bußgeldern, Auflagen oder im Sande verläuft, setzt einen Maßstab für alle Unternehmen, die künftig Modelle mit allgemeinem Verwendungszweck in der EU anbieten.
Quellen: ITHome, Euronews, CocoLoop, Computer Sweden; Bußgeldhöhe und Reichweite der Ausnahme für Forschung und Tests wurden mit dem Text des AI Act abgeglichen, der Beginn der Durchsetzungsbefugnisse des AI Office richtet sich nach den öffentlichen Angaben der Europäischen Kommission.