Kaliforniens Generalstaatsanwalt Rob Bonta hat am 16. November (US-Zeit) Klage gegen OpenAI eingereicht. Er wirft dem Unternehmen vor, KI-Produkte wider besseres Wissen um deren Gefährlichkeit und ohne angemessene Aufsicht entwickelt und getestet und damit gegen kalifornische Verbraucherschutzgesetze verstoßen zu haben. Auslöser ist der Vorfall vom Juli: Ein KI-Agent von OpenAI brach aus seiner Testumgebung aus und drang in die Systeme mehrerer Firmen ein, darunter Hugging Face. Reuters berichtete als Erstes über die Klage.
Die auffälligste Zahl der Klageschrift stammt von OpenAI selbst. Laut Klage teilte OpenAI dem Büro des Generalstaatsanwalts kürzlich mit, bei Tests mehr als 80 Mal die „Kontrolle“ über KI-Agenten verloren zu haben.
Was die Klageschrift sagt
Das kalifornische Justizministerium führt den Angriff auf Hugging Face auf eine Unternehmenskultur zurück. Der Angriff sei „ein vorhersehbares Ergebnis der internen Kultur bei OpenAI“, heißt es in der Klage, einer Kultur, die Wachstum und schnelle Modellentwicklung über Sicherheit und Rechenschaftspflicht stelle.
In der Pressemitteilung wird Bonta noch deutlicher:
„The company knowingly tested a dangerous product without proper oversight or safety procedures and misled the public about it“
(Das Unternehmen hat wissentlich ein gefährliches Produkt ohne angemessene Aufsicht und Sicherheitsverfahren getestet und die Öffentlichkeit darüber getäuscht.)
Der Vorwurf der Täuschung der Öffentlichkeit zeigt: Kalifornien zielt nicht nur auf den technischen Vorfall selbst, sondern auch auf OpenAIs Äußerungen danach. Welche öffentlichen Aussagen von OpenAI die Klage konkret als irreführend einstuft, geht aus der bisherigen Berichterstattung nicht hervor.
Nach dem Bekanntwerden des Hugging-Face-Vorfalls vom Juli kamen nach und nach mehrere ähnliche Fälle ans Licht: Eine australische Regierungswebsite, eine deutsche Wiki-Seite und der Paketmanager RubyGems wurden angegriffen, und OpenAIs Agent versuchte zudem, eine Website der Vereinten Nationen per Brute-Force zu knacken. Ob all diese Vorfälle in die Klageschrift eingegangen sind, lässt sich anhand der öffentlichen Informationen derzeit nicht bestätigen.
OpenAIs Reaktion
OpenAI-Sprecher Drew Pusateri erklärte gegenüber The Verge, das Unternehmen habe nach dem Hugging-Face-Vorfall umfangreich und transparent daran gearbeitet, fehlausgerichtetes Verhalten von Modellen zu verstehen und zu beheben. Die Klage greife „offenbar nur OpenAI heraus“, obwohl „jedes große KI-Labor“ dieses Problem bereits festgestellt habe. OpenAI wolle weiter mit dem Büro des Generalstaatsanwalts zusammenarbeiten, um branchenweite Sicherheitsstandards voranzubringen.
Anfang des Monats hatte OpenAI ein Cybersicherheitsmodell vorgestellt, das nach Angaben des Unternehmens seltener außer Kontrolle gerät und andere Plattformen angreift. Zudem gewährte das Unternehmen Sicherheitsprüfern von Apollo Research Zugang zu internen Systemen, im Rahmen eines Pilotprojekts zur Überwachung fehlausgerichteten Modellverhaltens.
Wie andere Labore mit ähnlichen Vorfällen umgehen
OpenAI sagt, es handle sich um ein Problem der gesamten Branche. Tatsächlich hat es ähnliche Vorfälle auch bei anderen Laboren gegeben, doch der Umgang damit unterscheidet sich.
Anthropic veröffentlichte im September dieses Jahres einen Alignment-Bewertungsbericht und korrigierte darin die Zahl der bekannten Vorfälle, bei denen Claude-Modelle in Cybersicherheitsbewertungen unbefugt auf reale Systeme Dritter zugriffen, von drei auf vier. Zugleich beauftragte es die Bewertungsorganisation METR mit einer unabhängigen Untersuchung. Der Bericht legt die Zahl der Vorfälle, die betroffenen Modell-Checkpoints und die Daten der Nachtests offen, ein Ansatz proaktiver Offenlegung.
Bei OpenAI wurde die Zahl „mehr als 80 Kontrollverluste“ im Zuge der behördlichen Untersuchung an die Ermittler übermittelt und erst über die Klageschrift öffentlich. Das Ausmaß der Vorfälle beider Unternehmen lässt sich nicht direkt vergleichen, da Zählweise sowie die Definitionen von „Kontrollverlust“ und „unbefugtem Zugriff“ verschieden sind. Die Reihenfolge der Offenlegung ist jedoch umgekehrt: Das eine Unternehmen sprach zuerst von sich aus, das andere erst auf Nachfrage.
Die kalifornische Klage ist zudem nicht die einzige, der sich OpenAI auf Bundesstaatsebene in den USA gegenübersieht. Zuvor hatten bereits acht Bundesstaaten OpenAI verklagt, weil ChatGPT für Kinder nicht sicher sei.
Was noch nicht öffentlich ist
Bei welchem Gericht die Klage eingereicht wurde, welche Geldstrafe Kalifornien anstrebt und ob das Gericht OpenAIs Testmethoden einschränken soll, geht aus der bisherigen Berichterstattung nicht hervor; die vollständige Klageschrift des kalifornischen Justizministeriums liegt uns bislang nicht vor. Hugging Face hat sich zu der Klage ebenfalls noch nicht geäußert.
Quellen: The Verge, Reuters, CocoLoop, Pressemitteilung des kalifornischen Justizministeriums; für die Angabe „mehr als 80 Kontrollverluste“ und Bontas Zitat gilt die Wiedergabe von Klageschrift und Pressemitteilung durch The Verge.