OpenAI veröffentlichte am 8. Oktober einen Bedrohungsbericht und teilte mit, zwei verdeckte Einflussoperationen gesperrt zu haben, die ChatGPT nutzten: eine aus Russland, die sich gegen Lateinamerika richtete, und eine aus dem Iran, die auf kleine und mittlere Online-Medien weltweit zielte. Beide Operationen setzten auf dieselbe Methode: Zunächst eine glaubwürdig wirkende "Fassade" aufbauen, dann darüber Inhalte verbreiten.
OpenAI stufte die russische Operation auf der Breakout Scale als Stufe 5 ein — die höchste Einstufung, die das Unternehmen seit Beginn der Veröffentlichung solcher Berichte vergeben hat. Die Skala umfasst sechs Stufen; je höher die Stufe, desto mehr Plattformen und Zielgruppen erreicht ein Inhalt und desto näher rückt er an den öffentlichen Mainstream-Diskurs heran.
Russland: eine von echten Menschen betriebene "Denkfabrik"
OpenAI nannte die Operation Dark Clark. Die Betreiber erfanden eine KI-Journalistin namens Mia Clark und ließen sie als Leiterin eines "Social Research Center" (SRC) auftreten. Diese Organisation beschäftigt echte Mitarbeiter in Lateinamerika, und laut den von OpenAI gesammelten Belegen wussten diese Mitarbeiter nicht, dass sie für eine russische Gruppe arbeiteten.
Die Inhalte der Operation zielten darauf ab, das Ansehen der Ukraine in Lateinamerika zu schädigen und sich in die lokale Politik einzumischen. Öffentlich dokumentierte Beispiele verteilen sich auf Argentinien, Bolivien und Ecuador, darunter eine gefälschte Audioaufnahme, in der ein ukrainischer Konsul angeblich ecuadorianische Bürger beschimpft, sowie eine Falschmeldung, wonach ecuadorianische Briefkastenfirmen Kämpfer für die Ukraine anwerben würden. Diese Inhalte lösten Faktenchecks durch lateinamerikanische Leitmedien und offizielle Dementis aus.
Die Betreiber nutzten ChatGPT auch, um interne Angelegenheiten der Operation zu besprechen, etwa Lohnstandards und Einstellungsentscheidungen. OpenAIs Einschätzung dazu:
"the most complex attempt to run a front identity that we've disrupted over the past two and a half years."
(Übersetzung: Der komplexeste Versuch, eine Tarnidentität zu betreiben, den wir in den vergangenen zweieinhalb Jahren aufgedeckt haben.)
Iran: sieben fingierte Journalisten, fast hundert Beiträge unter falschem Namen
Die iranische Operation trägt den Namen Bogus Bylines. Sie unterhielt sieben fiktive "Journalisten"-Personas, die lange Artikel an kleine und mittlere Online-Medien weltweit anboten, die sich für internationale Angelegenheiten interessieren — vorrangig zum Thema des Konflikts zwischen den USA und dem Iran — und erzeugte zugleich massenhaft Kommentare in sozialen Medien.
"We identified almost 100 articles published or syndicated under the operation's bylines across roughly a dozen online outlets around the world."
(Übersetzung: Wir identifizierten fast 100 Artikel, die unter den Bylines der Operation veröffentlicht oder weiterverbreitet wurden, verteilt auf etwa ein Dutzend Online-Medien weltweit.)
Die Platzierung von Artikeln wurde auf Stufe 4 eingestuft, die Wirkung in sozialen Medien dagegen nur auf Stufe 2, mit sehr geringem organischem Engagement.
Rückblick auf den Bericht von 2024
OpenAI veröffentlichte diese Art von Bericht erstmals im Mai 2024 und nannte damals fünf Operationen mit Bezug zu Russland, China, Iran und Israel, von denen keine die Stufe 2 der Breakout Scale überschritt. Gut zwei Jahre später liegt die Einstufung nun bei Stufe 5 — die Veränderung zeigt sich in der Methode: Beide aktuellen Operationen verbinden KI mit klassischen Mitteln wie dem Anwerben von Personal, dem Einreichen von Artikeln und dem Aufbau von Organisationen. Die KI übernimmt das massenhafte Schreiben und das Aufrechterhalten der Personas, echte Menschen sorgen dafür, dass die Fassade glaubwürdig wirkt.
Gesperrte Konten unterbrechen nur das Glied ChatGPT in der Kette. Die öffentlichen Berichte, auf denen dieser Artikel beruht, nennen weder die Zahl der gesperrten Konten noch, ob das SRC vor Ort weiterhin aktiv ist; auch wie mit den ahnungslosen Mitarbeitern und den Medien umgegangen wird, die die Artikel veröffentlicht haben, hat OpenAI nicht erläutert.
Quellen: Bedrohungsbericht von OpenAI, CyberScoop, CocoLoop, France 24; CyberScoop und France 24 haben die Einstufungen und Artikelzahlen beider Operationen gegenseitig abgeglichen.