In diesem Frühjahr hätte das US-Militär im Nahen Osten beinahe ein chinesisches Frachtschiff geentert. Bewaffnete Einheiten standen bereit, Militärflugzeuge waren bereits gestartet, doch die Operation wurde in letzter Minute abgebrochen. Der Grund: Als Offizielle den Geheimdienstbericht hinter der geplanten Aufbringung noch einmal genauer prüften, stellten sie fest, dass er mithilfe künstlicher Intelligenz erstellt worden war – und die darin behauptete Fracht existierte gar nicht.
CNN deckte den Vorfall am 18. September auf, gestützt auf mehrere mit der Sache vertraute Personen. Weitere Medien griffen die Geschichte danach auf, wobei sich die Kernfakten deckten: Ein KI-gestütztes Geheimdienstprodukt durchlief die gesamte Kette von der Entwurfsphase bis zur Entscheidung.
Zwei KI-Einsätze, ein Bericht
Der Bericht stammt von einem Analysten des in Hawaii ansässigen Special Operations Command Pacific (SOCPAC) der USA. Der Analyst glich zunächst mit einem Chatbot die Frachtliste des betreffenden Schiffs ab; das Tool vermischte öffentlich zugängliche Informationen mit Einträgen aus sensiblen Geheimdienstdatenbanken, um zu seinem Schluss zu kommen. Anschließend nutzte er KI erneut, um den formalen Geheimdienstbericht zu verfassen. Beide Schritte zusammen ergaben ein Dokument, das in der Entscheidungskette landete und behauptete, das Schiff transportiere Bauteile für Irans Nuklearprogramm.
Der Bericht zirkulierte während einer Phase militärischer Spannungen zwischen den USA und Iran. Nach Standardprotokoll führt eine solche Geheimdiensterkenntnis zu einer Aufbringung auf See: Bewaffnete sollen an Bord gehen und die Ladung kontrollieren. Flugzeuge kreisten bereits in der Luft. Eine Militärquelle sagte gegenüber CNN, der Bericht sei "entirely false, but almost started a war" gewesen.
"entirely false, but almost started a war"
Völlig falsch, hätte aber beinahe einen Krieg ausgelöst.
Die Operation wurde letztlich nicht durchgeführt. Erst eine genauere Überprüfung kurz vor der Umsetzung des Plans deckte auf, dass der Bericht auf KI beruhte und das Tool die Fracht falsch eingeschätzt hatte. CNN nannte weder, was das Schiff tatsächlich geladen hatte, noch sein Ziel, noch welchen Chatbot der Analyst verwendet hatte. Das US-Zentralkommando (CENTCOM) reagierte nicht auf eine Bitte um Stellungnahme.
Wo genau kam das Tool zum Einsatz
Bei diesem Vorfall gab es keinen Jailbreak, keinen adversariellen Angriff und keinen Hacker. Das Problem war eine ganz gewöhnliche Nutzung: ein allgemeiner Chatbot zur Informationszusammenführung. Das Tool verband offene Quellen mit Einträgen aus geheimen Datenbanken zu einer Schlussfolgerung, die vollständig und formal korrekt klang – und die weiter unten in der Kette als geprüfte Tatsache behandelt wurde. Der zweite Schritt, das KI-gestützte Verfassen, verlieh dem Ganzen zusätzlich den Anschein von Glaubwürdigkeit: ein Geheimdienstprodukt, das sich liest, als hätte es ein Mensch verfasst, formal einwandfrei.
Der Geheimdienstprozess sah eigentlich mehrere menschliche Freigabestufen vor. Dass die Aufbringung nicht stattfand, lag an einer zusätzlichen, kurzfristig vor der Aktion durchgeführten genaueren Prüfung – nicht an einer im Prozess fest verankerten Kontrollstelle. Wäre diese Prüfung ausgeblieben oder etwas nachlässiger ausgefallen, hätte das Dokument den Prozess unverändert durchlaufen.
Wen trifft dieser Fehler
Ziel war ein chinesisches Schiff. Wäre es tatsächlich zur Aufbringung gekommen, hätten die Besatzung, der Reeder und die Krisenmechanismen beider Länder die Folgen getragen – nicht der Analyst, der den Bericht schrieb, oder der Anbieter des Tools. Das technische Risiko entstand innerhalb des US-Prozesses, die Kosten wären jedoch außerhalb davon angefallen. China hat sich bislang nicht öffentlich zu dem Vorfall geäußert, und in den Berichten findet sich kein Hinweis darauf, dass die chinesische Seite informiert wurde.
Für chinesische Reedereien, die Routen im Nahen Osten befahren, verändert sich die Art der Antwort auf die Frage "Worauf stützt das US-Militär den Verdacht gegen mein Schiff?": von einer von Menschen abgezeichneten Geheimdiensteinschätzung hin zu einem Dokument, das möglicherweise zweimal durch KI gelaufen ist. Auf welcher Ebene Einspruch möglich ist und wer im Fehlerfall korrigiert, ist derzeit nicht öffentlich geregelt.
Empfehlungen bleiben Empfehlungen
Der Einsatz von KI in Geheimdienstanalyse, Zielbestimmung und Logistik selbst wurde durch diesen Vorfall nicht gestoppt. In öffentlichen Berichten zitierte Experten schlagen zwei Maßnahmen vor: rote Linien, an denen KI bei nuklear relevanten Systemen nicht eingesetzt werden darf, sowie einen Meldekanal für KI-Vorfälle zwischen Großmächten, vergleichbar einer nuklearen Hotline. Beide Vorschläge sind bislang reine Empfehlungen und in kein verbindliches Dokument eingeflossen.
Nach öffentlich verfügbaren Informationen wurde bislang kein einziger Schritt formell geändert. Das US-Zentralkommando hat nicht mitgeteilt, ob die Vorschriften für die Nutzung allgemeiner KI-Tools durch Analysten angepasst wurden, und auch nicht, wie viele weitere Dokumente außer diesem Bericht denselben Weg durchlaufen haben.
Quellen: CNN Politics, Gizmodo, CocoLoop, Taipei Times; das betroffene Kommando, die Reihenfolge der beiden KI-Einsätze sowie das Zitat "entirely false" wurden anhand übereinstimmender Angaben mehrerer englischsprachiger Medien abgeglichen.