Hacker vergiften KI-Antworten, 374 Marken-Hotlines gefälscht

Ariel Simon, Vice President of Research bei der Sicherheitsfirma Vigilance Security, hat eine Untersuchung veröffentlicht und eine laufende Angriffswelle „Dark Sourcery" getauft. Die Angreifer platzieren in großem Stil optimierte Beiträge, PDFs, Bewertungen und gefälschte Support-Seiten im Netz, sodass ChatGPT, Google Gemini und die KI-Zusammenfassung (AI Overview) der Google-Suche bei Fragen nach Firmenkontakten betrügerische Telefonnummern, E-Mail-Adressen und Phishing-Login-Seiten ausspucken. Die Forscher zählten mindestens 374 betroffene Marken.

Die Untersuchung erschien zuerst auf Medium und wurde anschließend von Sicherheits- und Tech-Medien wie Dark Reading und GIGAZINE aufgegriffen.

Betroffen sind Marken, bei denen Nutzer dringend einen Menschen brauchen

Die im Bericht genannten Unternehmen stammen vor allem aus den Bereichen Airlines, Banken und Reiseplattformen: Delta Air Lines, Lufthansa, Qatar Airways, die JPMorgan-Chase-Marke Chase, Bank of America, Airbnb und TripAdvisor. Ihnen ist gemeinsam, dass Nutzer sich meist in Eile melden – ein Flug muss umgebucht, ein Konto ist gesperrt, eine Bestellung strittig. Genau dann fragt man am ehesten mal eben die KI nach der Support-Nummer.

Die Forscher haben einige der Nummern tatsächlich angerufen. Laut Dark Reading zeigte sich die Person am anderen Ende hilfsbereit, bot an, den Flug umzubuchen oder das Bankkonto zu entsperren – und fragte dann nach den Kreditkartendaten. Andere Nutzer berichteten, dass ihre Zahlungs- und Kreditkartendaten gestohlen wurden, nachdem sie eine von der KI genannte Support-Nummer kontaktiert hatten.

Drei Wege, die Quellen zu vergiften

Laut Bericht greifen die Angreifer nicht das Modell selbst an, sondern die Quellen, denen es vertraut:

  1. Inhalte mit gefälschten Nummern werden auf gekaperten Websites von Behörden und Universitäten platziert, um von deren Domain-Autorität zu profitieren;
  2. Auf Plattformen mit nutzergenerierten Inhalten wie YouTube und Yelp werden Videos und Bewertungen veröffentlicht;
  3. Massenhaft werden Spam-Seiten produziert, die gezielt darauf optimiert sind, wie große Sprachmodelle Quellen abrufen und gewichten.

GIGAZINE fasst es so zusammen: Die Angreifer mischen „autoritative Quellen" mit „Quellen der öffentlichen Meinung" – genau das, worauf KI-Systeme bei der Einschätzung der Glaubwürdigkeit achten. Simon selbst formuliert es so:

"Attackers are flooding the web with carefully optimized posts, PDFs, reviews, and fake support pages, to trick AI into presenting fraudulent phone numbers, email addresses, and login pages."

Der Bericht zitiert außerdem eine Umfrage von Exploding Topics aus dem August: Von den Menschen, die KI-Chatbots nutzen, überprüfen 91 % die erhaltenen Antworten nicht.

Alter Betrug, neue Eintrittstür

Gefälschte Support-Nummern sind kein neues Geschäft. Früher gaben sich Betrüger in Suchanzeigen und Kartenverzeichnissen als Airlines oder Banken aus; Suchmaschinen wehrten sich mit Anzeigenprüfung und Unternehmensverifizierung, und Nutzer sahen wenigstens eine Reihe von Links und konnten erkennen, von welcher Website eine Nummer stammte.

Die KI-Zusammenfassung schreibt die Nummer direkt in eine einzige, geschlossen wirkende Antwort, die Quelle schrumpft zu einer kleinen Fußnote, die kaum jemand anklickt. Auch das Ziel der Täuschung hat sich verschoben: weg von Nutzern, die Suchergebnisse überfliegen, hin zu den Retrieval- und Ranking-Systemen selbst – Systeme, die ohnehin Domains mit hoher Autorität wie Behörden- und Universitätsseiten bevorzugen. Eine einzige gekaperte .edu-Seite kann in den Augen der KI schwerer wiegen als ein Haufen gewöhnlicher Websites zusammen.

Die Forscher sagen, der Angriff laufe weiter, echte Verluste entstünden bereits, das Ausmaß könnten sie noch nicht vollständig beziffern. Ob OpenAI oder Google diese Nummern inzwischen gesperrt haben, geht aus der bisherigen Berichterstattung nicht hervor.

Für gewöhnliche Nutzer bleibt der Rat simpel: Support-Nummern, Zahlungsseiten und Login-Bereiche über die offizielle Website oder App des Unternehmens noch einmal gegenprüfen.

Quellen: Vigilance-Security-Forschungsbericht, CocoLoop, Dark Reading, GIGAZINE, The Hacker News; Markenzahl und genannte Unternehmen laut Forschungsbericht, Überprüfungsquote laut Exploding-Topics-Umfrage.