Eine 30-jährige Frau aus Lee County, Florida, wird wegen eines Verbrechens zweiten Grades angeklagt, nachdem sie in einem Chat mit Claude geschrieben hatte, sie werde das Büro des Sheriffs von Lee County "erschießen". Laut Festnahmebericht wurde der Satz am 26. September verfasst; am Tag darauf erwähnte dieselbe Nutzerin im selben Chat, sie habe sich eine neue Waffe beschafft.
Nachdem das Moderationsteam von Anthropic die Inhalte gesehen hatte, informierte es die Strafverfolgungsbehörden. Am 30. September erhob die Staatsanwaltschaft Anklage nach Abschnitt 836.10 des Florida-Gesetzbuchs, dem Tatbestand der schriftlichen oder elektronischen Drohung mit einem Massenschusswaffenangriff oder Terrorakt. Nach dem Strafrahmen für ein Verbrechen zweiten Grades drohen ihr bis zu 15 Jahre Haft und 10.000 US-Dollar Geldstrafe. Die Polizei nahm sie ohne Zwischenfälle in ihrer Wohnung fest. Die Anhörung ist für den 2. November angesetzt.
Sheriff Carmine Marceno von Lee County erklärte öffentlich, die Frau habe der Polizei gesagt, sie nutze Claude normalerweise wie ein Tagebuch.
Von der Stichwort-Filterung zur manuellen Meldung
Laut dem in Berichten beschriebenen Ablauf werden Claude-Chats zunächst automatisch gefiltert: Das System erkennt drohende Formulierungen und bestimmte Schlüsselphrasen und entscheidet je nach Schweregrad, ob der Fall zur manuellen Prüfung weitergeleitet wird; erst nachdem ein menschliches Team den Chat gesehen hat, wird entschieden, ob die Strafverfolgungsbehörden kontaktiert werden. In diesem Fall wurde die gesamte Kette durchlaufen.
Grundlage dafür ist die Datenschutzrichtlinie von Anthropic. Die seit dem 10. September geltende Fassung legt fest, dass das Unternehmen personenbezogene Daten in gutem Glauben an Strafverfolgungsbehörden weitergeben kann, wenn dies als notwendig erachtet wird, um:
"prevent serious harm to any person or to property"
also um schweren Schaden für Personen oder Eigentum zu verhindern. Die Richtlinie zu behördlichen Anfragen enthält eine weitere Klausel: Nutzerdaten werden in der Regel nur bei einem gültigen rechtlichen Verfahren herausgegeben, außer in Notfällen, die zu "imminent physical harm or death" (unmittelbar drohender körperlicher Schädigung oder Tod) führen könnten. In diesem Fall gab es keine vorherige Vorladung – die Plattform meldete den Fall von sich aus, unter Berufung auf genau diese Notfall-Ausnahme.
Der dritte Fall in zwei Monaten
Betrachtet man die Fälle seit August zusammen, fällt der Ausgang jeweils unterschiedlich aus:
- August, San Antonio, Texas: Ein 22-jähriger Nutzer fragte Claude nach einem Amoklauf an einer Grundschule. Das FBI informierte die örtliche Polizei, die Person wurde wegen eines Terrordrohung-Verbrechens verhaftet.
- August, San Francisco: Ein Nutzer drohte in einem Chat dem Anthropic-CEO Dario Amodei und erwähnte zudem den Kauf eines AR-15-Gewehrs. Die Polizei wurde informiert, erhob am Ende aber keine Anklage.
- September, Lee County, Florida: der hier beschriebene Fall, der bereits aktenkundig ist und auf die Anhörung wartet.
Auch bei OpenAI gibt es einen Präzedenzfall. Im März dieses Jahres, ebenfalls in Florida, sprach ein ChatGPT-Nutzer in einem Chat davon, seine Ex-Freundin töten zu wollen; OpenAI meldete den Fall dem FBI. Die Person bekannte sich im August schuldig und wurde zu acht Jahren auf Bewährung verurteilt. Die gegenteilige Lehre liefert der Amoklauf in Tumbler Ridge, Kanada: OpenAI hatte das betreffende Konto zuvor gesperrt, es aber nicht an die Strafverfolgung gemeldet; bei dem Amoklauf starben acht Menschen, und Sam Altman entschuldigte sich dafür im April in einem Brief.
Die Plattformen stehen damit unter Druck von zwei Seiten: Bleibt eine Meldung aus, wird nach einem Vorfall gefragt, warum nichts gesagt wurde; erfolgt eine Meldung, müssen Nutzer neu abwägen, wie "privat" ein privates Gespräch tatsächlich ist.
Was die Öffentlichkeit noch nicht sieht
Welche Begriffe die automatische Filterung genau erfasst, wie viele Chats monatlich zur manuellen Prüfung gelangen und wie viele davon letztlich an die Polizei weitergegeben werden, hat Anthropic nicht veröffentlicht. Die Frau behauptet, lediglich Tagebuch geschrieben zu haben; die Staatsanwaltschaft muss nachweisen, dass eine Absicht zur Umsetzung der Drohung bestand – das wird erst das Gericht klären. Derzeit stützt sich der Sachstand allein auf Gerichtsunterlagen und Angaben der Polizei.
Für normale Nutzer steht schon jetzt fest: Was in Claude geschrieben wird, bleibt nicht zwangsläufig nur zwischen Nutzer und Modell. Die Einstellung, mit der sich die Option "Chats zur Modellverbesserung nutzen" deaktivieren lässt, betrifft nur die Trainingsdaten – das ist ein völlig anderer Mechanismus als die Sicherheitsprüfung.
Quellen: Tom's Hardware, The Next Web, CocoLoop, TechRepublic; Offenlegungsklauseln der Datenschutz- und Behördenanfrage-Richtlinien von Anthropic sowie Angaben des Sheriffbüros von Lee County zu Tatbestand und Strafrahmen geprüft.