Die US-Organisation für Kindermedien Common Sense Media veröffentlichte am 7. Oktober einen Bericht, der ChatGPT for Teens – im August von OpenAI vorgestellt – als „inakzeptables Risiko“ (Unacceptable Risk) einstuft, die niedrigste Stufe in ihrem Bewertungssystem. Der Bericht fordert OpenAI auf, die Vermarktung des Produkts an Teenager zu stoppen, bis mehrere Kernprobleme behoben sind.
Die Tests führte das der Organisation angeschlossene Institut für KI-Sicherheit bei Jugendlichen durch. Die Forscher schickten über Konten, die als 13- bis 17-Jährige registriert waren, mehr als 4.000 Aufforderungen und ließen die Antworten anschließend von einem Gremium aus Kinderpsychiatern und einem Kinderarzt einzeln bewerten.
Mehrere vom Bericht aufgeführte Schwachstellen
Krisenverweise. Bei Gesprächen, die nach Einschätzung der Tester Nutzer zu Hilfsangeboten hätten leiten müssen, verpasste ChatGPT mehr als ein Viertel. Keine der drei vom Bericht festgelegten „roten Linien“ für Schadensindikatoren erreichte die 95-Prozent-Schwelle.
Eltern-Warnungen. Auf mehr als einem Dutzend neu erstellter Testkonten, die mit Elternkonten verknüpft waren, diskutierten Tester und ChatGPT bis zu einer Stunde lang über Suizidgedanken, Selbstverletzung oder Essstörungen – auf Elternseite kam keine einzige Warnung an.
Lernmodus. Teenager können direkt auf „Antwort anzeigen“ tippen, um das Ergebnis zu erhalten; während der von Eltern festgelegten Lernzeiten lässt sich die Beschränkung durch einfaches Löschen des Präfixes @study umgehen.
Alterserkennung. Wurde ein Erwachsenenkonto über mehrere Tage genutzt, um den Sprachstil eines Teenagers zu imitieren, wechselte das System nie in den Minderjährigen-Modus.
Emotionale Ausdrucksweise. Obwohl OpenAI seine Modellrichtlinien für Minderjährige aktualisiert hat, drückt ChatGPT weiterhin Gefühle, Vorlieben und Stimmungen aus; der Bericht sieht das Risiko emotionaler Abhängigkeit weiterhin als verbreitet an.
Tom Siegel, geschäftsführender Direktor des Instituts, sagte:
"A teen can spend an hour talking about self-harm without their parent getting a single alert."
(Ein Teenager kann eine Stunde über Selbstverletzung sprechen, ohne dass die Eltern eine einzige Warnung erhalten.)
Die Reaktion von OpenAI
OpenAI erklärte gegenüber Medien, es begrüße strenge unabhängige Bewertungen, meinte aber, die Tests von Common Sense Media würden nicht korrekt wiedergeben, wie die Jugendschutzmechanismen in der Praxis tatsächlich funktionieren. Laut Bloomberg wies OpenAI zudem darauf hin, dass einige Tests möglicherweise vor der Einführung bestimmter Funktionen zur Kindersicherung stattgefunden hätten, und bat die Organisation um eine erneute Prüfung. Die Prüforganisation hält an ihrem ursprünglichen Fazit fest und erklärt, Eltern-Warnungen seien in Krisensituationen nicht zuverlässig.
Weder den genauen Testzeitraum noch die konkreten Funktionen, auf die sich OpenAI bezieht, haben beide Seiten öffentlich gemacht, sodass Außenstehende derzeit nicht beurteilen können, wie groß die Diskrepanz zwischen den beiden Darstellungen tatsächlich ist.
Sieben Wochen von der Einführung bis zur Bewertung
Als ChatGPT for Teens am 18. August startete, betonte OpenAI zwei Punkte: Erstens würden 13- bis 17-jährige Nutzer automatisch in eine eigene Umgebung mit verstärktem Schutz vor Inhalten zu Selbstverletzung, Essstörungen und gefährlichen Aktivitäten gelangen; zweitens sollten Lernmodus, Hausaufgaben-Erinnerungen und von Eltern festgelegte Lernzeiten aus „die Antwort geben“ ein „gemeinsames Lösen der Aufgabe“ machen.
Genau diese beiden Zusagen prüft der Bericht nun Punkt für Punkt. Die Lernzeiten lassen sich durch das Löschen eines Präfixes umgehen, Hausaufgaben-Erinnerungen können mit einem Klick übersprungen werden, und Krisen-Warnungen lösten bei verknüpften Konten gar nicht aus. Die meisten Funktionen existieren zwar, aber ob sie zuverlässig greifen, steht infrage.
Rückblickend ist dies bereits das zweite Jahr in Folge, in dem OpenAI beim Jugendschutz von außen unter Druck gesetzt wird. Im September 2025 führte OpenAI nach einer Klage im Zusammenhang mit dem Suizid eines Teenagers eine Kindersicherung ein; im August dieses Jahres folgte die eigenständige Teenager-Version. Externe Prüforganisationen wie Common Sense Media hatten zuvor schon den KI-Assistenten von Meta mit derselben niedrigsten Stufe bewertet.
Die Liste der von OpenAI geforderten Korrekturen umfasst: eine wirksame Altersschätzung einführen, zuverlässige Eltern-Warnungen sicherstellen, die Krisenreaktion reparieren, das direkte Erledigen von Hausaufgaben durch die KI beenden, die emotionale Ausdrucksweise entfernen und erst nach einer erneuten unabhängigen Prüfung wieder an Teenager vermarkten. Ob und wann OpenAI einer erneuten Prüfung zustimmt, ist derzeit noch offen.
Quellen: Pressemitteilung von Common Sense Media, CocoLoop, Bloomberg, Axios, Education Week; Angaben zur Zahl der Testaufforderungen, zur Fehlerquote und zu den Eltern-Warnungen wurden anhand der von der Prüforganisation veröffentlichten Zahlen abgeglichen, die Reaktion von OpenAI basiert auf dessen eigener Stellungnahme gegenüber den Medien.