Am 26. August veröffentlichte Anthropic die Ergebnisse eines Pilotprojekts: Echte Nutzungsdaten von Claude wurden drei externen Institutionen für unabhängige Forschung zugänglich gemacht, und die aggregierten Erkenntnisse aller drei Projekte wurden gleichzeitig veröffentlicht.
Beteiligt waren das Social and Language Technology Lab der Stanford University, das Human Information Processing Lab der University of Oxford sowie die gemeinnützige Bewertungsorganisation METR. Analysiert wurden rund 250.000 Gespräche von Claude.ai und Claude Code aus dem Zeitraum April bis Mai 2026.
Forscher sahen die Originalgespräche nie
Im Ablauf hatten die Forscher zu keinem Zeitpunkt direkten Zugriff auf die ursprünglichen Gesprächsinhalte. Sie reichten ihre Analysen über dasselbe Insights-Tool ein, das Anthropic auch intern verwendet, und erhielten ausschließlich aggregierte Ergebnisse zurück – die zudem erst nach einer rechtlichen und datenschutzrechtlichen Prüfung mitgenommen werden durften. Der vertraglich festgelegte Prüfumfang beschränkte sich auf vier Punkte: Nutzerprivatsphäre, Richtlinienverstöße, vertrauliche Informationen und wissenschaftliche Genauigkeit – nicht enthalten war die Frage, ob ein Ergebnis dem Unternehmen nützt oder schadet.
Beim Datenschutz ließ Anthropic zusätzlich vom Imperial College London ein unabhängiges Audit durch Dritte durchführen. Die aggregierten Daten aller drei Projekte stehen mittlerweile unter dem Namen Anthropic/enabling-independent-research öffentlich auf Hugging Face Datasets.
Dass Modellanbieter Nutzungseinblicke veröffentlichen, ist längst Routine – OpenAI und Anthropic selbst haben das schon mehrfach getan. Der Unterschied liegt darin, wer die Analysehoheit hat. Bei einem Bericht, den der Anbieter selbst schreibt, liegen Fragestellung, Stichprobenauswahl und Definition der Kennzahlen vollständig in einer Hand – Außenstehende können nur glauben oder misstrauen. Werden Werkzeug und Daten hingegen aus der Hand gegeben, bekommen Dritte zumindest die Chance, Fragen zu stellen, die sich ein Anbieter selbst nicht stellen würde.
Drei Befunde, die dem gesunden Menschenverstand widersprechen
Der erste Befund betrifft das Gewicht der Aufgaben. Bisherige Forschung ging eher davon aus, dass Menschen der KI vor allem Routinearbeiten mit geringer Verantwortung und geringem Risiko überlassen. Diese Daten zeigen das Gegenteil: Mehr als die Hälfte der Gespräche betrifft Aufgaben, deren Delegation reale Konsequenzen hat. Im Original heißt es:
(Menschen bringen häufiger als erwartet folgenreiche Aufgaben zur KI).People bring high-stakes work to AI more than expected
Der zweite Befund betrifft die Kontrolle. In drei von vier Gesprächen behielt der Mensch die Führungsrolle, während das Modell unterstützend agierte – das Modell lief keineswegs eigenständig durch. Das steht in deutlichem Widerspruch zur verbreiteten Erzählung, KI-Agenten würden zunehmend die Arbeit übernehmen.
Der dritte Befund betrifft Reibung. Die Forscher stellten fest, dass Stockungen in der Mensch-KI-Zusammenarbeit normal sind, diese Reibung aber häufig produktiv ist – nachdem das Modell eine Anfrage zurückgewiesen oder nicht wie gewünscht beantwortet hat, formulieren Nutzer ihr Anliegen häufig neu und präziser.
Hinzu kommt eine weitere Zahl: Der Anteil der Gespräche, die in die Kategorie Richtlinienverstoß fallen, liegt unter 5 %. Dieser Wert lässt Raum für Diskussion, denn die Bewertungskriterien werden weiterhin allein von Anthropic festgelegt – externe Forscher erhalten nur das Ergebnis nach bereits erfolgter Einstufung.
Praktische Bedeutung für Leserinnen und Leser im eigenen Land
Teams, die hierzulande KI in Unternehmen einführen, stoßen am häufigsten auf dieselbe Frage: Welche Aufgaben lassen sich überhaupt an ein Modell delegieren? Die bisher verfügbaren öffentlichen Daten stammen größtenteils aus Marketingmaterial der Anbieter selbst, wobei Stichprobe, Methodik und Beweggründe intransparent bleiben. Der jetzt veröffentlichte Datensatz liegt offen in einem öffentlichen Repository – die Aggregationstiefe ist zwar grob, liefert aber immerhin eine Referenzlinie, die nicht von der Vertriebsabteilung verfasst wurde.
Ein Vorbehalt bleibt: Die 250.000 Gespräche stammen von Claude.ai- und Claude-Code-Nutzern – einer Gruppe, die eher aus Entwicklern besteht und überwiegend im englischsprachigen Kontext unterwegs ist. Wer die Ergebnisse unreflektiert auf lokale B2B-Szenarien überträgt, riskiert Verzerrungen. Der Datensatz eignet sich eher als Vergleichsgruppe denn als abschließendes Ergebnis.
Nach dem Pilotprojekt hat Anthropic nicht gesagt, ob dieser Mechanismus zur festen Einrichtung wird, und auch keine weiteren Partnerinstitutionen angekündigt. Unter den drei Beteiligten nimmt METR eine besondere Rolle ein – die Organisation bewertet normalerweise die Fähigkeiten von Modellen, erhielt diesmal aber Daten zur Nutzung. Dass dieselbe Institution beide Seiten sieht, Fähigkeit und Nutzung, ist für die externe Aufsicht eine nicht unerhebliche Positionsverschiebung.
Quellen: Anthropic-Forschungsblog, CocoLoop, Hugging Face Datasets; Stichprobenumfang, Liste der beteiligten Institutionen und Ablauf des Datenschutz-Audits wurden anhand der offiziellen Ankündigung verifiziert.