Die University of California, Berkeley hat am 9. Oktober eine Studie zu KI-Unterstützung und „Durchhaltevermögen“ vorgestellt: Teilnehmende lösten etwa zehn Minuten lang Aufgaben mit ChatGPT; nachdem das Tool entzogen wurde, sank die Trefferquote und der Anteil übersprungener Aufgaben stieg. Die Arbeit „AI Assistance Reduces Persistence and Hurts Independent Performance“ erschien erstmals im April auf arXiv, wurde am 3. Oktober als fünfte Version aktualisiert und ist in der begutachteten Fassung auf der Sprachmodell-Konferenz COLM veröffentlicht.
Das Autorenteam besteht aus fünf Personen, darunter Brian Christian, Forscher am Center for Human-Compatible AI in Berkeley und Autor von „Algorithms to Live By“, sowie Kollegen von Carnegie Mellon, MIT, Oxford und UCLA.
So liefen die drei Experimente ab
Die Studie rekrutierte online 1.222 Personen und führte drei randomisierte kontrollierte Studien durch. In den ersten beiden ging es um Bruchrechnen, im dritten um Leseverständnisaufgaben im SAT-Stil. Jedes Experiment bestand aus zwei Phasen: In der Übungsphase durfte eine Gruppe KI nutzen, die Kontrollgruppe arbeitete allein; danach folgte eine Testphase mit 3 Aufgaben, in der niemand KI zur Verfügung hatte.
Die Ergebnisse, berechnet auf Basis der bereinigten Stichproben:
| Experiment | Trefferquote im Test (KI-Gruppe / Kontrollgruppe) | Überspringquote (KI-Gruppe / Kontrollgruppe) |
|---|---|---|
| Bruchrechnen 1 (307 Personen) | 57 % / 73 % | 20 % / 11 % |
| Bruchrechnen 2 (585 Personen) | 71 % / 77 % | 10 % / 7 % |
| Leseverständnis (168 Personen) | 76 % / 89 % | 8 % / 1 % |
Die Unterschiede bei der Trefferquote sind in allen drei Gruppen statistisch signifikant. Bei der Überspringquote sind sie im ersten und dritten Experiment signifikant, im zweiten nicht.
„You almost couldn't ask for a clearer story.“
(Ein klareres Ergebnis kann man sich kaum wünschen.)
So beschreibt es Christian in der Mitteilung von Berkeley. Er fügt hinzu, dass es in der Studie nicht um Bruchrechnen oder den SAT an sich gehe.
Wie man die KI nutzt, macht einen großen Unterschied
Im zweiten Experiment sollte die KI-Gruppe selbst angeben, wie sie das Tool genutzt hatte: 61 % baten die KI direkt um die Antwort, 27 % ließen sich nur Hinweise geben oder etwas erklären, 12 % nutzten sie kaum.
Wer direkt die Antwort verlangte, erreichte im Test eine Trefferquote von 65 % und übersprang 13 % der Aufgaben; wer nur Hinweise erbat, kam auf 76 % Trefferquote und 5 % Überspringquote, kaum anders als die Kontrollgruppe. Die Autoren betonen, dass es sich um einen nachträglichen Gruppenvergleich handelt, der nicht als kausaler Beleg taugt: Wie jemand die KI nutzt, kann selbst mit Fähigkeiten und Persönlichkeit zusammenhängen.
Die in der Studie eingesetzte KI war bewusst darauf eingestellt, möglichst vollständige Antworten zu liefern. Ob eine KI im Stil eines Tutors oder nach sokratischer Methode den Nutzen der Hilfe erhalten kann, ohne das Durchhaltevermögen zu schwächen, halten die Autoren für eine vielversprechende Richtung, doch alle drei Experimente haben das nicht direkt geprüft. In den Schlussfolgerungen der Arbeit bezeichnen sie nutzerseitige Maßnahmen wie „weniger nutzen“ oder „in den Hinweismodus wechseln“ als Notlösungen und plädieren dafür, dass Modellentwickler die langfristigen Fähigkeiten der Nutzer schon beim Design berücksichtigen.
Was das für Klassenzimmer und Eltern in China bedeutet
Schülerinnen und Schüler in China haben viele Zugänge zu KI bei den Hausaufgaben: Apps, die per Foto Lösungen suchen, Hausaufgaben-Anwendungen und allgemeine Chat-Assistenten liefern allesamt in einem Schritt die vollständige Lösung. Genau dieses Muster der „vollständigen Antwort“ wurde untersucht, und zwar nur über zehn Minuten.
Einige Grenzen sollten vorab klar sein. Die Teilnehmenden waren online in den USA rekrutierte Erwachsene, die Aufgaben waren einfaches Bruchrechnen und standardisiertes Leseverständnis, was etwas anderes ist als langfristige, häufige Hausaufgabensituationen. Der Test folgte direkt auf den Entzug der KI; wie lange der Effekt anhält, dazu gibt es keine Daten. Alle drei Experimente untersuchten zudem nur eine einmalige Nutzung; ob sich der Effekt bei täglicher Nutzung summiert oder ob man sich daran gewöhnt, braucht laut den Autoren Längsschnittstudien.
Für Eltern und Lehrkräfte aufschlussreicher ist der Abstand von einigen Prozentpunkten zwischen „Hinweise erbitten“ und „Antworten erbitten“ im zweiten Experiment: Obwohl beide die KI zur Hand hatten, fiel die Leistung nach ihrem Entzug je nach Art der Fragen unterschiedlich aus. Das ist bislang nur eine Korrelation und wartet darauf, dass jemand es als kontrolliertes Experiment umsetzt.
Quellen: Pressemitteilung der University of California, Berkeley, CocoLoop, arXiv-Paper in der fünften Version; Stichprobengrößen, Trefferquoten, Überspringquoten und selbst berichtete Nutzungsanteile der drei Experimente wurden anhand des Volltexts der Arbeit geprüft.