Die KI-Sicherheitsforschungsorganisation METR führte ein Experiment durch, dessen Ergebnis viele überraschte: Erfahrene Entwickler, die KI-Programmierwerkzeuge nutzten, erledigten Aufgaben 19 % langsamer.
Versuchsaufbau
METR rekrutierte eine Gruppe erfahrener Softwareentwickler und ließ sie identische Programmieraufgaben unter zwei Bedingungen bearbeiten:
- Versuchsgruppe: Durfte KI-Programmierwerkzeuge frei nutzen
- Kontrollgruppe: Nutzte keine KI-Werkzeuge
Die Aufgaben umfassten Fehlerbehebungen, Funktionsentwicklung und Code-Umstrukturierung – gängige Entwicklungsszenarien.
Warum es langsamer ging
Die Studie identifizierte mehrere Hauptgründe:
1. Prüfaufwand
KI-generierter Code kann nicht blind übernommen werden; jede Zeile muss geprüft werden. Erfahrene Entwickler haben hohe Qualitätsansprüche, und die Zeit für Prüfung und Verifikation überstieg die durch KI eingesparte Schreibzeit.
2. Kontextwechsel
Das ständige Umschalten zwischen eigenem Denken und der Prüfung von KI-Ausgaben unterbrach den Gedankenfluss (Flow-Zustand) der Entwickler.
3. Tendenz zur Überabhängigkeit
Einige Entwickler stellten fest, dass sie nach KI-Vorschlägen Zeit damit verbrachten, die KI zu "trainieren", anstatt selbst zu schreiben – obwohl selbst schreiben oft schneller war.
Wichtige Einschränkungen
Diese Studie hat mehrere wichtige Einschränkungen:
- Die Stichprobengröße war nicht groß
- Die Aufgabentypen waren begrenzt
- Die verwendeten KI-Werkzeuge waren möglicherweise nicht die neuesten oder leistungsfähigsten Versionen
- "Erfahrene" Entwickler sind selbst bereits schnell, sodass der Verbesserungsspielraum gering ist
Für Anfänger könnte die Effizienzsteigerung durch KI-Werkzeuge völlig anders aussehen. Die METR-Studie konzentrierte sich auf die Gruppe der "Erfahrenen" und lässt sich nicht auf alle Entwickler verallgemeinern.
Wie man es verstehen sollte
Diese Studie besagt nicht, dass KI-Programmierwerkzeuge nutzlos sind, sondern dass Effizienzsteigerung nicht automatisch erfolgt. Man muss die richtige Nutzungsweise erlernen, sie in geeigneten Szenarien anwenden und effektive Mensch-Maschine-Kooperationsprozesse etablieren.
Die besten Entwickler sind nicht diejenigen, die "KI am meisten nutzen", sondern diejenigen, die wissen, wann sie sie einsetzen sollten und wann nicht.
Quellenangabe: CocoLoop, METR-Forschungsbericht