L'organisation de recherche en sécurité de l'IA METR a mené une expérience dont la conclusion a surpris beaucoup de monde : Les développeurs expérimentés utilisant des outils de codage IA ont accompli des tâches 19 % plus lentement.
Conception de l'expérience
METR a recruté un groupe de développeurs logiciels expérimentés et leur a fait effectuer des tâches de programmation identiques sous deux conditions :
- Groupe expérimental : Pouvait utiliser librement des outils de codage IA
- Groupe témoin : N'utilisait pas d'outils IA
Les tâches comprenaient la correction de bugs, le développement de fonctionnalités et le refactoring de code – des scénarios de développement courants.
Pourquoi c'était plus lent
L'étude a identifié plusieurs causes principales :
1. Coût de révision
Le code généré par l'IA ne peut pas être accepté aveuglément ; chaque ligne doit être révisée. Les développeurs expérimentés ont des exigences de qualité élevées, et le temps consacré à la révision et à la vérification a dépassé le temps économisé sur l'écriture par l'IA.
2. Changement de contexte
L'alternance constante entre la réflexion personnelle et la révision des résultats de l'IA a interrompu le flux de pensée (état de flow) des développeurs.
3. Tendance à la dépendance excessive
Certains développeurs ont constaté qu'après que l'IA ait fait des suggestions, ils passaient du temps à "entraîner" l'IA plutôt qu'à écrire eux-mêmes – alors qu'écrire directement était souvent plus rapide.
Limitations importantes
Cette étude présente plusieurs limitations importantes :
- La taille de l'échantillon n'était pas grande
- Les types de tâches étaient limités
- Les outils d'IA utilisés ne sont peut-être pas les versions les plus récentes ou les plus puissantes
- Les développeurs "expérimentés" sont déjà rapides par eux-mêmes, laissant peu de marge d'amélioration
Pour les développeurs débutants, le gain d'efficacité des outils d'IA pourrait être complètement différent. L'étude de METR s'est concentrée sur le groupe "expérimenté" et ne peut pas être généralisée à tous les développeurs.
Comment l'interpréter
Cette étude ne dit pas que les outils de codage IA sont inutiles, mais que l'amélioration de l'efficacité n'est pas automatique. Il faut apprendre à les utiliser correctement, les appliquer dans des scénarios appropriés et établir des processus efficaces de collaboration homme-machine.
Les meilleurs développeurs ne sont pas ceux qui "utilisent le plus l'IA", mais ceux qui savent quand l'utiliser et quand ne pas l'utiliser.
Source de référence : CocoLoop, Rapport de recherche METR