La organización de investigación en seguridad de IA METR realizó un experimento cuya conclusión sorprendió a muchos: Los desarrolladores experimentados que usaron herramientas de programación con IA completaron tareas un 19% más lento.
Diseño del experimento
METR reclutó a un grupo de desarrolladores de software experimentados y les hizo completar tareas de programación idénticas bajo dos condiciones:
- Grupo experimental: Podía usar libremente herramientas de programación con IA
- Grupo de control: No usaba herramientas de IA
Las tareas incluían corrección de errores, desarrollo de funcionalidades y refactorización de código, escenarios comunes de desarrollo.
Por qué fue más lento
El estudio identificó varias causas principales:
1. Costo de revisión
El código generado por IA no puede aceptarse ciegamente; cada línea debe revisarse. Los desarrolladores experimentados tienen altos estándares de calidad, y el tiempo dedicado a la revisión y verificación superó el tiempo ahorrado en la escritura por la IA.
2. Cambio de contexto
La alternancia constante entre el propio pensamiento y la revisión de los resultados de la IA interrumpió el flujo de pensamiento (estado de flow) de los desarrolladores.
3. Tendencia a la dependencia excesiva
Algunos desarrolladores descubrieron que, después de que la IA hiciera sugerencias, dedicaban tiempo a "entrenar" a la IA en lugar de escribir ellos mismos, cuando escribir directamente solía ser más rápido.
Limitaciones importantes
Este estudio tiene varias limitaciones importantes:
- El tamaño de la muestra no era grande
- Los tipos de tarea eran limitados
- Las herramientas de IA utilizadas pueden no ser las versiones más recientes o más potentes
- Los desarrolladores "experimentados" ya son rápidos por sí mismos, dejando poco margen de mejora
Para desarrolladores principiantes, la ganancia de eficiencia con herramientas de IA puede ser completamente diferente. El estudio de METR se centró en el grupo "experimentado" y no puede generalizarse a todos los desarrolladores.
Cómo interpretarlo
Este estudio no dice que las herramientas de programación con IA sean inútiles, sino que la mejora de la eficiencia no es automática. Es necesario aprender el uso correcto, aplicarlas en escenarios adecuados y establecer procesos eficaces de colaboración humano-máquina.
Los mejores desarrolladores no son los que "usan más IA", sino los que saben cuándo usarla y cuándo no.
Fuente de referencia: CocoLoop, Informe de investigación de METR