A organização de pesquisa em segurança de IA METR realizou um experimento cuja conclusão surpreendeu muitos: Desenvolvedores experientes que usaram ferramentas de programação com IA completaram tarefas 19% mais devagar.
Desenho do experimento
A METR recrutou um grupo de desenvolvedores de software experientes e os fez completar tarefas de programação idênticas sob duas condições:
- Grupo experimental: Podia usar livremente ferramentas de programação com IA
- Grupo de controle: Não usava ferramentas de IA
As tarefas incluíam correção de bugs, desenvolvimento de funcionalidades e refatoração de código – cenários comuns de desenvolvimento.
Por que foi mais lento
O estudo identificou várias causas principais:
1. Custo de revisão
O código gerado por IA não pode ser aceito cegamente; cada linha precisa ser revisada. Desenvolvedores experientes têm altos padrões de qualidade, e o tempo gasto em revisão e verificação superou o tempo economizado na escrita pela IA.
2. Mudança de contexto
A alternância constante entre o próprio raciocínio e a revisão da saída da IA interrompeu o fluxo de pensamento (estado de flow) dos desenvolvedores.
3. Tendência à dependência excessiva
Alguns desenvolvedores perceberam que, após a IA fazer sugestões, gastavam tempo "treinando" a IA em vez de escrever eles mesmos – enquanto escrever diretamente era muitas vezes mais rápido.
Limitações importantes
Este estudo tem várias limitações importantes:
- O tamanho da amostra não era grande
- Os tipos de tarefa eram limitados
- As ferramentas de IA usadas podem não ser as versões mais recentes ou mais potentes
- Desenvolvedores "experientes" já são rápidos por si só, deixando pouco espaço para melhoria
Para desenvolvedores iniciantes, o ganho de eficiência com ferramentas de IA pode ser completamente diferente. O estudo da METR focou no grupo "experiente" e não pode ser generalizado para todos os desenvolvedores.
Como interpretar
Este estudo não diz que ferramentas de programação com IA são inúteis, mas sim que o ganho de eficiência não é automático. É preciso aprender o uso correto, aplicá-las em cenários adequados e estabelecer processos eficazes de colaboração humano-máquina.
Os melhores desenvolvedores não são os que "usam mais IA", mas sim os que sabem quando usá-la e quando não usá-la.
Fonte de referência: CocoLoop, Relatório de pesquisa da METR