A Universidade da Califórnia em Berkeley divulgou em 9 de outubro um estudo sobre assistência de IA e "persistência": os participantes resolveram exercícios por cerca de 10 minutos com o ChatGPT e, depois que a ferramenta foi retirada, a taxa de acerto caiu e a proporção de questões puladas aumentou. O artigo "AI Assistance Reduces Persistence and Hurts Independent Performance" apareceu no arXiv em abril, foi atualizado para a quinta versão em 3 de outubro, e a versão revisada por pares foi publicada na conferência de modelos de linguagem COLM.
São cinco autores, entre eles Brian Christian, pesquisador do Center for Human-Compatible AI de Berkeley e autor de "Algorithms to Live By", além de colaboradores da Carnegie Mellon, do MIT, de Oxford e da UCLA.
Como foram os três grupos de experimentos
O estudo recrutou 1.222 pessoas on-line e conduziu três ensaios controlados randomizados. Os dois primeiros envolviam operações com frações; o terceiro, exercícios de compreensão de leitura do SAT. Cada ensaio tinha duas etapas: na fase de prática, um grupo podia usar IA e o grupo de controle fazia tudo sozinho; em seguida vinha uma fase de teste com 3 questões, na qual ninguém tinha IA à disposição.
Os resultados, calculados sobre as amostras após as exclusões:
| Experimento | Taxa de acerto no teste (grupo IA / controle) | Taxa de questões puladas (grupo IA / controle) |
|---|---|---|
| Frações 1 (307 pessoas) | 57% / 73% | 20% / 11% |
| Frações 2 (585 pessoas) | 71% / 77% | 10% / 7% |
| Compreensão de leitura (168 pessoas) | 76% / 89% | 8% / 1% |
As diferenças na taxa de acerto são estatisticamente significativas nos três grupos. As diferenças na taxa de questões puladas são significativas no primeiro e no terceiro, mas não no segundo.
"You almost couldn't ask for a clearer story."
(Seria difícil pedir um resultado mais claro do que este.)
Foi assim que Christian descreveu o resultado no texto publicado por Berkeley. Ele acrescentou que o estudo não trata de frações nem do SAT em si.
A forma de usar a IA faz muita diferença
No segundo experimento, o grupo da IA relatou por conta própria como usou a ferramenta: 61% pediram a resposta diretamente, 27% pediram apenas dicas ou uma explicação e 12% praticamente não a usaram.
Quem pediu a resposta direta teve 65% de acerto no teste e 13% de questões puladas; quem pediu apenas dicas teve 76% de acerto e 5% de questões puladas, quase igual ao grupo de controle. Os autores afirmam claramente que se trata de uma comparação de grupos feita a posteriori, que não pode ser tomada como prova causal: a forma como cada pessoa escolhe usar a IA pode estar ligada à sua capacidade e à sua personalidade.
A IA usada no estudo foi configurada de propósito para dar respostas o mais completas possível. Se uma IA ao estilo de tutor, socrática, consegue manter o benefício da ajuda sem enfraquecer a persistência, os autores consideram o caminho promissor, mas nenhum dos três experimentos o testou diretamente. Nas conclusões do artigo, eles chamam de paliativas as medidas do lado do usuário, como "usar um pouco menos" ou "mudar para o modo de dicas", e defendem que os desenvolvedores de modelos incluam a capacidade de longo prazo do usuário já na fase de projeto.
O que isso significa para salas de aula e famílias na China
Os estudantes do ensino básico na China têm muitas portas de entrada para a IA nas tarefas: aplicativos que resolvem a partir de uma foto, aplicativos de dever de casa e assistentes de conversa de uso geral dão a resolução completa em um só passo. O que o estudo mediu foi justamente esse modelo de "dar a resposta completa", e em apenas 10 minutos.
Alguns limites precisam ficar claros antes. Os participantes eram adultos recrutados on-line nos Estados Unidos, e os exercícios eram operações básicas com frações e leitura padronizada, o que não equivale a um cenário de tarefas longas e frequentes. O teste veio logo depois da retirada da IA, e não há dados sobre quanto tempo o efeito dura; os três experimentos também observaram apenas uma exposição, e se o uso diário se acumula ou se as pessoas se adaptam, os autores dizem que só estudos longitudinais poderão responder.
O que tem mais valor de referência para pais e professores é a diferença de alguns pontos percentuais entre "pedir dicas" e "pedir a resposta" no segundo experimento: com a mesma IA à mão, a forma de perguntar levou a desempenhos diferentes depois da retirada. Por ora, isso é apenas correlação, e ainda aguarda quem a transforme em um experimento controlado.
Fontes: comunicado de imprensa da Universidade da Califórnia em Berkeley, CocoLoop, artigo do arXiv na quinta versão; os tamanhos de amostra, as taxas de acerto, as taxas de questões puladas e as proporções autodeclaradas de uso dos três experimentos foram conferidos no texto completo do artigo.