La Universidad de California en Berkeley dio a conocer el 9 de octubre un estudio sobre la asistencia de la IA y la "perseverancia": los participantes resolvieron ejercicios durante unos 10 minutos con ChatGPT y, una vez retirada la herramienta, la tasa de aciertos bajó y la proporción de preguntas omitidas subió. El artículo "AI Assistance Reduces Persistence and Hurts Independent Performance" apareció en arXiv en abril, se actualizó a la quinta versión el 3 de octubre y la versión revisada por pares se publicó en la conferencia de modelos de lenguaje COLM.
Los autores son cinco, entre ellos Brian Christian, investigador del Center for Human-Compatible AI de Berkeley y autor de "Algorithms to Live By", además de colaboradores de Carnegie Mellon, el MIT, Oxford y UCLA.
Cómo se hicieron los tres grupos de experimentos
El estudio reclutó en línea a 1.222 personas e hizo tres ensayos controlados aleatorizados. Los dos primeros eran de operaciones con fracciones y el tercero, de ejercicios de comprensión lectora del SAT. Cada ensayo tenía dos fases: en la de práctica, un grupo podía usar IA y el grupo de control trabajaba solo; después venía una fase de prueba de 3 preguntas en la que nadie tenía IA.
Los resultados, calculados sobre las muestras tras las exclusiones:
| Experimento | Tasa de aciertos en la prueba (grupo IA / control) | Tasa de omisión (grupo IA / control) |
|---|---|---|
| Fracciones 1 (307 personas) | 57 % / 73 % | 20 % / 11 % |
| Fracciones 2 (585 personas) | 71 % / 77 % | 10 % / 7 % |
| Comprensión lectora (168 personas) | 76 % / 89 % | 8 % / 1 % |
Las diferencias en la tasa de aciertos son estadísticamente significativas en los tres grupos. Las diferencias en la tasa de omisión lo son en el primero y el tercero, pero no en el segundo.
"You almost couldn't ask for a clearer story."
(Sería difícil pedir un resultado más claro que este.)
Así lo describió Christian en el texto publicado por Berkeley. También añadió que el estudio no trata de las fracciones ni del SAT en sí.
Cómo se usa la IA marca una gran diferencia
En el segundo experimento, el grupo de IA informó por su cuenta de cómo había usado la herramienta: el 61 % pidió directamente la respuesta, el 27 % solo pidió pistas o una explicación y el 12 % apenas la usó.
Quienes pidieron la respuesta directa lograron un 65 % de aciertos en la prueba y un 13 % de omisiones; quienes solo pidieron pistas, un 76 % de aciertos y un 5 % de omisiones, casi igual que el grupo de control. Los autores señalan expresamente que es una comparación de grupos a posteriori, que no puede tomarse como prueba causal: la manera en que cada persona elige usar la IA podría estar relacionada con su capacidad y su carácter.
La IA empleada en el estudio se configuró deliberadamente para dar respuestas lo más completas posible. Si una IA de estilo tutor, socrática, puede conservar el beneficio de la ayuda sin debilitar la perseverancia, los autores consideran que la dirección es adecuada, pero ninguno de los tres experimentos lo comprobó directamente. En las conclusiones del artículo, califican de remedios provisionales las medidas del lado del usuario, como "usarla un poco menos" o "cambiar al modo de pistas", y defienden que los desarrolladores de modelos tengan en cuenta desde el diseño la capacidad a largo plazo del usuario.
Qué significa para las aulas y las familias en China
Los estudiantes de primaria y secundaria en China tienen muchas puertas de acceso a la IA para hacer los deberes: aplicaciones que resuelven a partir de una foto, aplicaciones de tareas y asistentes de chat de uso general ofrecen la solución completa en un solo paso. Lo que midió este estudio es precisamente el modo de "dar la respuesta completa", y solo durante 10 minutos.
Conviene dejar claros varios límites. Los participantes eran adultos reclutados en línea en Estados Unidos, y los ejercicios eran operaciones básicas con fracciones y lectura estandarizada, algo distinto de los deberes prolongados y frecuentes. La prueba se hizo justo después de retirar la IA y no hay datos sobre cuánto dura el efecto; además, los tres experimentos solo observaron una exposición única, y si el uso diario se acumula o la gente se adapta, los autores dicen que hacen falta estudios longitudinales para responderlo.
Lo más útil como referencia para padres y profesores es la diferencia de unos pocos puntos porcentuales entre "pedir pistas" y "pedir la respuesta" en el segundo experimento: con la misma IA a mano, la forma de preguntar llevó a un rendimiento distinto tras retirarla. Por ahora es solo una correlación, a la espera de que alguien la convierta en un experimento controlado.
Fuentes: comunicado de prensa de la Universidad de California en Berkeley, CocoLoop, artículo de arXiv en su quinta versión; los tamaños de muestra, las tasas de aciertos, las tasas de omisión y las proporciones autodeclaradas de uso de los tres experimentos se verificaron con el texto completo del artículo.