L'université de Californie à Berkeley a présenté le 9 octobre une étude sur l'aide de l'IA et la « persévérance » : des participants ont résolu des exercices pendant environ 10 minutes avec ChatGPT, et une fois l'outil retiré, le taux de bonnes réponses a baissé et la proportion de questions sautées a augmenté. L'article « AI Assistance Reduces Persistence and Hurts Independent Performance » a été mis en ligne sur arXiv en avril, mis à jour en cinquième version le 3 octobre, et la version évaluée par des pairs est parue à la conférence sur les modèles de langage COLM.
Les auteurs sont cinq, dont Brian Christian, chercheur au Center for Human-Compatible AI de Berkeley et auteur de « Algorithms to Live By », ainsi que des collaborateurs de Carnegie Mellon, du MIT, d'Oxford et de l'UCLA.
Comment se sont déroulées les trois séries d'expériences
L'étude a recruté 1 222 personnes en ligne et mené trois essais contrôlés randomisés. Les deux premiers portaient sur le calcul avec des fractions, le troisième sur des exercices de compréhension de lecture du SAT. Chaque essai comptait deux phases : pendant l'entraînement, un groupe pouvait utiliser l'IA tandis que le groupe témoin travaillait seul ; venait ensuite une phase de test de 3 questions, durant laquelle personne n'avait accès à l'IA.
Les résultats, calculés sur les échantillons après exclusions :
| Expérience | Taux de bonnes réponses au test (groupe IA / témoin) | Taux de questions sautées (groupe IA / témoin) |
|---|---|---|
| Fractions 1 (307 personnes) | 57 % / 73 % | 20 % / 11 % |
| Fractions 2 (585 personnes) | 71 % / 77 % | 10 % / 7 % |
| Compréhension de lecture (168 personnes) | 76 % / 89 % | 8 % / 1 % |
Les écarts de taux de bonnes réponses sont statistiquement significatifs dans les trois groupes. Les écarts de taux de questions sautées le sont dans la première et la troisième expérience, mais pas dans la deuxième.
« You almost couldn't ask for a clearer story. »
(On ne pouvait guère espérer un résultat plus net.)
C'est ainsi que Christian le décrit dans le texte publié par Berkeley. Il ajoute que l'étude ne porte pas sur les fractions ni sur le SAT en tant que tels.
La façon d'utiliser l'IA change beaucoup de choses
Dans la deuxième expérience, le groupe IA a déclaré lui-même comment il avait utilisé l'outil : 61 % ont demandé directement la réponse, 27 % ont seulement demandé des indices ou une explication, et 12 % ne s'en sont presque pas servis.
Ceux qui demandaient directement la réponse ont obtenu 65 % de bonnes réponses au test et sauté 13 % des questions ; ceux qui ne demandaient que des indices, 76 % de bonnes réponses et 5 % de questions sautées, à peine différent du groupe témoin. Les auteurs précisent qu'il s'agit d'une comparaison de groupes a posteriori, qui ne peut pas servir de preuve causale : la manière dont chacun choisit d'utiliser l'IA peut elle-même être liée à ses capacités et à son caractère.
L'IA utilisée dans l'étude était volontairement réglée pour donner des réponses aussi complètes que possible. Une IA de type tuteur, socratique, peut-elle préserver l'effet d'aide sans affaiblir la persévérance ? Les auteurs jugent la piste souhaitable, mais aucune des trois expériences ne l'a testée directement. Dans les conclusions de l'article, ils qualifient de palliatifs les remèdes côté utilisateur, comme « s'en servir un peu moins » ou « passer en mode indices », et plaident pour que les concepteurs de modèles intègrent dès la conception les capacités à long terme des utilisateurs.
Ce que cela signifie pour les classes et les parents en Chine
Les écoliers chinois disposent de nombreuses portes d'entrée vers l'IA pour leurs devoirs : applications qui résolvent à partir d'une photo, applications de devoirs et assistants conversationnels généralistes donnent tous la solution complète en une seule étape. C'est précisément ce mode, « donner la réponse complète », que l'étude a mesuré, et en seulement 10 minutes.
Quelques limites doivent d'abord être posées. Les participants étaient des adultes recrutés en ligne aux États-Unis, et les exercices étaient du calcul de base sur les fractions et de la lecture standardisée, ce qui n'a rien à voir avec des devoirs réguliers sur la durée. Le test suivait immédiatement le retrait de l'IA et l'on ne sait pas combien de temps l'effet dure ; les trois expériences n'ont en outre observé qu'une seule exposition, et pour savoir si un usage quotidien s'accumule ou si l'on s'y adapte, les auteurs disent qu'il faudra des études longitudinales.
Ce qui a le plus de valeur pour les parents et les enseignants, c'est l'écart de quelques points de pourcentage entre « demander des indices » et « demander la réponse » dans la deuxième expérience : avec la même IA sous la main, la façon de poser la question a conduit à des performances différentes une fois l'outil retiré. Pour l'instant, il ne s'agit que d'une corrélation, qui attend que quelqu'un en fasse une expérience contrôlée.
Sources : communiqué de l'université de Californie à Berkeley, CocoLoop, article arXiv en cinquième version ; les tailles d'échantillon, taux de bonnes réponses, taux de questions sautées et proportions d'usage déclarées des trois expériences ont été vérifiés dans le texte complet de l'article.