カリフォルニア大学バークレー校は10月9日、AIによる支援と「粘り強さ」に関する研究を発表した。参加者がChatGPTを使って約10分間問題を解き、その後ツールを取り上げられると、正答率が下がり、問題を飛ばす割合が上がったという。論文「AI Assistance Reduces Persistence and Hurts Independent Performance」は4月にarXivで公開され、10月3日に第5版へ更新された。査読を経た版は言語モデルの国際会議COLMで発表されている。
著者は5人。バークレーのCenter for Human-Compatible AIの研究者で『アルゴリズムが教えてくれる人生の決め方』の著者でもあるBrian Christian氏のほか、カーネギーメロン大学、MIT、オックスフォード大学、UCLAの共同研究者が名を連ねる。
3つの実験の中身
研究ではオンラインで1,222人を募り、3件のランダム化比較試験を実施した。最初の2件は分数の計算、3件目はSATの読解練習問題である。各実験は2段階で、練習段階ではAIを使えるグループと、自力で解く対照グループに分かれる。続く3問のテスト段階では、全員がAIなしで解いた。
除外後のサンプルで集計した結果は次のとおり。
| 実験 | テスト正答率（AI群 / 対照群） | スキップ率（AI群 / 対照群） |
|---|---|---|
| 分数問題1（307人） | 57% / 73% | 20% / 11% |
| 分数問題2（585人） | 71% / 77% | 10% / 7% |
| 読解（168人） | 76% / 89% | 8% / 1% |
正答率の差は3実験とも統計的に有意だった。スキップ率の差は1件目と3件目で有意、2件目では有意にならなかった。
"You almost couldn't ask for a clearer story."（これ以上に明快な結果はなかなか望めない）
Christian氏はバークレーの発表記事でこう語っている。ただし同氏は、この研究が扱っているのは分数やSATそのものの話ではない、とも付け加えた。
AIの使い方で差は大きく変わる
2件目の実験では、AI群に使い方を自己申告してもらった。61%がAIに答えを直接求め、27%はヒントや解説だけを求め、12%はほとんど使わなかった。
答えを求めたグループはテスト正答率65%、スキップ率13%。ヒントだけを求めたグループは正答率76%、スキップ率5%で、対照群とほぼ変わらなかった。著者は、これは事後的なグループ比較であり因果の証拠とはみなせないと明言している。AIの使い方の選択自体が、能力や性格と結びついている可能性があるためだ。
研究で使われたAIは、できるだけ完全な答えを返すよう意図的に設定されていた。チューター型やソクラテス式のAIなら、支援の効果を保ちつつ粘り強さを損なわずに済むのか。著者は有望な方向だとみるが、3つの実験はいずれもこれを直接検証していない。論文の結論では、「使う量を減らす」「ヒントモードに切り替える」といったユーザー側の対処を一時しのぎと位置づけ、モデル開発側が設計段階でユーザーの長期的な能力を織り込むべきだと主張している。
中国の教室や保護者にとっての意味
中国の小中学生がAIで問題を解く入口は多い。写真で問題を検索するアプリ、宿題支援アプリ、汎用のチャットアシスタントは、いずれも一手で完全な解答を返す。今回の研究が測ったのはまさにこの「完全な答えを渡す」方式で、しかもわずか10分間の利用だった。
前提としていくつかの限界を押さえておきたい。参加者は米国でオンライン募集された成人で、課題も基礎的な分数計算と標準化された読解であり、長期かつ高頻度の宿題という場面とは別物である。テストはAIを外した直後に行われ、効果がどれだけ続くかのデータはない。3実験とも1回きりの利用だけを見ており、毎日使えば影響が積み重なるのか、慣れてしまうのかは、縦断研究が必要だと著者は述べている。
保護者や教師にとって参考になりそうなのは、2件目の実験で「ヒントを求めた」群と「答えを求めた」群の間に開いた数ポイントの差だ。同じようにAIが手元にあっても、聞き方が違えば、外した後の成績が違っていた。ただし現時点では相関にとどまり、対照実験で確かめられるのを待つ段階である。
参考資料：カリフォルニア大学バークレー校のプレスリリース、CocoLoop、arXiv論文第5版。3つの実験のサンプル数、正答率、スキップ率、使い方の自己申告割合は論文本文で確認した。