加州大學柏克萊分校 10 月 9 日發布消息，介紹了一項關於 AI 輔助與「堅持力」的研究：參與者借助 ChatGPT 解題約 10 分鐘，工具被撤走後，正確率下降，跳過題目的比例上升。論文〈AI Assistance Reduces Persistence and Hurts Independent Performance〉最早於 4 月上傳 arXiv，10 月 3 日更新至第五版，經同儕審查的版本發表於語言模型會議 COLM。
作者共五人，包括柏克萊人類相容 AI 中心的研究員、《先進演算法的人生指南》作者 Brian Christian，以及來自卡內基美隆、MIT、牛津和 UCLA 的合作者。
三組實驗怎麼做
研究在線上招募 1,222 人，進行三項隨機對照試驗。前兩項是分數運算，第三項是 SAT 閱讀理解練習題。每項都分兩段：練習階段，一組可以使用 AI，對照組只能自己作答；接著進入 3 道題的測驗階段，所有人都不能使用 AI。
結果依剔除後的樣本計算：
| 實驗 | 測驗正確率（AI 組 / 對照組） | 跳題率（AI 組 / 對照組） |
|---|---|---|
| 分數題一（307 人） | 57% / 73% | 20% / 11% |
| 分數題二（585 人） | 71% / 77% | 10% / 7% |
| 閱讀理解（168 人） | 76% / 89% | 8% / 1% |
三組的正確率差距都達統計顯著。跳題率的差距在第一組和第三組顯著，第二組則不顯著。
"You almost couldn't ask for a clearer story."（很難再找到比這更清楚的結果了。）
Christian 在柏克萊的稿件中如此形容。他也補了一句，這項研究談的並非分數題和 SAT 本身。
怎麼用 AI，差別很大
第二項實驗請 AI 組自行回報使用方式：61% 的人直接向 AI 要答案，27% 只要提示或請它解釋，12% 基本沒用。
直接要答案的那批人，測驗正確率 65%，跳題率 13%；只要提示的那批人，正確率 76%，跳題率 5%，與對照組相差無幾。作者明確指出這是事後分組比較，不能當作因果證據，人們選擇怎麼使用 AI，本身可能就與能力、個性有關。
研究使用的 AI 被刻意設定為盡量給出完整答案。輔導式、蘇格拉底式的 AI 能否在保住幫助效果的同時不削弱堅持力，作者認為方向可取，但三組實驗都沒有直接檢驗。在論文結論中，他們把「讓使用者少用一點」「換成提示模式」這類使用者端辦法稱為權宜之計，主張模型開發方在設計時就把使用者的長期能力納入考量。
對中國課堂與家長意味著什麼
中國中小學生接觸 AI 解題的入口很多，拍照搜題、作業類應用和通用聊天助理都能一步給出完整解答。這項研究測的正是「給完整答案」這種模式，而且只用了 10 分鐘。
有幾條界線要先說清楚。參與者是美國線上招募的成年人，題目是基礎分數運算和標準化閱讀，與長期、高頻率的作業情境不是一回事。測驗緊接在撤掉 AI 之後，效應能維持多久沒有數據；三項實驗也都只觀察單次接觸，天天使用會累積還是會適應，作者表示需要縱貫研究來回答。
對家長和老師比較有參考意義的，是第二項實驗中「要提示」和「要答案」之間那幾個百分點的差距：同樣有 AI 在手，問法不同，撤掉之後的表現就不一樣。這一點目前只是相關性，還等著有人做成對照實驗。
參考來源：加州大學柏克萊分校新聞稿、CocoLoop、arXiv 論文第五版；論文正文核對了三項實驗的樣本數、正確率、跳題率與使用方式自我回報比例。