캘리포니아대 버클리(UC 버클리)는 10월 9일 AI 지원과 '끈기'에 관한 연구를 소개했다. 참가자가 ChatGPT를 쓰며 약 10분간 문제를 푼 뒤 도구가 사라지자 정답률은 떨어지고 문제를 건너뛰는 비율은 올라갔다. 논문 「AI Assistance Reduces Persistence and Hurts Independent Performance」는 4월 arXiv에 처음 올라왔고 10월 3일 5판으로 갱신됐다. 동료 평가를 거친 버전은 언어모델 학회 COLM에 게재됐다.
저자는 모두 다섯 명이다. 버클리 인간 호환 AI 센터(CHAI) 연구원이자 『알고리즘, 인생을 계산하다』의 저자인 Brian Christian과 카네기멜런대, MIT, 옥스퍼드대, UCLA의 공동 연구자들이 참여했다.
세 실험은 어떻게 진행됐나
연구진은 온라인으로 1,222명을 모집해 무작위 대조 시험 세 건을 진행했다. 앞의 두 실험은 분수 연산, 세 번째는 SAT 독해 연습 문제였다. 각 실험은 두 단계로 나뉜다. 연습 단계에서는 한 집단만 AI를 쓸 수 있고 대조군은 스스로 푼다. 이어지는 3문항의 테스트 단계에서는 모두 AI 없이 문제를 풀었다.
제외 후 표본 기준 결과는 다음과 같다.
| 실험 | 테스트 정답률 (AI군 / 대조군) | 건너뛰기 비율 (AI군 / 대조군) |
|---|---|---|
| 분수 문제 1 (307명) | 57% / 73% | 20% / 11% |
| 분수 문제 2 (585명) | 71% / 77% | 10% / 7% |
| 독해 (168명) | 76% / 89% | 8% / 1% |
정답률 격차는 세 실험 모두 통계적으로 유의했다. 건너뛰기 비율 격차는 첫 번째와 세 번째 실험에서는 유의했지만 두 번째에서는 유의하지 않았다.
"You almost couldn't ask for a clearer story." (이보다 더 분명한 결과를 바라기는 어렵다)
Christian은 버클리가 낸 기사에서 이렇게 표현했다. 그는 이 연구가 분수 문제나 SAT 자체에 관한 이야기는 아니라고도 덧붙였다.
AI를 어떻게 쓰느냐에 따라 크게 갈린다
두 번째 실험에서는 AI군에게 사용 방식을 스스로 보고하게 했다. 61%는 AI에게 답을 곧바로 요구했고, 27%는 힌트나 설명만 요청했으며, 12%는 거의 쓰지 않았다.
답을 요구한 집단은 테스트 정답률 65%, 건너뛰기 비율 13%였다. 힌트만 요청한 집단은 정답률 76%, 건너뛰기 비율 5%로 대조군과 큰 차이가 없었다. 저자들은 이것이 사후 집단 비교이므로 인과 증거로 볼 수 없다고 분명히 밝혔다. AI를 어떻게 쓸지 고르는 일 자체가 능력이나 성향과 관련돼 있을 수 있기 때문이다.
연구에 쓰인 AI는 가능한 한 완전한 답을 내놓도록 일부러 설정됐다. 튜터형이나 소크라테스식 AI가 도움 효과를 유지하면서도 끈기를 깎지 않을 수 있는지에 대해, 저자들은 방향은 바람직하다고 보지만 세 실험 모두 이를 직접 검증하지는 않았다. 논문 결론에서 저자들은 '덜 쓰기', '힌트 모드로 바꾸기' 같은 사용자 쪽 대응을 임시방편이라고 부르며, 모델 개발사가 설계 단계부터 사용자의 장기적 역량을 고려해야 한다고 주장한다.
중국 교실과 학부모에게 주는 의미
중국 초중고생이 AI로 문제를 푸는 경로는 많다. 사진으로 문제를 검색하는 앱, 숙제 도우미 앱, 범용 챗봇 모두 한 번에 완전한 풀이를 내놓는다. 이번 연구가 측정한 것이 바로 이 '완전한 답을 주는' 방식이었고, 그것도 단 10분이었다.
먼저 짚어 둘 한계가 몇 가지 있다. 참가자는 미국에서 온라인으로 모집한 성인이고, 과제도 기초 분수 연산과 표준화된 독해여서 장기간 자주 이뤄지는 숙제 상황과는 다르다. 테스트는 AI를 뺀 직후에 치러졌고 효과가 얼마나 지속되는지에 대한 데이터는 없다. 세 실험 모두 단 한 번의 노출만 살폈기 때문에, 매일 쓰면 영향이 누적되는지 아니면 적응하는지는 종단 연구가 필요하다고 저자들은 말한다.
학부모와 교사에게 참고가 될 만한 부분은 두 번째 실험에서 '힌트를 요청한' 집단과 '답을 요구한' 집단 사이에 벌어진 몇 퍼센트포인트의 차이다. 똑같이 AI가 손에 있어도 묻는 방식이 다르면 AI를 뺀 뒤의 성과가 달랐다. 다만 이는 현재로서는 상관관계일 뿐이며, 대조 실험으로 확인되기를 기다리는 단계다.
참고 출처: UC 버클리 보도자료, CocoLoop, arXiv 논문 5판. 세 실험의 표본 수, 정답률, 건너뛰기 비율, 사용 방식 자기 보고 비율은 논문 본문으로 확인했다.