Đại học California, Berkeley ngày 9/10 đã công bố thông tin về một nghiên cứu liên quan đến hỗ trợ từ AI và "sự bền bỉ": người tham gia dùng ChatGPT để làm bài khoảng 10 phút, sau khi công cụ bị rút đi thì tỷ lệ trả lời đúng giảm, tỷ lệ bỏ qua câu hỏi tăng. Bài báo mang tên "AI Assistance Reduces Persistence and Hurts Independent Performance" được đăng lên arXiv từ tháng 4, cập nhật lên phiên bản thứ năm vào ngày 3/10, còn bản đã qua bình duyệt được công bố tại hội nghị mô hình ngôn ngữ COLM.
Nhóm tác giả gồm năm người, trong đó có nhà nghiên cứu của Trung tâm AI tương thích với con người (CHAI) thuộc Berkeley, Brian Christian, tác giả cuốn "Algorithms to Live By", cùng các cộng sự đến từ Carnegie Mellon, MIT, Oxford và UCLA.
Ba nhóm thí nghiệm được thực hiện như thế nào
Nghiên cứu tuyển 1.222 người qua mạng và tiến hành ba thử nghiệm đối chứng ngẫu nhiên. Hai thử nghiệm đầu là phép tính phân số, thử nghiệm thứ ba là bài luyện đọc hiểu SAT. Mỗi thử nghiệm gồm hai giai đoạn: ở giai đoạn luyện tập, một nhóm được dùng AI còn nhóm đối chứng chỉ được tự làm; sau đó là giai đoạn kiểm tra gồm 3 câu hỏi, trong đó không ai được dùng AI.
Kết quả tính trên mẫu sau khi đã loại bớt như sau:
| Thí nghiệm | Tỷ lệ đúng khi kiểm tra (nhóm AI / nhóm đối chứng) | Tỷ lệ bỏ qua (nhóm AI / nhóm đối chứng) |
|---|---|---|
| Phân số 1 (307 người) | 57% / 73% | 20% / 11% |
| Phân số 2 (585 người) | 71% / 77% | 10% / 7% |
| Đọc hiểu (168 người) | 76% / 89% | 8% / 1% |
Chênh lệch về tỷ lệ đúng ở cả ba nhóm đều có ý nghĩa thống kê. Chênh lệch về tỷ lệ bỏ qua có ý nghĩa ở nhóm thứ nhất và thứ ba, còn nhóm thứ hai thì không.
"You almost couldn't ask for a clearer story."
(Khó mà tìm được kết quả nào rõ ràng hơn thế.)
Christian mô tả như vậy trong bài viết đăng trên trang của Berkeley. Ông cũng nói thêm rằng nghiên cứu này không phải nói về bản thân phép tính phân số hay kỳ thi SAT.
Cách dùng AI khác nhau thì kết quả khác nhau rất nhiều
Trong thí nghiệm thứ hai, nhóm AI tự báo cáo cách họ dùng công cụ: 61% hỏi thẳng đáp án, 27% chỉ xin gợi ý hoặc nhờ giải thích, 12% gần như không dùng.
Nhóm hỏi thẳng đáp án đạt tỷ lệ đúng 65% khi kiểm tra và tỷ lệ bỏ qua 13%; nhóm chỉ xin gợi ý đạt tỷ lệ đúng 76% và tỷ lệ bỏ qua 5%, gần như tương đương nhóm đối chứng. Các tác giả nói rõ đây là so sánh nhóm theo kiểu hậu nghiệm (post hoc), không thể coi là bằng chứng nhân quả, vì chính việc người ta chọn dùng AI theo cách nào có thể đã liên quan đến năng lực và tính cách.
AI được dùng trong nghiên cứu được cố ý thiết lập để đưa ra câu trả lời đầy đủ nhất có thể. Liệu một AI kiểu gia sư, theo phương pháp Socrates, có giữ được hiệu quả hỗ trợ mà không làm suy giảm sự bền bỉ hay không, các tác giả cho rằng hướng đi này đáng thử, nhưng cả ba thí nghiệm đều không kiểm chứng trực tiếp. Trong phần kết luận của bài báo, họ gọi những biện pháp từ phía người dùng như "dùng ít đi một chút" hay "chuyển sang chế độ gợi ý" là giải pháp tạm thời, và chủ trương các nhà phát triển mô hình phải tính đến năng lực dài hạn của người dùng ngay từ khâu thiết kế.
Điều này có ý nghĩa gì với lớp học và phụ huynh ở Trung Quốc
Học sinh tiểu học và trung học ở Trung Quốc có rất nhiều cửa ngõ tiếp xúc với AI khi làm bài: ứng dụng chụp ảnh tìm lời giải, ứng dụng hỗ trợ bài tập và các trợ lý trò chuyện đa dụng đều cho ra lời giải đầy đủ chỉ trong một bước. Điều nghiên cứu này đo chính là mô hình "đưa đáp án hoàn chỉnh", và chỉ trong 10 phút.
Cần nói rõ vài giới hạn trước. Người tham gia là người trưởng thành được tuyển qua mạng ở Mỹ, đề bài là phép tính phân số cơ bản và đọc hiểu theo chuẩn, khác với bối cảnh làm bài tập lâu dài, thường xuyên. Bài kiểm tra diễn ra ngay sau khi rút AI, hiệu ứng kéo dài bao lâu thì không có dữ liệu; cả ba thí nghiệm cũng chỉ xem xét một lần tiếp xúc, còn dùng hằng ngày thì tác động sẽ tích lũy hay con người sẽ thích nghi, các tác giả cho biết cần có nghiên cứu theo dõi dọc thời gian mới trả lời được.
Điều có giá trị tham khảo hơn cả với phụ huynh và giáo viên là khoảng chênh vài điểm phần trăm giữa nhóm "xin gợi ý" và nhóm "xin đáp án" trong thí nghiệm thứ hai: cùng có AI trong tay, nhưng cách hỏi khác nhau thì kết quả sau khi rút AI cũng khác nhau. Hiện tại điểm này mới chỉ là tương quan, vẫn đang chờ ai đó thực hiện thành thí nghiệm đối chứng.
Nguồn tham khảo: thông cáo báo chí của Đại học California, Berkeley, CocoLoop, bài báo arXiv phiên bản thứ năm; các số liệu về cỡ mẫu, tỷ lệ đúng, tỷ lệ bỏ qua và tỷ lệ tự báo cáo cách dùng của ba thí nghiệm đã được đối chiếu với toàn văn bài báo.