Richard Sutton, người tiên phong của học tăng cường và chủ nhân giải Turing, tiếp tục chỉ trích làn sóng mô hình lớn. Theo ông, một hệ thống chủ yếu học để dự đoán từ tiếp theo không thể tự mình tạo ra khoa học thật sự.
Ông không nói mô hình ngôn ngữ lớn là vô dụng. Vấn đề hẹp hơn và căn bản hơn: khám phá khoa học cần hiểu quan hệ nhân quả, thí nghiệm chủ động và khả năng kiểm chứng giả thuyết với thế giới, không chỉ ghép lại những gì con người đã viết.
Trần dữ liệu con người
Lập luận này nối với các trao đổi trước đây của Sutton và David Silver: dữ liệu con người có giới hạn. Mô hình học từ bài báo, văn bản và hình ảnh có sẵn có thể là trợ lý mạnh, nhưng khó tìm ra điều chưa ai từng mã hóa thành dữ liệu.
Sutton xem AlphaGo và AlphaProof như một hướng khác. Chúng có cơ chế đánh giá nội bộ và cải thiện qua tương tác, phản hồi, tìm kiếm. Vòng lặp đó gần với giả thuyết, thí nghiệm và chỉnh sửa hơn là bắt chước đầu ra của con người.
Phê bình hướng đi, không phủ nhận giá trị
Lời phê bình này đáng chú ý vì phần lớn vốn AI vẫn đổ vào mô hình lớn hơn và nhiều dữ liệu người hơn. Sutton, tác giả The Bitter Lesson, không bác bỏ quy mô. Ông hỏi thứ gì mới nên được mở rộng.
Bài kiểm tra sẽ nằm ở kết quả. Khám phá khoa học thật sự tiếp theo sẽ cho thấy nó đến từ mô hình đọc mọi bài báo, hay từ một agent có thể hành động, đo lường, thất bại và sửa sai trong môi trường.
Nguồn tham khảo: The Decoder, CocoLoop; đã kiểm tra phê bình của Sutton về dự đoán từ tiếp theo, hiểu nhân quả, thí nghiệm, giới hạn dữ liệu con người và so sánh với AlphaGo, AlphaProof.