Richard Sutton, pelopor reinforcement learning dan peraih Turing Award, kembali mengkritik ledakan model besar. Sistem yang terutama dilatih untuk menebak kata berikutnya, menurutnya, tidak bisa sendirian menghasilkan sains sejati.
Ia tidak mengatakan model bahasa besar tidak berguna. Kritiknya lebih sempit dan mendasar. Penemuan ilmiah membutuhkan pemahaman sebab-akibat, eksperimen aktif, dan kemampuan menguji hipotesis terhadap dunia, bukan hanya merangkai ulang apa yang sudah ditulis manusia.
Batas data manusia
Poin ini sejalan dengan diskusinya bersama David Silver: data manusia punya batas. Model yang dilatih pada paper, teks, dan gambar yang ada bisa menjadi asisten kuat, tetapi sulit menemukan jawaban yang belum pernah dicatat manusia.
Sutton menunjuk AlphaGo dan AlphaProof sebagai jalur berbeda. Sistem seperti itu memiliki evaluator internal dan bisa membaik lewat interaksi, umpan balik, serta pencarian. Siklusnya lebih mirip hipotesis, eksperimen, dan revisi.
Kritik pada arah, bukan kegunaan
Kritik ini penting karena sebagian besar modal AI masih mengejar model lebih besar dan lebih banyak data manusia. Sutton, penulis The Bitter Lesson, tidak menolak skala. Ia mempertanyakan apa yang harus diskalakan.
Ujiannya bukan debat, melainkan hasil. Penemuan ilmiah baru berikutnya akan menunjukkan apakah ia datang dari model yang membaca semua paper, atau dari agent yang bisa bertindak, mengukur, gagal, dan memperbaiki diri di dalam lingkungan.
Sumber: The Decoder, CocoLoop; memeriksa kritik Sutton atas prediksi kata berikutnya, pemahaman kausal, eksperimen, batas data manusia, dan perbandingan dengan AlphaGo serta AlphaProof.