強化學習先驅、圖靈獎得主 Richard Sutton 再次批評當前大模型熱潮:一個主要被訓練來預測下一個詞的系統,單靠自己做不出真正的科學。
他的意思不是大語言模型沒有用,而是問題更窄也更根本。科學發現需要因果理解、主動實驗,以及把假設放到世界中檢驗的能力,不只是重組人類已經寫過的內容。
人類資料有天花板
這個判斷呼應他與 David Silver 先前的討論:人類資料存在上限。用既有論文、文字和圖像訓練的模型,可以成為強大的助手,但很難發現人類尚未留下資料的答案。
Sutton 指向 AlphaGo 和 AlphaProof 這類系統作為另一條路。它們有內部評判機制,能透過互動、回饋和搜尋改進,而不是只模仿人類輸出。這更接近假設、實驗、修正的科學循環。
批評的是方向,不是用途
這番話之所以刺耳,是因為 AI 產業的大部分資金仍在押注更大的模型和更多人類資料。寫下 The Bitter Lesson 的 Sutton 並不反對規模化;他質疑的是該規模化什麼。
最後的判決不會來自辯論,而會來自成果。下一個真正全新的科學結果,究竟來自讀遍論文的模型,還是來自能在環境中行動、測量、失敗並修正的 agent,才是關鍵。
參考來源:The Decoder、CocoLoop;核驗 Sutton 對下一詞預測、因果理解、實驗、人類資料上限,以及 AlphaGo、AlphaProof 比較的說法。