강화학습의 선구자이자 튜링상 수상자인 Richard Sutton이 대형 모델 열풍에 날카로운 비판을 다시 던졌다. 다음 단어를 예측하도록 훈련된 시스템만으로는 진짜 과학을 만들 수 없다는 주장이다.
그가 말하는 것은 대형 언어 모델이 쓸모없다는 뜻이 아니다. 더 좁고 근본적인 지점이다. 과학적 발견에는 인과 이해, 능동적 실험, 가설을 세계에 대고 검증하는 능력이 필요하다. 인간이 이미 쓴 것을 재조합하는 것만으로는 부족하다.
인간 데이터의 천장
이 주장은 David Silver와의 논의와도 이어진다. 인간 데이터에는 천장이 있다. 기존 논문, 텍스트, 이미지로 훈련된 모델은 강력한 조수가 될 수 있지만, 인간이 아직 데이터로 남기지 않은 답을 발견하기는 어렵다.
Sutton은 AlphaGo와 AlphaProof를 다른 길로 본다. 이들은 내부 평가 장치를 갖고 상호작용, 피드백, 탐색으로 개선된다. 인간 출력을 모방하는 대신 가설, 실험, 수정에 가까운 루프를 갖는다.
유용성보다 방향의 문제
이 비판이 무거운 이유는 AI 자본 대부분이 여전히 더 큰 모델과 더 많은 인간 데이터를 향하고 있기 때문이다. The Bitter Lesson의 저자인 Sutton은 규모화를 부정하지 않는다. 무엇을 규모화해야 하는지 묻고 있다.
판정은 토론이 아니라 성과가 내릴 것이다. 다음의 진정한 새 과학 결과가 모든 논문을 읽은 모델에서 나올지, 아니면 환경 안에서 행동하고 측정하고 실패하며 수정하는 agent에서 나올지가 관건이다.
참고 출처: The Decoder, CocoLoop; 다음 단어 예측 비판, 인과 이해, 실험, 인간 데이터 한계, AlphaGo와 AlphaProof 비교를 확인했다.