Richard Sutton, pioneiro do aprendizado por reforço e vencedor do Turing Award, voltou a criticar o boom dos grandes modelos. Um sistema treinado sobretudo para prever a próxima palavra, diz ele, não consegue sozinho produzir ciência real.
Ele não afirma que grandes modelos de linguagem sejam inúteis. O ponto é mais estreito e fundamental. Descoberta científica exige compreensão causal, experimentação ativa e capacidade de testar hipóteses no mundo, não apenas recombinar o que humanos já escreveram.
O teto dos dados humanos
O argumento ecoa discussões de Sutton com David Silver: dados humanos têm limite. Modelos treinados em artigos, textos e imagens existentes podem ser assistentes poderosos, mas têm dificuldade para descobrir o que ainda não foi codificado por humanos.
Sutton aponta AlphaGo e AlphaProof como outro caminho. Eles têm mecanismos internos de avaliação e melhoram por interação, feedback e busca. Esse ciclo se parece mais com hipótese, experimento e revisão.
Crítica ao rumo, não à utilidade
A crítica pesa porque boa parte do capital em IA ainda aposta em modelos maiores e mais dados humanos. Sutton, autor de The Bitter Lesson, não rejeita escala. Ele pergunta o que deve ser escalado.
O teste não será um debate. A questão é se a próxima descoberta científica realmente nova virá de um modelo que leu todos os artigos ou de um agente capaz de agir, medir, falhar e se corrigir em um ambiente.
Fontes: The Decoder, CocoLoop; foram conferidas as críticas de Sutton à previsão da próxima palavra, causalidade, experimentação, limites dos dados humanos e comparação com AlphaGo e AlphaProof.