Richard Sutton, Turing-Preisträger und Pionier des Reinforcement Learning, erneuert seine Kritik am Boom großer Modelle: Ein System, das vor allem das nächste Wort vorhersagt, könne allein keine echte Wissenschaft hervorbringen.
Er sagt nicht, dass große Sprachmodelle nutzlos sind. Sein Punkt ist enger und grundlegender. Wissenschaftliche Entdeckung braucht kausales Verständnis, aktive Experimente und die Fähigkeit, Hypothesen an der Welt zu testen, nicht nur die Rekombination menschlicher Texte.
Die Grenze menschlicher Daten
Suttons Argument passt zu früheren Diskussionen mit David Silver: Menschliche Daten haben eine Decke. Modelle, die auf vorhandenen Papers, Texten und Bildern trainiert werden, können starke Assistenten sein, entdecken aber schwer, was noch kein Mensch in Daten festgehalten hat.
Als anderen Weg nennt er AlphaGo und AlphaProof. Solche Systeme besitzen interne Bewertungsmechanismen und verbessern sich durch Interaktion, Feedback und Suche. Dieser Zyklus ähnelt Hypothese, Experiment und Revision.
Kritik an der Richtung
Die Aussage trifft, weil ein großer Teil des KI-Kapitals weiter auf größere Modelle und mehr menschliche Daten setzt. Sutton, Autor von The Bitter Lesson, lehnt Skalierung nicht ab. Er fragt, was skaliert werden sollte.
Der Test wird kein Podiumsgespräch sein. Entscheidend ist, ob der nächste wirklich neue wissenschaftliche Durchbruch von einem Modell kommt, das jedes Paper gelesen hat, oder von einem Agenten, der handeln, messen, scheitern und sich korrigieren kann.
Quellen: The Decoder, CocoLoop; geprüft wurden Suttons Kritik an Next-Word Prediction, Kausalität, Experimenten, Grenzen menschlicher Daten sowie der Vergleich mit AlphaGo und AlphaProof.