Prime Intellect hat eine umfangreiche Auswertung veröffentlicht: 18 Frontier-Modelle mussten jeweils selbstständig KI-Forschung betreiben, insgesamt 153 vollautonome Experimente, jedes mit 8 H200-GPUs, der längste Lauf dauerte über acht Tage.
Die Aufgabe war der nanoGPT-Optimizer-Speedrun, ein von Keller Jordan initiierter Community-Wettbewerb: Ein GPT-Modell mit 124 Millionen Parametern soll auf einen Validierungsverlust unter 3,28 trainiert werden – wer dafür weniger Trainingsschritte braucht, gewinnt. Die Regeln sind streng: Nur am Optimizer darf geschraubt werden, kein Internetzugang, den Rest muss das Modell selbst organisieren. Als Werkzeug steht den Modellen lediglich ein dauerhaft laufender IPython-Kernel zur Verfügung – vom Aufbau der Experimentpipeline über das Schreiben von Code und das Ausführen von Validierungen bis zum Verwerfen eigener Hypothesen läuft alles eigenständig.
Die Ergebnisliste
Die Startlinie liegt bei 3290 Schritten. Die menschliche Community hat den Rekord in mehreren Monaten mit Dutzenden Beteiligten auf 2600 Schritte gedrückt – die dazwischenliegenden 690 Schritte sind genau das, was hier gemessen werden soll.
Fable 5 kam auf 2726 Schritte und schließt damit rund 82 Prozent dieser Lücke. Opus 5 blieb bei 2920 Schritten stehen, Kimi K3 bei 2930 – beide holen jeweils etwa die Hälfte auf. GPT-5.6 Sol erreichte 3042 Schritte, GLM 5.3 lieferte kein gültiges Ergebnis.
Zwischen Opus 5 und Kimi K3 liegen nur 10 Schritte. Grob gerechnet macht das 1,4 Prozent der Gesamtlücke aus – angesichts des Rauschens im nanoGPT-Training und der Zufälligkeit beim Sampling hat diese Reihenfolge kaum Erklärungskraft. Anders gesagt: Bei Aufgaben, die tagelanges eigenständiges Vorankommen erfordern, haben Open-Source-Modelle bereits zur Spitzengruppe der Closed-Source-Modelle aufgeschlossen – Kimi K3 ist zudem der einzige Open-Source-Kandidat unter den ersten drei.
Den Unterschied macht die Ausführung
Der Bericht führt die Unterschiede zwischen den Modellen auf die Ausführungsebene zurück: welche Experimente gewählt werden, wie gründlich sie durchgeführt werden, wie verrauschte Ergebnisse interpretiert werden – jeder dieser Schritte vergrößert die Kluft.
Konkret verhielten sich die besseren Modelle so: Bei einem Grenzergebnis wurde zunächst mit drei zufälligen Seeds nachgetestet, erst nach bestätigter Stabilität folgte die vollständige Validierung; auch Ablationsstudien wurden erneut aufgerollt und zuvor als negativ eingestufte Richtungen noch einmal geprüft. Einige Modelle bauten sich sogar eigene Experiment-Management-Pipelines und kleine Simulatoren. Die schwächeren Modelle hielten dagegen oft Verbesserungen für real, die nur Rauschen waren, und verfolgten die falsche Schlussfolgerung konsequent weiter.
Für Praktiker ist diese Erkenntnis nicht neu. Die Hürde beim Hyperparameter-Tuning liegt nie darin, ein Paper zu verstehen, sondern darin, geduldig genug zu sein, ein verdächtig positives Ergebnis dreimal zu wiederholen.
Der Dämpfer: nichts wirklich Neues
Der Bericht enthält eine selbstironische Passage: Die Autoren schreiben, sie seien erneut überrascht gewesen, wie wenig Neues dabei herauskam. In 153 Experimenten setzten die Gewinner-Ansätze durchweg auf bereits bekannte Tricks – Preconditioning, Learning-Rate-Scheduling, Weight Averaging. Kein Modell hat eine Methode vorgeschlagen, die zuvor noch niemand ausprobiert hatte.
Dieser Dämpfer trifft die aktuelle Debatte über KI-Selbstverbesserung genau zur richtigen Zeit. Experimentieren-können und neue Methoden vorschlagen-können sind zwei verschiedene Dinge: Ersteres lässt sich bereits so weit automatisieren, dass acht Tage ohne menschliches Zutun möglich sind, von Zweiterem findet sich in diesen Daten keine Spur.
Wie weit trägt dieses Ergebnis
Es gibt einige Einschränkungen. Der nanoGPT-Speedrun selbst hat eine hohe Varianz, und das Rechenbudget erlaubte keine ausreichend häufigen Wiederholungen pro Modell, um Mittelwerte zu bilden. Die Autoren räumen selbst ein, nicht sauber trennen zu können, wie viel der Ergebnisse auf die spezifischen Rahmenbedingungen dieser Aufgabe zurückzuführen ist und wie viel die tatsächliche Obergrenze der Modelle widerspiegelt.
Eine einzelne Aufgabe, ein einzelnes Fachgebiet, ein fester Harness – ob sich das Ranking bei einer anderen Forschungsrichtung umkehren würde, kann derzeit niemand sagen. Aber 18 Modelle acht Tage lang in derselben Sandbox laufen zu lassen, ist ein öffentliches Kontrollexperiment dieser Größenordnung, das es so noch nicht gab. Allein die Varianz offenzulegen ist schon nützlicher als ein Haufen untereinander nicht vergleichbarer Selbsteinschätzungen.
Quellen: Prime-Intellect-Forschungsblog und Experiment-Repository, CocoLoop, QbitAI; die nanoGPT-Speedrun-Bestenliste diente zur Überprüfung von Schrittzahlen und Baseline der einzelnen Modelle.