Das KI-Forschungsinstitut Epoch AI hat am 26. Oktober eine Reihe interner Experimente veröffentlicht: Frontier-Modelle bekamen Aufgaben aus dem tatsächlichen Arbeitsalltag des Teams und wurden nach demselben Maßstab bewertet, mit dem auch menschliche Beschäftigte beurteilt werden. Am besten schnitten Claude Fable 5.1 und GPT-6 Astra mit durchschnittlich 65 Prozent ab.
"A 65% score is still a failed task."
(Eine Aufgabe mit 65 Punkten ist trotzdem eine nicht erledigte Aufgabe.)
Die Autoren des Beitrags sind Kelly Hong, Greg Burnham und Lynette Bye; der Text fasst die neue Reihe „Automation Reports“ von Epoch zusammen.
Die Sache hat eine Vorgeschichte. Epochs Senior Researcher Anson Ho hatte früher versucht, seine eigene Arbeit an eine KI abzugeben. Damals schaffte die KI nicht alle Aufgaben, und seine Einschätzung lautete, dass sich das noch vor Ende dieses Jahrzehnts ändern werde. Diesmal wurde aus dem Einzelversuch eine Aufgabenliste für das gesamte Team, bewertet nach einem einheitlichen Raster, und als Prüflinge traten die sechs derzeit stärksten Modelle an.
So wurde geprüft
Die Aufgaben stammen aus dem Arbeitsalltag der Epoch-Beschäftigten und verteilen sich auf fünf Kategorien, darunter Grafikdesign, die Planung von Forschungsprojekten, Programmierung und Datenanalyse. Die Modelle mussten selbst Kontext sammeln, Werkzeuge aufrufen und mit den vielen Tücken der Aufgaben umgehen. Bewertet wurde, wie viele Punkte des Rasters das Ergebnis erfüllt; dieses Raster war ursprünglich dafür gedacht, menschliche Beschäftigte zu beurteilen.
Epoch räumt ein, dass dieses Vorgehen deutlich aufwendiger ist als ein Standard-Benchmark, dafür aber näher an echter Arbeit liegt. Die Gesamtzahl der Aufgaben nennt der Beitrag nicht.
Die Ergebnisse folgen einem klaren Muster: Bei klar umrissenen Aufgaben wie Programmieren oder Datenanalyse schlagen sich die Modelle ordentlich; bei offenen Aufgaben, etwa Regeln aus wenigen Beispielen abzuleiten oder Entscheidungen zu treffen, tun sie sich spürbar schwer. Bei der Suche nach Forschungsrichtungen sind die Ideen noch brauchbar, doch sobald eine Richtung in einen ausführbaren Versuchsplan übersetzt werden soll, treten leicht Probleme auf.
In einem Pilotexperiment setzte GPT-6 Astra das Token-Budget so niedrig an, dass 22 Prozent der Läufe keine Antwort lieferten. Diese Ausfälle schrieb es dann als „wichtigen Befund zur Leistungsfähigkeit des Modells“ in die Schlussfolgerung, ohne zu erkennen, dass der Fehler in seiner eigenen Konfiguration lag.
Im Vergleich zu den Werten gängiger Benchmarks
Dieselben beiden Modelle schneiden auf den öffentlichen Ranglisten der Hersteller meist deutlich besser ab. OpenAIs gerade veröffentlichtes GPT-6.1 Terra löst in der höchsten Stufe von Terminal-Bench 4.0 50,3 Prozent der Aufgaben und wird bereits als großer Fortschritt beworben; auch Benchmarks zur Computerbedienung wie Agents' Last Exam oder OSWorld erzählen ihre Geschichten zunehmend über die „Abschlussquote“.
Epochs 65 Prozent lassen sich mit diesen Werten nicht direkt verrechnen. Erstere sind der „Anteil erfüllter Bewertungskriterien“, letztere meist der „Anteil vollständig richtig gelöster Aufgaben“. Epoch weist im Text ausdrücklich darauf hin: 65 Prozent bedeuten nicht, dass zwei Drittel der Arbeit automatisiert sind. Die Punkte könnten überwiegend aus leicht zu erreichenden Kriterien stammen, und bei Zeitaufwand und Schwierigkeit entspricht eine Abdeckung von 65 Prozent der Kriterien bei Weitem nicht 65 Prozent des Fortschritts.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(Jede dieser Aufgaben wäre zurückgewiesen oder zur Überarbeitung zurückgegeben worden, wenn ein Mensch sie abgegeben hätte.)
Es gibt auch eine praktische Veränderung: Epoch hat eine grundlegende Aufgabe zur Diagrammerstellung aus dem Testset genommen, weil Fable 5.1 meist schon im ersten Anlauf eine brauchbare Grafik zeichnet. Das Team lässt die KI diesen Schritt inzwischen teilweise übernehmen.
Die Autoren sehen es so: Mit jeder Modellgeneration überschreiten mehr Aufgaben die Schwelle „zu 100 Prozent akzeptabel“. Erst dann würden Menschen sie wirklich an die KI abgeben, und erst dann zeigten sich auch die wirtschaftlichen Folgen. Welche Aufgaben diese Schwelle zuerst überschreiten, will Epoch in kommenden Berichten Stück für Stück verfolgen.
Quellen: Forschungsbeiträge von Epoch AI, CocoLoop, Produktankündigung von OpenAI; die Erläuterung zum Bewertungsraster von Epoch dient zur Überprüfung der statistischen Berechnung der 65 Prozent.