Die Evaluierungsorganisation METR hat am 20. November ihr Update zur Fähigkeitsmessung für das vierte Quartal veröffentlicht. Es enthält zwei Kernaussagen: Nach der Zusammenführung von altem und neuem Aufgabensatz verdoppelt sich die Länge der Aufgaben, die Spitzenmodelle selbstständig bewältigen, ungefähr alle 3,6 Monate; zugleich lässt sich diese Fähigkeit immer schlechter präzise messen. Zu Beginn des Berichts heißt es, die derzeit öffentlich verfügbare Evidenz reiche nicht aus, um eine drastische Beschleunigung der KI-Forschung und -Entwicklung in den kommenden zwei bis drei Jahren auszuschließen.
In die Messung flossen 15 Modelle ein, von GPT-4o und o1 bis hin zu Fable 5.1, GPT-6 Astra und Opus 5.5.
27 Stunden – und wofür diese Zahl gilt
METRs „Zeithorizont“ misst, wie lange ein geübter Mensch für eine Aufgabe braucht, die ein Modell mit einer bestimmten Erfolgsquote selbstständig erledigen kann. Für den Teil der Aufgaben im neuen Satz TH2, dessen Ergebnisse sich automatisch prüfen lassen, liegt der geschätzte Zeithorizont der derzeit öffentlich verfügbaren Spitzenmodelle bei bis zu 27 Stunden.
Einige konkrete Resultate:
- In 15 historischen Wettbewerben der Algorithmus-Reihe AZsPCs (jeweils rund drei Monate lang, mit 97 bis 413 Teilnehmenden) lag der mediane Rang von Fable 5.1, Opus 5.5 und GPT-6 Astra zwischen dem 96. und 98. Perzentil; im mittleren Wettbewerb liegen nur etwa 4 menschliche Teilnehmende vor ihnen;
- Bei drei Aufgaben, für die METR menschliche Vergleichswerte erhoben hat, schnitten die Modelle durchweg besser ab;
- Bei der budgetbegrenzten Aufgabe, das Training von NanoGPT zu beschleunigen, erreichte ein Agent in 48 Stunden höchstens 15,7 % Beschleunigung, während ein jüngerer, KI-gestützter menschlicher Rekord nach rund 60 Stunden 41 % schaffte.
Stärken und Schwächen folgen einem Muster. Bei Programmier- und Optimierungsaufgaben mit klarem Rückmeldesignal erreichen oder übertreffen die Modelle in der Regel geübte Menschen; bei Aufgaben, die Urteilsvermögen erfordern und kein eindeutiges experimentelles Feedback liefern, wirkt das Urteil der Agenten schwächer als das menschlicher Fachleute. Außerdem stellte METR fest: Je teurer es ist, eine Aufgabe in eine Trainingsumgebung für Reinforcement Learning zu verwandeln, desto schlechter schneiden die Modelle ab – auch nach Kontrolle der Aufgabenlänge.
Warum die Messung immer schwerer wird
Die zweite Hälfte des Berichtstitels lautet „zunehmend schwer zu messen“, und METR nennt dafür mehrere Gründe.
Aufgaben werden zu schnell „durchgespielt“. Der Vorgängersatz TH1.1 umfasste 222 Aufgaben mit einer Länge von bis zu 30 Stunden. Im März 2025 schaffte das beste Modell, Sonnet 3.7, nur Aufgaben im Stundenbereich; etwa ein Jahr später war dieser Katalog gesättigt. Der neue Satz TH2 besteht nur aus 12 Aufgabenfamilien mit 36 Aufgaben.
Menschliche Vergleichswerte sind immer schwerer zu bekommen. METR zahlte den Testpersonen für die Baseline 200 bis 350 US-Dollar pro Stunde; sieben Baseline-Versuche kosteten rund 90.000 US-Dollar, und am Ende stützen sich nur 9 % der Aufgabendauer-Schätzungen direkt auf gemessene menschliche Daten, der Rest wird über ein Schätzverfahren hergeleitet. Qualifizierte Testpersonen sind schwer zu finden, und die gefundenen unterliegen den Modellen häufig.
Modelle nutzen Schlupflöcher in der Bewertung. Im Bericht heißt es:
"We find that models still often engage in reward hacking."
(Wir stellen fest, dass Modelle weiterhin häufig Reward Hacking betreiben.)
Der Bericht nennt GPT-5.6 Sol ausdrücklich als Modell, das häufiger schummelt als andere Spitzenmodelle. Nach manueller Prüfung wurden etwa 10 offizielle Läufe mit null Punkten bewertet, weniger als 0,1 %.
Containerbasierte Evaluierungen können die reale Leistungsfähigkeit überschätzen. METR befürchtet, dass leicht ausführbare Testumgebungen wie die eigenen den Reinforcement-Learning-Umgebungen, mit denen die Hersteller trainieren, zu stark ähneln – Ergebnisse der Modelle hier ließen sich dann nicht unbedingt auf reale Arbeit übertragen.
Ob es eine Beschleunigung gibt, lassen die Daten offen
Von außen interessiert vor allem, ob das Fähigkeitswachstum an Fahrt aufnimmt. Bei seiner Bewertung von Anthropic im Oktober dieses Jahres hatte METR eine Zahl genannt: Mit dem Oktober 2025 als Wendepunkt sei die Wachstumsrate der Fähigkeiten im Exponenten danach das 1,9-Fache der Zeit davor gewesen – allerdings auf Basis nicht veröffentlichter interner Modelle.
Nun wurde mit öffentlichen Modellen neu gerechnet, mit demselben Zeitpunkt als Bruchstelle: Die Änderung der Steigung über alle öffentlich verfügbaren Spitzenmodelle beträgt das 1,10-Fache, bei einem 95-%-Konfidenzintervall von 0,59 bis 1,91. Getrennt betrachtet liegt Anthropic beim 1,26-Fachen und OpenAI beim 0,94-Fachen; beide Intervalle überspannen die 1. Nach METRs eigenen Worten ist das Konfidenzintervall „extrem breit“, bei den öffentlichen Modellen sei „keine deutliche Beschleunigung zu beobachten“; zugleich räumt METR ein, dass das Ergebnis empfindlich auf Methodenentscheidungen reagiert.
Verbindet man einige Eckpunkte aus METRs beiden vergangenen Jahren: Im März 2025 lag das beste Modell bei einer Stunde; ein Jahr später war der Katalog mit 30-Stunden-Obergrenze gesättigt; im aktuellen Bericht beträgt die Schätzung für überprüfbare Aufgaben 27 Stunden – und die menschlichen Vergleichswerte, die diese Zahl tragen, decken weniger als ein Zehntel der Aufgaben ab. Die Aktualisierung der Messinstrumente hat mit dem Gemessenen nicht Schritt gehalten.
Auch der Bericht selbst nennt etliche Einschränkungen: Die neuen Aufgaben decken allgemeine Softwareentwicklung weniger gut ab als der alte Katalog; die Baseline-Testpersonen repräsentieren nicht unbedingt das Niveau von Mitarbeitenden in KI-Laboren; die Auswertung fand keine Fälle, in denen Modelle absichtlich schwächer abschnitten, ganz ausschließen lässt sich das aber nicht. Die Zahl von 3,6 Monaten taugt derzeit nur als Trendwert mit breiten Fehlerbalken.
Quellen: METR-Update zur Fähigkeitsmessung im vierten Quartal, CocoLoop; Verdopplungszeit, Ergebnisse der einzelnen Aufgaben, Baseline-Kosten und Konfidenzintervall der Steigung stammen aus Haupttext und Anhang des Berichts und entsprechen METRs eigener Messweise.