Laut einem Fortune-Bericht vom 4. September wurden die Bewertungsdaten auf der Blogseite, mit der OpenAI sein Modell GPT-6 Astra vorstellte, nach der Veröffentlichung mehrfach geändert – einige Kennzahlen wurden geändert und dann wieder auf den ursprünglichen Wert zurückgesetzt.
Der zeitliche Ablauf lässt sich anhand von Internet-Archiv-Schnappschüssen Schritt für Schritt nachvollziehen. Am 3. September wurde der Blogbeitrag um 14:00 Uhr Ostküstenzeit erstmals veröffentlicht und dann zurückgezogen; um 14:23 Uhr entstand der erste Schnappschuss; um 15:32 Uhr postete der X-Account von OpenAI einen Link, der defekt war; um 15:50 Uhr teilte Sam Altman den Beitrag; beim sechsten Schnappschuss um 17:20 Uhr hatten sich die Zahlen in der Tabelle bereits geändert. Am 4. September bewegten sich die Zahlen weiter.
Was genau geändert wurde
Am deutlichsten veränderte sich die Spalte Halluzinationsrate. Astra wurde von 4,2 % auf 2,0 % geändert und anschließend wieder auf 4,2 % zurückgesetzt; das Vergleichsmodell GPT-5.6 Sol ging von 12,2 % auf 9,4 % und danach ebenfalls zurück auf 12,2 %. Beide Modelle behielten trotz Absenkung und Rücksetzung ihre relative Position zueinander, doch der im Umlauf befindliche Screenshot der Zwischenversion ließ den Abstand um mehr als die Hälfte kleiner erscheinen.
Bei der Spalte Mathematik wurden die Werte der Konkurrenz verändert. Bei FrontierMath Tier 4 v2 blieb Astras eigener Wert von 97,6 % durchgehend unverändert; der Wert von Anthropics Fable 5.1 wurde von 87,8 % auf 78 % gesenkt und blieb schließlich bei 83 % stehen; GPT-5.6 Sol wurde von 83 % auf 80,5 % gesenkt und kehrte danach ebenfalls auf 83 % zurück. Zeitweise wurde der Konkurrenzwert um fast zehn Prozentpunkte gekappt.
Im Bereich Cybersicherheit wurde der ExploitBench-Wert von GPT-5.6 Sol von 5,5 % auf 11,5 % nach oben korrigiert. Ob dieser Wert später wieder zurückgesetzt wurde, war laut Fortune zum Zeitpunkt der Berichterstattung noch in Prüfung.
Außerdem lag der ARC-AGI-3-Wert in der Version vor der Sperrfrist bei 98,6 %, wurde bei der offiziellen Veröffentlichung aber mit 99,99 % angegeben; bei der Programmier-Kategorie gab es eine kleinere Änderung von 57,7 % auf 57,9 %.
Ein OpenAI-Sprecher reagierte darauf mit den Worten: "We care deeply about getting evaluations right. Most evaluations have noise within a few percentage points..." (uns liegt sehr daran, Bewertungen korrekt durchzuführen; die meisten Bewertungen weisen ohnehin ein Rauschen von wenigen Prozentpunkten auf).
Externe Forscher sind sich uneinig. Anka Reuel und Mike Hardy äußerten: "This can be done in a very tight timeframe, and it's better for their marketing." (das lässt sich in sehr kurzer Zeit erledigen und kommt ihrem Marketing zugute). Vincent Sunn Chen von Snorkel AI tendiert dagegen zu einer prozessbedingten Erklärung: "It's usually a function of final launch logistics." (das ist in der Regel eine Folge der Logistik in der letzten Phase vor dem Launch).
Unter welchen Bedingungen kamen diese Werte zustande
Im Fußbereich des Blogbeitrags steht ein Disclaimer: "Evaluation scores are the maximum at any effort" – die Werte entsprechen jeweils dem besten Ergebnis bei beliebigem Rechenaufwand. Dieser Satz wiegt schwerer als jede einzelne Änderung in der Tabelle.
ARC-AGI-3 zeigt, wie groß der Unterschied ausfallen kann. Nach eigenen Messungen der Arc Prize Foundation erreicht das Modell mit einem leistungsstarken Harness 99,9 %, mit einem Standard-Harness dagegen nur 63 %. Dasselbe Modell, dieselben Aufgaben – ein Unterschied von 36 Prozentpunkten, der allein am äußeren Steuerungscode liegt.
Für Leserinnen und Leser im chinesischsprachigen Raum geht diese Ebene der Information bei der Weiterverbreitung meist verloren. Wenn die Bewertungstabelle dort ankommt, bleiben oft nur die Zahlen und Rangfolgen-Screenshots übrig – Harness-Konfiguration, Rechenaufwand-Stufe und Version der Bewertung werden nicht mitgeliefert. Was normale Nutzer in der Praxis tatsächlich erleben, ist dagegen die Standardeinstellung des fertigen Produkts ChatGPT oder der API, die von diesem "Maximalwert bei beliebigem Aufwand" mehrere Ebenen entfernt liegt.
Fortune weist zudem darauf hin, dass OpenAIs System Card keine detaillierte Methodikdokumentation enthält, was eine unabhängige Reproduktion durch Dritte erschwert. Wer diese Änderungsrunden konkret veranlasst hat und auf welcher Grundlage, geht aus öffentlich zugänglichem Material nicht hervor, und auch die Stellungnahme von OpenAI ging darauf nicht ein.
Überprüfbar ist nur, was im Archiv steht
Der einzige harte Beleg in dieser Geschichte sind die sechs Internet-Archiv-Schnappschüsse. Sie belegen, dass sich die Zahlen geändert haben, wann das geschah und wie die neuen Werte lauteten – nicht aber, aus welchem Grund.
Dass die am Veröffentlichungstag gezeigte Bewertungstabelle als journalistisch zitierfähige Tatsache behandelt wird, ist in der Branche gängige Praxis. Der Fall Astra zeigt: Wer daraus zitiert, sollte künftig besser den Zeitpunkt der Erfassung mit angeben.
Quellen: Fortune, CocoLoop, Arc Prize Foundation, offizieller OpenAI-Blog; Fortune verifizierte die Zeitpunkte der einzelnen Schnappschüsse sowie die zeitlichen Änderungen bei Halluzinationsrate, FrontierMath, ExploitBench und ARC-AGI-3, der OpenAI-Blog bestätigte den Originalwortlaut des Disclaimers zur Berechnungsgrundlage der Werte.