Codex setzt Sol-Standardkontext auf 500.000 Token

Thibault Sottiaux (Tibo), bei OpenAI für Codex verantwortlich, hat am späten Abend des 11. Oktober auf X angekündigt, dass die Standard-Kontextlänge von GPT-6.1 Sol in Codex und ChatGPT Work von 272.000 auf 500.000 Token steigt. Nach seinen eigenen Worten ist das ein Plus von rund 80 Prozent.

Es ist der siebte Tag im Programm „28 Tage am Stück“ des Codex-Teams. Das Programm wurde am 4. Oktober vorgestellt; seine Regel lautet, dass jeden Tag entweder eine Verbesserung erscheint, die für die meisten Nutzer relevant ist, oder für alle das Kontingent zurückgesetzt wird.

Was sich geändert hat

Sottiaux nennt nur einen Grund: Die Kontextkomprimierung (Compaction) soll seltener nötig werden. Bei langen Aufgaben schaufelt der Codex-Agent fortlaufend Dateiinhalte, Befehlsausgaben und Werkzeugaufrufe in den Kontext. Ist das Fenster voll, muss das System ältere Inhalte komprimieren, um weiterzumachen. Der Preis sind verlorene Details: Der Agent kann etwa die Signatur einer zuvor gelesenen Funktion oder eine bestimmte Fehlermeldung vergessen.

"It was carefully tested and is the new sweet spot for most of our users."
(Der Wert wurde sorgfältig getestet und ist der neue Sweet Spot für die meisten unserer Nutzer.)

Der neue Standardwert lässt sich manuell erhöhen oder senken. In seinem Beitrag nennt er als Obergrenze 1 Million; auf der Modellseite von OpenAI ist für GPT-6.1 Sol ein volles Fenster von 1,05 Millionen Token mit maximal 128.000 Token Ausgabe aufgeführt. Außerdem schrieb er „We will go higher in the future“, ohne einen Zeitpunkt zu nennen.

Laut Berichten fällt für Abonnenten durch die Anpassung keine zusätzliche Gebühr an. Sottiaux’ Beitrag äußert sich selbst nicht zum Preis, und ob das größere Standardfenster das Wochenkontingent schneller aufzehrt, hat OpenAI bislang nicht öffentlich erklärt; maßgeblich sind spätere offizielle Hinweise zur Nutzung.

Woher die 272.000 kommen

Der alte Standardwert von 272.000 war keine beliebige Zahl. Auf der Modellseite von OpenAI steht, dass bei API-Anfragen an GPT-6.1 Sol mit mehr als 272.000 Eingabe-Token die gesamte Eingabe samt gecachter Eingabe mit dem Doppelten und die Ausgabe mit dem 1,5-Fachen berechnet wird. Grob gerechnet mit dem Standardpreis von 2 US-Dollar je Million Eingabe-Token und 10 US-Dollar je Million Ausgabe-Token wären es jenseits dieser Schwelle etwa 4 US-Dollar für die Eingabe und etwa 15 US-Dollar für die Ausgabe.

Standardwert und Preisschwelle fallen genau zusammen; manche Analysen vermuten daher, die alte Einstellung habe Nutzer vor den Kosten langer Kontexte schützen sollen. Sottiaux hat das nicht bestätigt. Abonnenten zahlen über Kontingente statt pro Token, und wie sich beide Rechnungen ineinander umrechnen lassen, ist von außen nicht ersichtlich.

Die jüngsten Stationen im Zusammenhang

Das Kontextmanagement von Codex ist in den vergangenen zwei Monaten ständig in Bewegung gewesen:

  • Anfang September wurden im Repository openai/codex mehrere Pull Requests übernommen, die in die Richtung gehen, bei vollem Verlauf keine Zusammenfassung mehr zu erzeugen, sondern ein neues Fenster zu öffnen und dem Modell ein Werkzeug zur Verlaufssuche an die Hand zu geben, damit es ältere Einträge selbst durchblättern kann;
  • Am 30. September meldete ein Nutzer auf GitHub, dass in der Desktop-Version von Codex ein neuer Thread, in dem nur „OK“ geantwortet wurde, bei GPT-6.1 Sol bereits rund 208.000 / 258.000 Kontext belegte, während GPT-6 Sol im selben Szenario bei etwa 40.000 lag. Der Melder sagte selbst, er könne nicht beurteilen, ob die zusätzlichen Token tatsächlich an das Modell gingen oder die Anzeige falsch zähle. Das Issue wurde am 8. Oktober als erledigt markiert und geschlossen; auf der Seite findet sich keine Antwort eines OpenAI-Mitarbeiters;
  • Am 11. Oktober wurde das Standardfenster auf 500.000 angehoben.

Zusammen betrachtet ändert Codex einerseits den Komprimierungsmechanismus und vergrößert andererseits das Fenster; beide Wege zielen auf dasselbe Symptom: Der Agent „vergisst“ bei langen Aufgaben etwas. Ob zwischen dieser Anpassung und dem genannten Issue ein direkter Zusammenhang besteht, hat OpenAI nicht gesagt. Falls es weiterhin vorkommt, dass ein neuer Thread schon beim Start mehr als zweihundert­tausend Token verbraucht, war der bisher nutzbare Raum von 258.000 fast sofort ausgeschöpft; mit 500.000 bleibt deutlich mehr Luft.

Für Entwickler in China gilt: Codex setzt ein kostenpflichtiges ChatGPT-Konto voraus. Die Änderung betrifft nur GPT-6.1 Sol in den beiden Zugängen Codex und Work; Projekte, die direkt die API aufrufen, bleiben unberührt, die Kontextlänge bestimmt weiterhin der Anfragende selbst, und auch die Preisschwelle ist unverändert.

Quellen: Ankündigung von Thibault Sottiaux in den sozialen Medien, Modellseite zu GPT-6.1 Sol von OpenAI, CocoLoop, FourWeekMBA; das Issue im Repository openai/codex diente zur Überprüfung der Kontextbelegung neuer Threads, die Modellseite zur Überprüfung der Fenstergrenze und der Aufpreisfaktoren für langen Kontext.