OpenAIでCodexを統括するThibault Sottiaux氏(愛称Tibo)は10月11日深夜、Xで、CodexおよびChatGPT WorkでGPT-6.1 Solを使う際の既定コンテキスト長を27.2万トークンから50万トークンに引き上げたと発表した。本人の説明では増加率は約80%にあたる。
これはCodexチームの「28日連続アップデート」企画の7日目にあたる。企画は10月4日に発表され、毎日、多くのユーザーに役立つ改善を一つ公開するか、全員を対象に利用枠をリセットするというルールだ。
何が変わったのか
Sottiaux氏が挙げた理由は一つだけで、コンテキスト圧縮(compaction)の発生回数を減らすことだ。Codexのエージェントは長いタスクの中で、ファイルの内容やコマンドの出力、ツール呼び出しの記録をコンテキストに積み続ける。ウィンドウが埋まると、システムは古い内容を圧縮しなければ先へ進めない。その代償として細部が失われ、エージェントが先に読んだ関数シグネチャやエラーメッセージを忘れてしまうことがある。
"It was carefully tested and is the new sweet spot for most of our users."
(慎重にテストした値で、多くのユーザーにとって新しい最適点だ。)
新しい既定値は手動で上げ下げできる。投稿で示された上限は100万だが、OpenAIのモデルページに載るGPT-6.1 Solの全ウィンドウは105万トークン、最大出力は12.8万トークンだ。同氏は "We will go higher in the future" とも付け加えたが、時期は示していない。
この変更はサブスクリプション利用者には追加料金がかからない、と伝える報道がある。Sottiaux氏の投稿自体は料金に触れておらず、既定ウィンドウが大きくなると週ごとの利用枠の消費が速まるのかについても、OpenAIは現時点で公式に説明していない。公式の今後の利用量に関する説明を待つ必要がある。
27.2万という数字の由来
旧既定値の27.2万は、適当に決められたものではない。OpenAIのモデルページによると、GPT-6.1 SolへのAPIリクエストで入力が27.2万トークンを超えると、入力全体とキャッシュ入力が2倍、出力が1.5倍で課金される。標準価格が100万トークンあたり入力2ドル、出力10ドルなので、このラインを越えると入力は約4ドル、出力は約15ドルになる計算だ。
既定値と割増の閾値がぴたりと重なることから、旧設定は長いコンテキストによる費用からユーザーを守るためのものだったのではないかとする分析もある。Sottiaux氏はこの点を確認していない。サブスクリプション利用者はトークン単位ではなく利用枠で支払う仕組みで、二つの課金体系がどう換算されるのかは外部からは見えない。
最近の動きをつなげてみる
ここ2か月、Codexのコンテキスト管理は動き続けている。
- 9月初め、openai/codexリポジトリにいくつかのプルリクエストがマージされた。セッションが満杯になっても要約を生成せず、新しいウィンドウを開き、履歴検索ツールを組み合わせてモデル自身に過去の記録をたどらせる方向だ。
- 9月30日、あるユーザーがGitHubに、Codexデスクトップ版で新しいスレッドを立てて「OK」と一言返しただけで、GPT-6.1 Solのコンテキスト使用量が約20.8万 / 25.8万に達したと報告した。同じ条件のGPT-6 Solは約4万だった。報告者自身も、増えた分のトークンが実際にモデルへ送られたのか、表示の誤りなのかは判断できないとしている。この問題は10月8日に完了として閉じられ、ページ上にOpenAI社員の返信はない。
- 10月11日、既定ウィンドウが50万に引き上げられた。
三つを並べると、Codexは圧縮の仕組みを見直しつつウィンドウも拡大しており、どちらも長いタスクでエージェントが「忘れる」という同じ症状に向かっている。今回の調整とその問題報告に直接の関係があるのかどうか、公式は説明していない。新しいスレッドの開始時点で20万トークン超を消費する状況がなお続いているなら、旧設定の25.8万という使用可能領域は作業を始めてすぐ底をつく。50万になれば余裕はかなり大きくなる。
中国の開発者にとっては、Codexの利用にはChatGPTの有料アカウントが必要だ。今回の変更が及ぶのはCodexとWorkの二つの入口でのGPT-6.1 Solだけで、APIを直接呼び出すプロジェクトには影響しない。コンテキスト長は引き続きリクエスト側が決め、課金の閾値も変わっていない。
参考資料:Thibault Sottiaux氏のSNS投稿、OpenAIのGPT-6.1 Solモデルページ、CocoLoop、FourWeekMBA。openai/codexリポジトリのイシューで新規スレッドのコンテキスト使用量の数字を、モデルページでウィンドウ上限と長文脈の課金倍率を確認した。