AstraとSol、出力速度が毎秒50トークンに向上

OpenAIは、サブスクリプション製品におけるGPT-6 AstraとGPT-6.1 Solの既定出力速度を一段階引き上げた。Codex担当責任者のThibault Sottiaux氏は10月5日、SNS上で両モデルの既定速度が全体で約50%向上し、出力レートが毎秒約30トークンから約50トークンに上がったと発表した。対象はOpenAI自社の全製品に加え、「Sign in with ChatGPT」経由で連携するすべてのパートナーアプリに及ぶ。

ユーザー側で設定を変更する必要はない。Sottiaux氏によれば、更新は2時間以内に全ユーザーへ順次反映される。

翌日に差し出された「改善」

今回の高速化のタイミングは偶然ではない。10月4日、Sottiaux氏はCodexチームに対し28日間の公開期限を設定していた。内容は、Codexおよび ChatGPT Workの大多数のユーザーが明確に実感できる改善を毎日1つ発表するか、それができなければ全ユーザーの利用量を完全リセットするというものだ。

速度向上は「大多数のユーザーが実感できる」という基準にぴたりと当てはまる。コーディング、情報収集、エージェントタスクのいずれにも効果があり、特定の用途を選ばない。ユーザーが新機能を学ぶ必要もないため、毎日何かを発表し続けるという約束の中では、こうした改善が最も評価されやすい。

対象範囲はChatGPT単体よりも広い。Sottiaux氏が名前を挙げたパートナーには、オープンソースのコーディングツールOpenCodeのほか、Pi、Amp、CognitionのDevinが含まれる。これらのプロダクトはユーザーがChatGPTのサブスクリプションでそのままログインできる仕組みで、消費されるのはサブスクリプション側の利用枠であり、API課金は発生しない。そのため、サブスクリプション側の高速化がそのまま反映される。

30から50、計算上は半分以上の向上

公式発表の見出しは「約50%」としているが、示された毎秒30トークンから50トークンという数字で計算すると、増加率は約67%になる。この2つの数字の違いについて、Sottiaux氏は説明していない。考えられる可能性の一つは、50%という数字が最初のトークンが出るまでの待ち時間なども含めた全体的な体験を指しており、生成フェーズだけを見れば3分の2の高速化になるというものだ。

ユーザーが実際に感じる時間に換算すると、おおよそ次のようになる。

これはモデルが文字を生成する時間のみを計算したものだ。エージェントタスクにはツール呼び出し、テストの実行、ネットワーク待機などの時間も含まれ、この部分は速度向上の影響を受けない。そのため、実際にタスクを完了するまでの短縮率は、この表の数字より小さくなる。

トークナイザーとトークン消費量

Sottiaux氏はさらに、両モデルが最適化されたトークナイザーを採用し、同じタスクを完了するのに必要なトークン数も減ったと述べている。具体的にどの程度減ったかについて、OpenAIは数字を示していない。

この点は、サブスクリプションユーザーにとって速度向上よりも直接的な影響を持つ可能性がある。CodexとChatGPT Workの利用枠はトークン消費量に基づいて計算されるため、同じタスクで使うトークンが減れば、同じ利用枠でより多くの作業ができる。逆に、速度向上そのものは利用枠を変えるものではなく、出力が速くなった分、ユーザーは5時間ウィンドウの上限に早く達するだけだ。複数のメディアが報道でこの点を特に指摘している。

GPT-6.1 Solは9月29日のDevDayで発表された際、サードパーティのテストで、同じタスクを完了するのに前世代より10%から30%多くの出力トークンを消費することが分かっていた。新しいトークナイザーがこの差をどこまで相殺できるかは、改めて独立したテストが行われるまで分からない。

APIサイドはいまのところ変化なし

両モデルの役割分担は明確だ。GPT-6 Astraはフラッグシップモデルで、APIの標準価格は入力トークン100万あたり10ドル、出力トークン100万あたり50ドル。GPT-6.1 Solはコーディングエージェントとコンピュータ操作を主な用途としており、入力2ドル、出力10ドルで、いずれもAstraの5分の1の価格に設定されている。今回のサブスクリプション側の高速化は、両モデルに同時に適用される。

今回の調整が及ぶのは、あくまでサブスクリプション製品における既定速度のみだ。APIユーザーはトークン単位で料金を支払っており、API側の速度が同様に変化するかどうかについて、Sottiaux氏の発言では触れられておらず、OpenAIのAPIドキュメントにも関連する更新は見られない。

参考資料：Thibault Sottiaux氏のSNS公開発言、CocoLoop、RuntimeWire、Crypto Briefing。出力レートは公式が示した毎秒トークン数に基づき、増加率および所要時間はこの数値から推算したもの。