Fortuneは9月4日、OpenAIがGPT-6 Astraを発表するブログ記事を公開した後、ページ内の評価データが複数回にわたって修正され、一部の指標は変更後に元へ戻されたと報じた。
経緯はインターネットアーカイブのスナップショットを追うことでたどれる。9月3日、米東部時間午後2時にブログが初めて公開された後に一度取り下げられた。午後2時23分に最初のアーカイブスナップショットが残され、午後3時32分にOpenAIのX(旧Twitter)アカウントがリンクを投稿したが、そのリンクは切れていた。午後3時50分にはSam Altmanがリポストし、午後5時20分の6番目のスナップショットの時点で、表内の数値はすでに変わっていた。9月4日になっても数値は動き続けていた。
何が変更されたのか
最も目立って動いたのは幻覚率の欄だ。Astraは4.2%から2.0%に変更され、その後4.2%に戻された。対照として使われたGPT-5.6 Solは12.2%から9.4%に変更され、こちらも12.2%に戻された。両モデルの相対的な位置関係は変わらなかったが、その間に流出した版のスクリーンショットでは、両者の差が実際より半分以下に見えるものになっていた。
数学の欄で変更されたのは、他社モデルのスコアだった。FrontierMath Tier 4 v2において、Astra自身の97.6%は一貫して変わらなかった。AnthropicのFable 5.1は87.8%から78%に修正された後、最終的に83%で落ち着いた。GPT-5.6 Solは83%から80.5%に修正され、こちらも83%に戻された。競合のスコアは一時、約10ポイント近く削られていた。
サイバーセキュリティの分野では、GPT-5.6 SolのExploitBenchスコアが5.5%から11.5%に上方修正された。この数値が後に元へ戻されたかどうかについては、Fortuneの報道時点でも確認作業が続いていた。
このほか、ARC-AGI-3のスコアはエンバーゴ版(禁止版)では98.6%だったが、正式発表版では99.99%と記載されていた。コーディングの欄にも小さな修正があり、57.7%が57.9%に変更されている。
OpenAIの広報担当者はこれについて次のように回答した。"We care deeply about getting evaluations right. Most evaluations have noise within a few percentage points..."(評価を正しく行うことを非常に重視しており、ほとんどの評価には数ポイント程度のノイズが伴うものだ、という趣旨)。
外部の研究者の見方は一致していない。Anka Reuel氏とMike Hardy氏は"This can be done in a very tight timeframe, and it's better for their marketing."(こうした調整は非常に短い時間で行うことができ、マーケティング上も有利になる、という趣旨)と述べた。Snorkel AIのVincent Sunn Chen氏は、より手続き上の説明を支持し、"It's usually a function of final launch logistics."(たいていは発表直前の運用上の都合によるものだ、という趣旨)と述べている。
このスコアはどのような条件で得られたのか
ブログ記事の脚注には"Evaluation scores are the maximum at any effort"(評価スコアは、投入した計算量にかかわらずその中での最高値である、という趣旨)という一文がある。この一文が持つ意味は、表の中のどの修正よりも重い。
ARC-AGI-3の項目は、その差がどれほど大きくなり得るかを示している。Arc Prize Foundation自身が行ったテストによると、強力なharness(実行環境)を組み合わせた場合のスコアは99.9%に達したが、標準的なharnessでは63%にとどまった。同じモデル、同じ問題セットで36ポイントもの差が生じており、その違いは外側の制御コードにある。
中国語圏の読者にとって、この階層の情報は伝播の過程でほぼ失われるのが常だ。このスコア表が中国国内に伝わる頃には、残るのはたいてい数値とランキングのスクリーンショットだけで、harnessの設定やeffortの段階、評価バージョン番号は伝わらない。一般ユーザーが実際に触れるのは、製品化されたChatGPTやAPIのデフォルト設定であり、それは"あらゆる投入量の中での最大値"とは何層も隔たっている。
Fortuneはまた、OpenAIのシステムカードには詳細な評価方法論の文書が欠けており、これが外部による再現実験を難しくしていると指摘している。これら一連の修正を誰がどのような根拠で主導したのかについては、公開資料に説明はなく、OpenAIの回答でもその点には触れられていない。
確認できるのはアーカイブだけ
今回の一件で唯一確かな証拠は、インターネットアーカイブに残された6枚のスナップショットだ。それらは数値が変わったこと、いつ変わったのか、何に変わったのかを証明できるが、変更の動機までは証明できない。
発表当日の評価表をニュースの事実として引用することは、業界内でごく当たり前に行われてきた。今回のAstraの記録が示すのは、引用する際にはスクリーンショットを取得した時刻も併記した方がよい、ということだ。
参考資料：Fortune、CocoLoop、Arc Prize Foundation、OpenAI公式ブログ。Fortuneの報道で各スナップショットの時刻および幻覚率、FrontierMath、ExploitBench、ARC-AGI-3各項目のスコアの変遷を確認し、OpenAIのブログページでスコアの算出基準に関する免責事項の原文を確認した。