Opus 5.5がText Arena首位に、1509点

モデル評価プラットフォームArenaは北京時間9月27日未明、Claude Opus 5.5（High）がText Arenaに初登場と同時に首位に立ち、スコア1509を記録したと発表した。前世代のOpus 5（High）より18点高く、Opus 5（High）は現在11位にとどまっている。

Text ArenaはArena最古のランキングで、ユーザーは匿名の2モデルの回答を同時に見て、より優れた方に投票する仕組みになっている。プラットフォームはその投票をElo方式に近い手法でスコアに換算する。累計投票数は850万票を超え、文章作成、プログラミング、数学、日常的な質問応答など幅広い分野をカバーしている。

上位6位を独占するAnthropic

今回の更新で、Text Arenaの上位6位はすべてAnthropicのモデルが占めた。Arenaの公式ランキングページによると、順位は以下の通り。

7位はMetaのMuse Spark 1.2（xHigh）で1496点。Googleの最上位は10位のGemini 3.8 Flash（High）で1492点だった。上位15位以内に入ったのはAnthropic、Meta、Googleの3社のみで、OpenAIが9月22日に発表したばかりのGPT-6シリーズはこの範囲に見当たらない。

ArenaはOpus 5.5をText Arenaのコストパフォーマンスのフロンティア上にも位置付けた。入力・出力価格を加重平均すると、混合単価は100万トークンあたり16ドルとなる。AnthropicがOpus 5.5に設定したAPI価格は入力4ドル、出力20ドルで、いずれもOpus 5よりおよそ5分の1安い。

投票数はまだ少なすぎる

1位と6位の差はわずか11点で、Opus 5.5自身の信頼区間は±12点。つまり1位から6位までは、統計的にはまだ優劣をつけられない状態にある。

原因は投票数の少なさだ。Opus 5.5は公開から1週間未満で、投票はまだ2307票しか集まっていない。すぐ後ろにつけるOpus 4.6（High）は7万6000票以上あり、区間は±3点まで狭まっている。新モデルが登場した直後は区間が広く、スコアが変動しやすいのはArenaでは常態で、今後数週間でスコアが上がるか下がるかは分からない。

Arenaは発表の中で「初登場で首位に立った」とだけ述べ、分野別の順位は明らかにしていない。プログラミング、数学、創作文章の各サブランキングでOpus 5.5が何位につけているかは、現時点で非公表だ。

旧モデルより順位が低いOpus 5

このランキングでより興味深いのはOpus 5だ。リリース順で見ればOpus 4.6や4.7より新しいにもかかわらず、Text Arenaでは11位にとどまり、Opus 4.6（High）に14点、同世代のFable 5（High）にも13点差をつけられている。

Text Arenaが測っているのは匿名同士の比較でユーザーがどちらの回答を好むかであり、問題を正しく解けるかどうかとは別の指標だ。回答の長さや口調、フォーマットも投票結果に影響するため、推論能力で優れたモデルでも、回答が冗長だったり説明書のような書き方だったりすれば選好投票で負けることがある。

Anthropicは今回の世代で文章表現に力を入れている。同社のエンジニアは以前、Claudeの文章が悪化した理由について、強化学習の報酬配分がAI読者に向けて書くような文章を助長したためだと公に説明していた。Opus 5.5は文の明瞭さを狙って調整した最初のバージョンだという。Opus 5.5がOpus 5より18点高いスコアのうち、どれだけがこの文章調整によるもので、どれだけが能力そのものの向上によるものかは、Arenaのデータからは切り分けられず、Anthropicも対応する評価結果を公表していない。

世代を並べて見ると、Opus 4.6と4.7は今も上位4位以内にとどまり、Opus 5はリリース後に首位を引き継げず、ようやくOpus 5.5が新しい顔を1位に押し上げた形だ。目下のところ、この選好ランキングにおけるAnthropicの主なライバルは、自社の旧バージョンということになる。

参考資料：Arena公式アカウント、Arena Textランキング、CocoLoop、Anthropicモデル価格ページ。スコア、信頼区間、投票数は執筆時点のArenaページの数値による。