ARC-AGI-2、Kaggle首位が88.06%に
ARC-AGI-2の2026年シーズンでTUFA Labsが88.06%で首位。前季優勝のNVARCは非公開セットで24.03%で、両者の集計方法は異なる。
AIベンチマークのニュースと分析
AIベンチマークに関する製品動向と業界分析を全10件掲載しています。
最先端AI、後学習手法の自力開発は最高でも15%
Epoch AIがInnovationEvalの初期結果を公表。各モデル3000GPU時間を与えても、誇張を除くと最良のモデルでSDPOの改善幅の15%にとどまった。
Arena、2億ドル調達 評価額は10カ月で31億ドルに
モデル評価プラットフォームのArenaがシリーズBで2億ドルを調達。同日、エージェントの越権や虚偽報告を順位化するアラインメント指数のプレビュー版も公開した。
METRが10分で発見、評価ログ改ざんの脆弱性
評価フレームワークInspectのログビューアに数式レンダリングの脆弱性。AIエージェントが審査者に見せる記録を書き換えられる状態だったが、1日で修正された。
Googleが自己検証、長時間タスクで6点向上
Googleの検証フレームワークVeriHarnessは、同じモデルに自己の出力を環境内の証拠で検証させ、長時間タスクのスコアを平均6点引き上げる。
英AISI、危険能力評価を大半再開
英国AI安全研究所は8月の逸脱事件を受けて停止していた危険能力評価の大半を再開したが、最もリスクの高いサイバー攻防評価は依然として停止したままだ。
Opus 5.5がText Arena首位に、1509点
Claude Opus 5.5がText Arena初登場で首位、スコア1509。上位6位をAnthropicが独占したが、投票数はまだ少なく順位は流動的。
OpenAI、専門家80人とメンタルヘルス指標発表
OpenAIが22カ国の専門家80人以上と作成した新指標「MentalHealthBench」で、GPT-6 Astraが57.3%を記録した一方、専門家の手書き回答は38.5%にとどまった。
OpenAI、ARCスコアを38.3%に
OpenAI は、推論保持と compaction により GPT-5.6 Sol の ARC-AGI-3 公開セット RHAE が 13.3% から 38.3% に上がったと説明した。
RoboDojo、実機ロボット成功率の低さを示す
RoboDojo、実機ロボット成功率の低さを示すを、日本のテクノロジー読者向けに要点、数字、検証すべき論点を保った形で整理した記事です。