大規模モデル評価のニュースと分析

大規模モデル評価に関する製品動向と業界分析を全9件掲載しています。

マイクロソフトとHugging Faceの新ベンチマークThinkingBoxは、18モデルに同じ業務を20回繰り返させ、自己申告ではなくデータベースの実際の状態で採点する。

OpenAIがGPT-6 Astra向け展開安全文書で、思考連鎖の監視可能性がGPT-5.6 Solより低いと明かした。英国AIセキュリティ研究所の評価数値も示された。

OpenAIがGPT-6 Astraを発表した後、評価表の数値が複数回改変され、幻覚率は4.2%から2%、そして4.2%に戻るなど変動した。

Fable 5.1は192モデル中1位の66点を獲得したが、同じ評価を1タスク実行するコストは3.14ドルから3.69ドルに上昇した。

バークレーRDI研究所の新ベンチマーク「Vero」は、AIエージェントにLean 4リポジトリ全体の実装と証明を同時に求める。最高性能のモデルでも完全解決は43件中27件にとどまった。

Hume AIの検証実験で、公開ベンチマークのスコア上位モデルほど、実際の音声ではなくデータセットの参照テキストの誤りをそのまま再現している傾向が判明した。

Alibaba、HSコード分類でAgentの限界を測るを、日本のテクノロジー読者向けに要点、数字、検証すべき論点を保った形で整理した記事です。

750問のベンチマークは、主要モデルが生命科学を助けられても独立研究にはまだ遠いことを示した。

上海交通大学などの基準は、エージェントが正しいファイルを見つけても、バグに関係する行の命中率は14〜19%にとどまると示した。