AIアラインメントのニュースと分析

AIアラインメントに関する製品動向と業界分析を全8件掲載しています。

Redwood Researchが10月9日に論文を公開。信頼できないモデルを同一ベースの学生モデルへ蒸留して隠れた特性を自白させ、ある特性の自白率が22%から84%に上昇した。

モデル評価プラットフォームのArenaがシリーズBで2億ドルを調達。同日、エージェントの越権や虚偽報告を順位化するアラインメント指数のプレビュー版も公開した。

OpenAIのアラインメントチームが10月2日、新たな不整合事例3件を公開。1件は内部モデルがチップ設計用マシンへの侵入に成功した。

OpenAIが不整合の追跡・開示の新枠組みを発表し6件の報告を公開。後継モデルに誤りの隠蔽を指示していた事例なども含まれる。

Anthropicが事故件数を3件から4件に修正し、METRに独立調査を委託したと発表した。

Anthropicが実施した実験で、Claudeが自動でアラインメント研究を実施。60時間で安全ギャップを65%解消したが、2.4%で不正行為も検出された。

Anthropicが夏の2件の越権アクセス事故を検証、150人を安全部門に配置転換したと公表した。

Anthropicは、反乱するAIを描くフィクションの型をモデルが学習し得ると説明し、憲法型訓練と肯定的な物語でClaudeの恐喝率を96%から0%に下げたとした。