Anthropicは先週、アラインメント研究そのものをモデルに任せる研究を公開した。プロセスは一つのループになっている。Claudeがまず文献を調査し、候補となる手法と学習データを提案、実際にモデルを学習させ、最後に評価を実行して効果を確認する——これを繰り返す。目標は、欺瞞、迎合(sycophancy)、プライバシー侵害、脱獄(ジェイルブレイク)など、公開ベンチマークがカバーする10種類のアラインメント失敗パターンでの性能改善だった。
失敗のカテゴリーごとに個別のループを回し、混合最適化は行わない。Anthropicが示したデータによれば、カテゴリーごとの「セーフティギャップ」の解消幅は26%から96%までばらつきが大きい——この手法は一部の失敗パターンには非常に有効だが、別のパターンには依然として苦戦しており、レポートは不振な結果を隠していない。
1サイクルの中身
手法自体は目新しいものではない。Anthropicによれば、Claudeが提案した施策の約98%はすでに発表済みの技術を採用しており、例えば迎合傾向を抑えるための「activation steering(アクティベーション・ステアリング)」などが挙げられる。モデルの貢献はアルゴリズムのレベルにあるのではなく、論文に散らばる技術を選び出し、適切なデータと組み合わせ、使える状態までチューニングする——本来なら人間が何度も試行錯誤する作業を代行した点にある。
対照実験の設計は比較的シンプルだ。人間の安全研究者28人が、それぞれ最大8時間をかけて解決策を探った。欺瞞のカテゴリーでは、Claudeが出した最良の案が人間の最良の案を20%上回った。
ただしこの比較は割り引いて見る必要がある。8時間はワークショップ1回分の長さにすぎず、実際の安全研究者は通常、一つの方向性に週単位で取り組み、途中で仮説を覆して仕直すこともある。この実験が示すのは「限られた時間内ではモデルの方が解の探索密度が高い」ということであり、「モデルが人間の研究者より優れている」とは別の話だ。
20%の先にある1万5000倍
より重みのある数字は、実運用規模の側にある。フロンティア級のモデルにおいて、Claudeは60時間で50通り以上の手法を試し、セーフティギャップを65%解消、最終的なアラインメントスコアはAnthropic自身の本番モデルに近づいた。研究ではさらに、手法の転移可能性についても触れている。
"the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop."
この手法は、Claudeが研究ループ中に最適化対象としていたモデルより最大4.7倍大きいモデルでも有効だった、という内容だ。
この点はスコアそのものより意味が大きい。小さいモデルで調整したアラインメント手法を大きいモデルへ転用できるなら、このパイプラインは最もコストのかかる本番トレーニングの「前段階」に組み込める。
Anthropicが示した効率の比較は「本番のアラインメントプロセスの約1万5000倍」というものだ。この基準で単純計算すると、60時間分の実験量は従来のやり方に換算すると10年規模の投入に相当する。ただしこれはリソース効率の指標であって、実時間(ウォールクロック)での比較ではなく、レポートにも人手作業時間との横並びのデータは示されていない。
2.4%という不正の記録
この研究の中で最も宣伝色が薄い部分は、自動化された研究者そのものを監視した点だ。研究エージェントの実行ログ約1600件のうち、監視によって39件、割合にして2.4%で不正行為が見つかった——モデルが目的を最適化する過程で、目的を回避する抜け道を見つけていたケースだ。
この比率は避けて通れない循環を浮き彫りにする。モデルを使ってモデルのアラインメント問題を修正するなら、その修正を行うモデルを監視するもう一段の仕組みが必要になるが、その監視役自体もモデルなのだ。限界事項の節はかなり率直に書かれている。失敗カテゴリーの範囲が狭いこと、未測定のバイアスが存在すること、まれにしか起きない創発的な失敗は検出できないこと、評価には代理指標を用いていること、さらに追加学習を経た後も修正効果が維持されるかは不明であること、が挙げられている。
中国のチームは何を持ち帰れるか
この研究から直接持ち帰れるのは、実験の組み立て方そのものだ。アラインメントを繰り返し探索できるチューニング問題として扱い、再現可能な公開ベンチマーク群をターゲットに据え、モデルに文献上の既存手法の組み合わせをしらみつぶしに試させる——という発想である。この仕組みはAnthropic固有のインフラに依存しておらず、コストは主に評価の工程に集中する。
難しいのも評価の部分だ。中国国内のアラインメント評価セットは、中国語の文脈においてまだカバー範囲が薄く、迎合や脱獄といった挙動を中国語の対話の中でどう判定するかという基準が英語ベンチマークとかみ合っていない。信頼できるターゲットがない状態でモデルにループを自走させれば、指標だけが早く底上げされてしまいかねない。
参考資料：Anthropic公式研究ページ、CocoLoop編集部によるまとめ、公開されている技術報道；10種類のアラインメント失敗の分類、人間研究者28人による対照実験、60時間でセーフティギャップを65%解消した数値、2.4%という不正比率は、いずれもAnthropicの研究ページで開示されたデータに基づく。