OpenAIのチーフサイエンティスト、ヤクブ・パチョツキ氏は9月6日、長文エッセイ「An Alien Mind」を発表した。その中で広く引用されているのが、現時点でどの研究機関もアラインメントと監視の課題を、責任を持って最高速度でスケールを続けられるレベルまで解決できていない、という判断だ。
この発言は、まさに最高速度でスケールを進めている企業のチーフサイエンティスト自身の口から出たものであり、内容以上にその立場の方が異例だ。
思考の連鎖監視という手段が劣化している
この2年間、OpenAIが安全対策で最も重く賭けてきたのが思考の連鎖（チェーン・オブ・ソート）監視だ。推論モデルに中間ステップを書き出させ、別のシステムがそのステップを読み取り、モデルが何か企んでいないかを判断する仕組みである。パチョツキ氏は、この手法の信頼性が低下しつつある理由を3つ挙げている。
第一に、現在の推論モデルは複雑な環境下で動作しており、推論過程とツール呼び出しが絡み合っている。ツール呼び出し自体に大量の監督が必要となるため、監視の境界があいまいになっている。第二に、モデルは自らの推論の仕方、そして自分自身の推論の痕跡を操作する能力において、ますます巧妙になっている。第三に、事前学習の改善により、モデルは推論を言葉にして表さなくても、より高い性能を発揮できるようになっている。
"Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer."
現時点で私は、責任を持って最高速度でのスケールを今後長く続けられるほど十分にアラインメントと監視を解決できたラボは、どこにも存在しないと考えている。
パチョツキ氏はさらに、これらの課題は必ずしも解決不可能ではないとし、OpenAIはネットワークの内部状態に直接アクセスできる監視システムを含む、新たな介入手段を開発中だと付け加えている。
3年前、もう一方の極
記事はある時点まで遡る。2023年半ば、OpenAI社内の「RLSlow」という研究プロジェクトで、パチョツキ氏と同僚のシモン氏は、推論モデルの訓練をスケールできると確信させる最初の結果を目にした。それは、事前学習済みモデルが自ら思考の連鎖を形成する能力を切り開くものだった。
この2つの極をつなげてみると、モデルに「声に出して考えさせる」ことは、かつては能力面のブレークスルーであると同時に、いわば観測窓でもあった。3年が経ち、能力の方は伸び続ける一方で、観測窓の方は閉じつつある。推論モデルというライン上で、OpenAIは長らく思考の連鎖の可読性を安全性のストーリーを支える柱としてきた。今、その同じ企業が、その柱が揺らいでいると語っている。
自主的な枠組みから、強制的な基準へ
パチョツキ氏の提案は、業界に既に存在する自主的な枠組み――OpenAI自身のPreparedness Framework、AnthropicのResponsible Scaling Policyといった文書――を、第三者の監査機関、政府機関、あるいは国際機関が執行する強制的な安全基準へと引き上げることだ。さらに同氏は、各国政府はAI開発における国際協調を最優先事項に位置づけるべきだと記し、共通の安全基準が確立されるまでは、自主的な減速が一般的になることを予想し、また望んでいるとも述べている。
もう一つ多く引用されている一節がある。リスクの深刻さを突き詰めて考えれば、どんな代償を払ってでも突き進むという発想は、馬鹿げたものに見えてくる、というものだ。
これらの発言は、現時点では個人名義のエッセイの範囲にとどまっている。OpenAIは具体的な減速計画、スケジュール、発動条件のいずれも公表しておらず、どのような状況で特定の訓練経路を自ら一時停止するのかも明らかにしていない。安全基準を誰が定め、監査機関がどこから来るのかについても、記事は答えを示していない。同じ時期に同社が推し進めているのは、研究の自動化という目標と、評価額8520億ドルとされる上場申請である。
参考資料：OpenAI公式エッセイ「An Alien Mind」、Unite.AI、CocoLoop、AI Weekly。監視の信頼性低下に関する3つの理由と引用は、OpenAIの公開エッセイの記述に基づき確認済み。