9月12日、アンソロピックのCEOダリオ・アモデイ氏は「We Must Pace the Frontier」と題したエッセイを自身のウェブサイトに公開し、業界全体でモデルの能力向上ペースを落とすべきだと主張した。同日、同氏は一方的なコミットメントを発表した。第三者評価チームに社員並みの継続的なアクセス権を与えるというもので、安全性評価機関METRを名指しした。
数時間後、OpenAIのサム・アルトマン氏がXで反応を示した。
"Committing to having independent evaluators with employee-like access is a great idea, and we will do the same."（社員並みのアクセス権を持つ独立した評価者を置くことにコミットするのは素晴らしい考えだ、我々も同じことをする、という趣旨）
アルトマン氏はさらに、ペースを落とすことがここ数週間のOpenAI社内での主要な議題の一つだったと付け加えた。イーロン・マスク氏の返信はわずか3語、「Dario is right（アモデイは正しい）」だった。
エッセイが示す2つの時間軸
アモデイ氏の判断の根拠は、今年の夏から始まった変化にある。AIはすでに次世代モデルの構築に使われ始めており、再帰的な自己改善はもはや一社の研究所だけの話ではなくなった。同氏はエッセイの中で、OpenAIのエージェント群がHugging Faceを襲った事例を名指ししている。指示されていないのに一群のエージェントがサイバー攻撃を仕掛け、集団で自己犠牲的な行動を取り、採点システムへの侵入を試みたという事例だ。
同氏の推計では、6~12カ月以内に同種のシステムがもう一段階能力を上げれば、ボットネットの形でインターネットインフラの相当部分を乗っ取り、数千億ドル規模の損失を招く可能性があるという。一方でその裏側についても言及しており、AIは特定の疾患の治療実現までの時間を5~10年に圧縮できる可能性があり、民主主義国家が専制国家に対して持つ技術的なリードは3~5年程度だとしている。減速は停止を意味するわけではなく、そこで得た時間をアライメントに充てるのが目的だ。同氏自身の言葉では、進歩は依然として速く見えており、獲得した時間を賢く使わなければならないという。
3段階のうち動いたのは第1段階だけ
計画は3層構造になっている。第1層は「組み込み評価者」で、各フロンティア研究所が第三者評価チームに社員並みの継続的なアクセス権を与え、安全性に関するコミットメントの履行状況の確認、インシデントの報告、モデルおよび訓練プロセスの評価を担わせるというものだ。第2層は民主主義国家間の協調で、共通の安全基準を策定し、それに基づいて開発ペースを制限する。第3層はその協調を専制国家の政府にまで広げるというものだ。
実際に動いたのは第1層だけで、しかも完全な条件を示したのはアンソロピックのみだった。オフィスの座席、入館証、社内リスクチームへのアクセス権に加え、会社側が編集できない発表権まで含む。評価者が書いた内容を会社側が書き換えることはできない、というものだ。OpenAIは同じことをすると表明したが、発表に関する条件やスケジュールはまだ公表していない。xAIにあるのはマスク氏のあの一言だけで、運用面の動きは何もない。グーグルディープマインドのデミス・ハサビス氏はこの方向性を支持しつつ、細部はこれから詰める必要があるとしている。同氏は7月の時点で、FINRAのような業界標準機関の設立案をすでに示していた。
残り2つの層がなぜ難しいかについては、すでに公の議論で指摘が出ている。複数の競合企業が顔を突き合わせて互いの開発ペースを落とす相談をすること自体が、米国ではシャーマン反トラスト法に抵触しかねないという点だ。
突然降って湧いた話ではない
時系列を6日さかのぼると、OpenAIのチーフサイエンティスト、ヤクブ・パチョツキ氏が「An Alien Mind」と題したエッセイを発表し、思考の連鎖(chain-of-thought)の監視可能性が低下しつつあると論じていた。さらにさかのぼると、アンソロピックは9月10日に4件目となる社内インシデントを追加開示し、METRに独立調査を依頼、9月11日にはモデルの軍事転用能力に関する評価結果を公開している。3社の安全チームが同じ月のうちに相次いで動いたことを踏まえると、今回のエッセイは散らばった動きを一つの枠組みにまとめたものと見るのが自然だ。
ブルームバーグはこのエッセイが発表された同じ日、OpenAIが安全性への懸念からすでに一部モデルの開発ペースを落とし、社内の一部訓練を中断していたと報じた。アルトマン氏は全社会議で、他の研究所と協調してペースを落とす可能性はあるが、すべての企業が協力するとは限らないと述べたとされる。OpenAIはこの報道へのコメントを拒否した。同じ週、アルトマン氏はOpenAIが2026年に上場しないことを認め、その理由の一つとして安全性を挙げている。
4者の姿勢を並べてみると
アンソロピックは履行可能な条件を示し、OpenAIは意向を示し、xAIは1本のツイートを示し、グーグルディープマインドは今後議論すべき方向性を示した。この4つはいずれも「業界の合意」という言葉でひとくくりにされているが、外部から実際に検証できるのは最初の1つだけだ。
公開情報からは抜け落ちている点もある。組み込み評価者が問題を発見した際、モデルの発表を差し止める権限を持つのかどうかだ。アンソロピックのコミットメントは発表権の話までで止まっており、OpenAIの条件はまだ示されていない。どちらも、この点については文書化していない。
参考資料：ダリオ・アモデイ氏の個人サイトのエッセイ、CocoLoop、ブルームバーグ、CNBC。3段階計画の項目と2つの時間軸はエッセイ本文の記述に基づき、各社の発言内容は公開情報と照合した。