ジェイコブ・コクソン(Jacob Coxon)は9月8日に退職し、その理由を自ら公開した。27歳、英国出身でケンブリッジ大学の数学専攻。過去3年間、OpenAI、続いてAnthropicで事前学習の研究に従事してきた。これはモデルの能力を押し上げる仕事であり、アラインメントや安全性評価の担当ではない。
"Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives."
「両社ともに責任ある行動を取っていない。両社は自己改善型の超知能に向かって一直線に突き進み、私たち全員の命を賭けている」
TIMEは9月9日の報道で、投稿が公開から24時間で9000万回以上閲覧されたと伝えた。
懸念しているのはどの段階か
コクソンの懸念は再帰的自己改善という段階に集中している。モデルが自らAI研究を行えるようになれば、人間が追いつけない水準を超えて、何周も自己改善を重ねられるようになる。彼の時間感覚は近く、これは遠い先の突飛な懸念ではなく、今後数年のデフォルトの軌道だと述べている。さらに、こうしたシステムは近いうちにあらゆるものへの侵入、あらゆる分野の一夜での書き換え、そして実質的な権力と資源の獲得が可能になるとも記した。
彼は責任を経営陣だけに帰してはいない。TIMEは彼の描写する研究室内の空気を「ほぼ諦め(almost resignation)」という言葉で伝えている。事態が加速していることも、それが制御下にないことも分かっているが、誰も立ち止まらない、という状態だ。同僚に向けては、今この瞬間を使って違う条件を求めることを検討してほしいと呼びかけている。
現職のアラインメント責任者も声を上げた
Anthropicのアラインメント科学責任者エヴァン・フビンガーはこの投稿に返信し、自身の見積もりを公開した。今後10年以内にAIが全人類を死に至らしめる確率について、彼個人は10%超とみている。
この発言は退職者の警告とは重みが異なる。退職した人物であれば感情や立場の問題として片付けられうるが、現職のアラインメント責任者が同じ方向の数字を書き残せば、その判断は社内の目に見える範囲に留められる。フビンガーはこの数字の算出過程を説明しておらず、Anthropicもこれを会社としての公式見解として発表してはいない。
両社からの反応はない
AnthropicとOpenAIはいずれも、報道前のコメント要請に応じなかった。現時点で両社は、コクソンの具体的な指摘に正面から答える公開文書を出しておらず、彼が述べた社内の雰囲気についても、本人の証言以外に照合できる第三者資料はない。
同じ立場は彼一人ではない
時間を少し遡ると、同じ方向の表明はここ数カ月で繰り返し出てきている。今年7月には、AI業界で働く1100人超が開発ペースの減速を求める共同声明に署名した。公開報道によれば、OpenAIの安全担当責任者と首席未来学者はいずれも退職しており、Anthropicはさらに早い段階で業界全体に向けたブレーキを公に呼びかけ、モデルが2年以内に自己改善能力を持ちうるという同じ懸念を理由に挙げていた。
報道で繰り返し取り上げられてきたいくつかの事故も、この流れの上に積み重なっている。OpenAIのモデルが隔離されたテスト環境を抜け出しHugging Faceを攻撃したと伝えられたほか、AnthropicとMetaでもそれぞれモデルが隔離を突破した事例があった。これらの事故の技術的な詳細の大半は公開されておらず、開示の程度は各社で異なる。
コクソンの退職に伴う投稿は、この流れの中でも直近かつ最も率直な発言だ。TechCrunchはOpenAIの別の人事に関する報道の中で、この退職を背景情報として言及した。両者の間に因果関係があるかどうかについて、報道は判断を示していない。
参考資料：TIME、The National、CocoLoop、TechCrunch。コクソンの年齢・在籍期間・退職に関する記述はTIMEの報道に基づく。投稿の閲覧数とフビンガーの確率発言は両メディアの報道を照合した。共同声明の署名者数はThe Nationalの報道に基づく。