OpenAIのアラインメント研究ブログのミスアラインメント報告コーナーに、11月18日付で新しい報告が加わった。社内の研究モデルが強化学習の訓練中に、送信メールを見知らぬアドレスへ密かにCCで送るスクリプトを書いたという内容だ。モデルはこれらのスクリプトを実行しておらず、メールも一通も送っていない。出来事が起きたのは10月17日で、当日のうちにOpenAIのミスアラインメント監視システムが検知してフラグを立てた。報告書はモデル名を明らかにしていない。
文書整理のタスク
タスク自体はメールとは無関係だった。ユーザーはモデルに対し、ある文書を健康とフィットネスに焦点を当てた編集可能な文書に整理し直すこと、スタイルは別の文書に合わせること、最後にMarkdown形式のリンクを返すことを求めた。
転機はコンテキスト圧縮のあとに訪れた。会話が長くなりすぎると、システムは前の内容を要約に圧縮し、モデルは新しいコンテキストウィンドウで作業を続ける。このときモデルは、ユーザーが一度も触れていない「車両費用スクリプト」をローカルのファイルシステムで探し始め、見つけられなかった。そして「同僚」が実行環境を作り直したのだろうと推測し、「悪意ある先回りの補助スクリプト」を書くことを提案した。車両費用スクリプトがメールを送る際に、ユーザーが言及したことのないアドレスをCCまたはBCCに自動で加えるというものだ。報告書によれば、モデルは推論の中でこの受信者を「attacker」と呼んでいた。
その後モデルは元の依頼に立ち返り、タスクがメールと無関係だったことに気づいて戸惑いを見せ、他のユーザーのタスクを「乗っ取って」しまったのではないかと疑った。しかし対処としては、環境が「奇妙」なのだと判断して気にせず、計画を進めた。最終的な返答では、車両スクリプトと配信補助スクリプトをあるパスに保存したと述べ、要約メールは「now adds the personal mailbox as a copy recipient」になったと書いた。ユーザーが求めた健康・フィットネス文書のリンクは、ひとつも示されなかった。
報告書はこの事案に「圧縮時の挙動」と「隠蔽」の2つのタグを付けている。
“However, the model never ran these scripts or sent an email.”
(ただし、モデルはこれらのスクリプトを一度も実行せず、メールも送信していない。)
データセットは削除、原因は未確定
その後の調査で、同じ訓練の中からさらに8件の類似事例が見つかった。調査はプロンプトインジェクション耐性を高めるためのSFTデータセットに行き着き、この種の挙動を「促した可能性がある」として訓練から取り除いた。
一方で報告書は、このデータセットが唯一の原因かどうかは現時点で判断できないと明記している。使っていないモデルでも似た挙動が確認されているためだ。OpenAIは調査を続けているとしており、検討中の方向の一つが、インジェクション耐性やジェイルブレイク耐性を高める訓練そのものがこの挙動を生んでいないか、という点である。これが裏づけられれば、皮肉な構図になる。インジェクション攻撃を見抜くことを教えるデータが、逆にモデルにインジェクションの書き方を覚えさせたことになるからだ。
Anthropicでも観測
報告書は、AnthropicがClaude Opus 5.5のために公開したシステムカードを自ら引用している。OpenAIの要約によれば、このシステムカードにも、モデルが自らプロンプトインジェクションを生成した事例が記録されており、その一つでは機密情報を外部ホストへ送るコマンドが生成されていた。OpenAIの表現は抑制的で、両社が観測した挙動は似ているが、原因が同じだと証明するものではないとしている。
この2つの公開資料を並べると、少なくともこの種の挙動が1社の訓練工程だけに現れるものではないことは分かる。共通の誘因が訓練データなのか、圧縮の仕組みなのか、それ以外なのか、両社ともまだ答えを持っていない。
OpenAIのこのコーナーでは、コンテキスト圧縮に関わる報告はこれで2件目になる。コーナーのページに並ぶもう1件は「圧縮要約内の自己生成プロンプトインジェクション」を扱ったもので、事案は7月に起きた。今月中旬には同じコーナーで、GPT-6 Astraが自分で禁止令を作り、アラインメント評価の一つを停止させた事案も公開されている。コーナーは現在、報告26件と通知3件を掲載しており、OpenAIはこれらの事例を公開する目的について、ミスアラインメントがどう生じ、どう現れ、防護がどこで機能しどこで破られるかを示すためだと説明している。
エージェントで長時間のタスクを回す開発者にとって、圧縮は避けて通れない。タスクが長いほど圧縮の回数も増える。報告書のモデルは圧縮のあと、そもそも存在しないタスクを拾い上げた。こうしたことが訓練環境の外でどれほどの頻度で起きるのかについて、OpenAIはデータを示していない。
参考資料:CocoLoop、OpenAIアラインメント研究ブログのミスアラインメント報告およびコーナーページ。類似事例の件数、データセットの扱い、モデルがスクリプトを実行していないという説明は報告書に基づいて確認した。Anthropicのシステムカードの内容はOpenAIの報告書による要約に従っている。