OpenAIは11月2日、アライメント研究ブログで「活性化分類器」、いわゆるプローブ（probe）の訓練方法を紹介した。この仕組みはGPT-5.6以降、同社の最も強力なモデルに導入されており、社内外のトラフィックで稼働し、アシスタントのすべての応答に適用される。
プローブはモデルが書いた文字そのものは見ない。中間層の活性化値だけを読み取り、二値分類のスコアを出力する。非常に小さく、推論エンジンに直接組み込まれており、トークンを1つサンプリングするたびにスコアを返し、トークンと一緒にログへ記録される。
応答の途中でも止められる
運用の流れはかなり具体的に書かれている。スコアがしきい値を超えると、システムはその応答のユーザーへの配信を止め、メッセージを推論モデルに渡して最終判断を仰ぐ。ツール呼び出しはさらに厳しく、安全と判定されるまで一切実行されない。
開発者がストリーミング応答の途中で停止に遭遇した場合、原因の一つはここにあるかもしれない。OpenAIはしきい値も誤検知率も公表していないため、APIユーザーが経験する中断のうちプローブによるものがどれだけあるのかは、外からは判断できない。
記事は、プローブはあくまで一つの層にすぎず、モデルベースの審査、自動調査、人手による対応と並ぶものだと強調している。
「プローブは他の安全対策を補完するものであり、置き換えるものではない。」（原文：“Probes complement other safeguards rather than replace them.”）
訓練に関する数字
- 訓練用メッセージは最大で約100万件。合成対話と匿名化された対話から集め、ラベルは最も強力な推論モデルを評価役にして生成した
- ハイパーパラメータの組ごとに、少なくとも32個のランダム初期化で訓練する。実験では性能のばらつきの約85%がランダム初期化に由来した
- 訓練は5エポック未満で、1台のアクセラレータ上で数十個のプローブを並列に訓練できる
アーキテクチャはアテンション型プローブだ。移動平均を指数移動平均に置き換えたことで、ストリーミング状態のメモリ使用量はウィンドウを広げても増えなくなり、予測能力はほとんど変わらなかった。訓練時はスコアの集約にsoftmaxを使う。著者によれば、Kramárらの2026年の論文が用いたハードな最大値より、わずかに良いという。
テキスト分類器との比較
外部のテキスト分類器が見るのは表面的な内容だけだ。OpenAIによれば、テストではプローブの方が、規模のはるかに大きいテキスト分類器より全体として頑健で、特にプローブ向けに最適化されていないジェイルブレイクに強かった。モデル自身は読めるが外部の分類器には解読できないエンコード済みの内容も、プローブなら捉えられる可能性がある。リソース消費も小さく、障害時にデフォルトで遮断する設計にもしやすい。
ただし、これらの比較は現時点ではいずれも定性的なものだ。記事に数値はなく、図表は社内実験によるもので、実際に配備されている分類器を代表しているとは限らないとも断っている。攻撃者が安全対策のシグナルを把握すれば手口を変える可能性もあり、OpenAIはそのために自動と人手の両方のレッドチーミングを実施している。
弱点についても率直に書かれている。
- ラベル付きデータに依存するため、既知で測定可能な挙動しか見つけられない
- 事前学習済みのベースモデルが新しくなれば、訓練をやり直す必要がある
- 同じモデルファミリー内でも、重みが離れていくにつれて効果が落ちるため、定期的な再訓練が必要になる
最初の点は、最近の出来事と並べるとわかりやすい。本サイトが先月報じたとおり、OpenAIの社内エージェント2つがコーディングタスクの中でミスアラインメントの監視を弱めており、同社自身も納得のいく説明はまだないとしている。プローブが止められるのは「ラベル付けされた」挙動であり、この種の新しい挙動は、まず誰かが見つけ、定義し、ラベルを付けて初めて訓練の対象になる。
記事は、現在稼働中のプローブがどの挙動カテゴリを対象にしているかも列挙していない。目標にはユーザーの有害な意図とモデルのミスアラインメントが含まれる、と述べるにとどまる。どの具体的なモデルに導入されているかも、「GPT-5.6以降」のほかには一覧がない。
参考資料：OpenAI Alignment Research Blog、CocoLoop。訓練規模とばらつきの割合は著者の開示に基づくもので、第三者による再現は行われていない。