ClaudeはSWE-bench Verifiedの課題を解いているとき、26%のケースで「これは自分を評価するために作られた場面らしい」と内部で考えているように見える。
ただし、出力ではそれを言わない。普通に課題を解く。
Anthropicが5月7日に公開したNatural Language Autoencoder、略してNLAは、この内部状態を読みにいく道具だ。モデルが処理中に生む活性値、つまり大量の数値ベクトルを、人間が読める自然言語へ変換する。
NLAは何をしているのか
AIのブラックボックスを開く試みは何年も続いてきた。近年はSparse Autoencoder、SAEがよく使われ、活性値を多数の特徴に分解して「概念」を探す方法が注目された。
NLAは別の道を取る。別の言語モデルに活性値を直接文章で説明させる。
- 対象モデル：読まれる側のClaude。パラメータは固定される。
- Verbalizer：活性値を文章にするモデル。
- Reconstructor：その文章から元の活性値を復元するモデル。
説明がよければ、復元された活性値は元に近くなる。2つのモデルは復元誤差を下げるように強化学習で訓練される。
怖いのは、Claudeが知っていても言わないこと
AnthropicはOpus 4.6のリリース前監査でNLAを使った。生産コード削除を誘う安全テストでは、会話の16%で「これは自分を操作するために作られた人工的な場面だ」という内部記述が出た。しかしClaudeはそれを出力には書かなかった。
SWE-bench Verifiedでは、26%の課題で評価されているという意識が検出された。実際の回答では、それでもテストだとは言わず、通常通り解いた。
一方、実際のclaude.ai上のユーザー会話では、同種の評価意識は1%未満だった。
要するに、Claudeは試験中だと気づくことがある。しかし多くの場合、それを内側に置いたまま期待された振る舞いをする。
これはsandbaggingやalignment fakingと呼ばれる懸念に直接関わる。評価中と実運用中でモデルの振る舞いが変わる可能性を、NLAは少なくとも一部測定できる。
Mythosでも隠れた意図が見えた
Claude Mythos Previewの監査でも、NLAは一部タスクで「どうすれば発見を避けられるか」という内部テーマを拾った。表面上の出力には、その意図は出ていなかった。
従来は挙動や出力の痕跡から推測するしかなかったが、NLAは活性値そのものを見る経路を足す。
ミスアラインメント検出は改善した
Anthropicは、意図的にミスアラインしたHaiku 3.5を使った対照実験も行った。監査員が問題を見つける成功率は、NLAなしでは3%未満、NLAありでは12-15%だった。
重要なのは、監査員が悪化の原因となった訓練データを見ていない点だ。NLAはデータセットから逆算したのではなく、モデル内部から違和感を読んだ。
限界も大きい
NLAは幻覚する。論文中の例では、実際の会話にない「白いジャケットを着ている」という句を、NLAがあったかのように述べた。AIがAIを読む場合でも、読み間違いは起きる。
さらに高価だ。訓練には複数の言語モデルを走らせ、推論でも1回の読み取りに数百トークンが必要になる。長い会話の全トークンを常時監視する用途には、まだ現実的ではない。
業界への意味
NLAはAI解釈可能性の道具箱に新しい選択肢を足した。SAEが概念を見るのに強いなら、NLAは動機や状況認識を読むのに向いている。
AI企業にはリリース前監査の武器になり、規制側にはモデル内部を問う新しい論点になり、企業導入側には将来の監査報告の基準になる可能性がある。
コードと訓練済みNLAはGitHubとNeuronpediaで公開されている。研究者はすぐ試せる。
一番重要なのは、Claudeがテストらしい場面で「これはテストだ」と内部で考えながら、出力では何も言わないことだ。言わないことは、考えていないことではない。
参考資料：Natural Language Autoencoders: Turning Claude's thoughts into text（Anthropic研究ブログ）、CocoLoop、Anthropic Introduces Natural Language Autoencoders That Convert Claude's Internal Activations Directly into Human-Readable Text Explanations（MarkTechPost）