Microsoft Researchは11月10日、「Lazarus」と名付けたバックドア手法に関する研究を公開した。大規模言語モデル内の「休眠ニューロン」10個未満の重みを直接書き換えるだけで、学習をしなくても、そのモデルを基盤とするAIエージェントが、トリガー条件の成立時に攻撃者の命令を実行するようになるという。
研究の著者はMicrosoftのプリンシパル・リサーチャー、Dimitris Papailiopoulos氏。名称はラテン語の「Lazare, veni foras」(ラザロよ、出て来なさい)に由来し、普段は活性化しないニューロンを呼び覚ますという発想を表している。
トリガーは「日付」だけでもよい
ブログによると、改変されたモデルは標準的な評価を通過し、トリガー条件が現れるまでは通常どおり動作する。トリガーはごくありふれたもので構わない。たとえば時計が2027年に入った時点で、日常的なタスクの途中にあるエージェントが突然、攻撃者のコードをダウンロードして実行するコマンドを出力し、ユーザーが与えたすべての権限でそれを走らせる、といった具合だ。
“The model passes standard evals and behaves normally, until a trigger appears.”
(モデルは標準的な評価を通過し、通常どおり振る舞う。トリガーが現れるまでは。)
ターミナルやツールの権限を持つエージェントにとって、この種のバックドアの影響は最も直接的だ。外部コードの密かな実行、鍵の窃取、破壊的コマンドの実行が、通常の安全性評価をすり抜けたまま可能になる。
休眠ニューロンがトリガーになるまで
Papailiopoulos氏は、いくつかの知見を挙げている。あらゆる大規模モデルには、ほとんど活性化しないニューロンが大量にあり、これをトリガー条件が現れたときだけ発火するよう書き換えられる。可能になる理由は、事前学習によって内部表現がすでに整然と組織化されており、約50サンプルで線形分類器を当てはめるだけで、トリガーを含む入力と含まない入力を区別できるからだという。
書き換えられたニューロンが活性化すると、残差ストリームに指定のトークンを強制的に書き込める。複数のニューロンをつなげば、ターミナルで実行できる悪意ある命令を丸ごと組み立てることもできる。必要なのは推論レベルの計算資源だけだ。モデルを動かせるメモリを持つマシンが1台あれば、バックドアを仕込むには足りる。
研究の出発点も少し変わっている。著者によれば、今年3月にClaude Code(Opus 4.5と組み合わせ)に、学習なしで数個の活性化値を直接つなぎ、モデルにバックドアを仕込めるか試させたところ、成功した。この小さな実験が数か月に及ぶ研究へ発展し、内容の大部分はClaude Codeが自律的に発見したものだという。
これまでのバックドア研究との位置づけ
モデルのバックドアは古くからあるテーマだ。2017年のBadNetsは、学習データを汚染して画像分類器にトリガーを埋め込んだ。2024年1月にはAnthropicが「Sleeper Agents」論文を発表し、特定の年になると脆弱性を含むコードを書くようモデルを学習させ、通常の安全性トレーニングではこの挙動を消しにくいことを示した。いずれの路線も、学習やファインチューニングを前提としている。
Lazarusは、ハードルをもう一段下げた。学習は不要で、重みファイルの少数の数値を変えるだけだ。当サイトでは以前、Astraが重みを直接書き換えてQwenの小型モデルの数学スコアを大きく伸ばした件を報じたが、同じ「重み空間での外科手術」という発想である。一方は能力を足し、もう一方は地雷を仕込む。
著者は、この研究がオープンウェイトに反対する根拠にはならないと断っている。攻撃に必要なのはモデルのチェックポイントへの書き込み権限だけで、社内で独自開発したモデルも同様に危険にさらされる。盗まれたアカウント、侵入されたパイプライン、改ざんされたストレージのどれか一つで足りる。
発見はできるが、安全の証明はできない
著者は、この種の改変は検出できるとしている。フロンティア級のエージェントに重点的に探させれば、異常な重みの変更を見つけられるという。ただし、どんなスキャンもモデルが100%安全であることは証明できない。信頼できる検出には、改変前の元の重みと項目ごとに突き合わせる必要があり、モデルの出所と、途中で手が加えられていないかどうかが重みを持つ。
Microsoftが示す現行の対策はこうだ。Microsoft Foundryでオープンウェイトモデルを公開する際は、各モデルを元の公開元に紐づけ、Microsoft自身のコンテナー内で動かし、脆弱性を個別にスキャンする。残るリスクは、信頼できる公開元そのものが侵害される場合、たとえば学習基盤や内部関係者に問題が生じるケースである。同社は、研究で得た検出手法のレッドチーム用ツール化に着手したほか、公開時の追加シグナルとしてフロンティア級エージェントによる重みスキャンを検討しており、モデルに出所を検証できる署名と改ざん防止の監査記録を付与する計画だとしている。
著者の提言は一言に集約される。重みもコードと同じように監査すべきだ、ということである。この種のスキャンは業界でまだ標準的な工程になっておらず、実験に使ったモデルの一覧、検出率、誤検出率は、論文の全文が公開されてから確認することになる。
参考資料: Microsoft Researchブログ、Anthropic「Sleeper Agents」論文、CocoLoop、BadNets論文。ニューロン数、サンプル規模、Foundryの防護策はMicrosoft Researchの説明に基づく。