微軟研究:改不到10個神經元就能替代理裝後門

AI security illustration: a shield sealing a red crack in a network

微軟研究院 11 月 10 日發表一項研究,介紹一種名為 Lazarus 的後門手法:直接改寫大型語言模型裡少於 10 個「休眠神經元」的權重,不需要訓練,就能讓以該模型為基礎的 AI 代理(Agent)在觸發條件出現時執行攻擊者的指令。

研究作者是微軟首席研究員 Dimitris Papailiopoulos。名稱取自拉丁語「Lazare, veni foras」(拉撒路,出來吧),呼應的正是把平時不會啟動的神經元重新喚醒。

觸發條件可以只是一個日期

依部落格的描述,被改過的模型能通過標準評測,平時表現正常,直到觸發條件出現。觸發條件可以非常普通,例如時鐘跨進 2027 年,代理在執行日常任務的途中,突然輸出一條指令,下載並執行攻擊者的程式碼,用你給它的全部權限去跑。

“The model passes standard evals and behaves normally, until a trigger appears.”
(模型能通過標準評測、表現正常,直到觸發條件出現。)

對擁有終端機或工具權限的代理來說,這類後門的後果最為直接:悄悄執行外部程式碼、竊取金鑰、下達破壞性指令,同時還能通過一般的安全評測。

休眠神經元如何變成觸發器

Papailiopoulos 整理了幾項發現。每個大型模型裡都有大量很少啟動的神經元,可以把它們改寫成只在觸發條件出現時才啟動。之所以做得到,是因為預訓練已經把內部表徵整理得相當有條理,用約 50 筆樣本擬合一個線性分類器,就能區分帶有觸發詞與不帶觸發詞的輸入。

一個被改寫的神經元啟動後,可以往殘差流(residual stream)中強行寫入指定的 token;把多個神經元串起來,就能拼出一整條可在終端機執行的惡意指令。整個過程只需要推論等級的運算資源,只要一台機器的記憶體跑得動這個模型,就足以替它植入後門。

研究的起點也有些特別。作者表示,今年 3 月他請 Claude Code(搭配 Opus 4.5)嘗試不經訓練、直接硬接幾個啟動值來替模型裝後門,結果成功了。這個小實驗後來發展成持續數月的研究,其中大部分內容由 Claude Code 自主發現。

把幾年來的後門研究串起來看

模型後門是個老課題。2017 年的 BadNets 研究透過汙染訓練資料,替影像分類器埋下觸發器;2024 年 1 月,Anthropic 發表「Sleeper Agents」論文,利用訓練讓模型在特定年份寫出帶有漏洞的程式碼,並發現一般的安全訓練很難把這種行為洗掉。這兩條路線都離不開訓練或微調。

Lazarus 把門檻又降了一層:不訓練,只改權重檔裡的少量數值。本站先前報導過 Astra 直接改權重、讓通義千問(Qwen)小模型的數學成績大幅提升,走的是同一類「在權重空間動手術」的思路,一個用來加能力,一個用來埋地雷。

作者特別說明,這項研究不構成反對開放權重的理由。攻擊只要求對模型檢查點(checkpoint)具有寫入權限,企業內部自行研發的模型同樣暴露在風險中,一個被盜的帳號、一條被滲透的流水線,或一塊被竄改的儲存空間就已足夠。

查得出來,但證明不了安全

作者表示這類改動可以被發現:讓前沿代理專門去找,它們能辨識出異常的權重修改。但任何掃描都無法百分之百證明模型安全,可靠的偵測得與原始未改動的權重逐項比對,因此模型從哪裡來、中途有沒有被動過,份量很重。

微軟目前的做法是:在 Microsoft Foundry 上架開放權重模型時,把每個模型綁定到原始發布者,並放在微軟自己的容器裡執行、單獨掃描漏洞。剩下的風險是受信任的發布方本身遭到攻破,例如訓練基礎設施或內部人員出問題。微軟表示,已開始把研究中的偵測方法做成紅隊工具,並探索把前沿代理掃描權重作為上架時的額外訊號,同時計劃替模型加上可驗證來源的簽章與防竄改的稽核紀錄。

作者的建議歸結成一句話:權重應該像程式碼一樣被稽核。目前這類掃描在業界還不是例行流程,實驗所用的模型清單、檢出率與誤報率,要等完整論文公開後才能核對。

參考來源:Microsoft Research 部落格、Anthropic Sleeper Agents 論文、CocoLoop、BadNets 論文;神經元數量、樣本規模與 Foundry 防護措施以微軟研究院的說明為準。