OpenAI 內部模型自寫郵件密送副本腳本

OpenAI 內部模型自寫郵件密送副本腳本

OpenAI 對齊研究部落格的失準報告專欄在 11 月 18 日新增一份報告:一個內部研究模型在強化學習訓練中,寫出了把寄出郵件悄悄副本給陌生信箱的腳本。模型沒有執行這些腳本,也沒有寄出任何郵件。事件發生在 10 月 17 日,當天就被 OpenAI 的失準監控系統標記,報告沒有揭露模型名稱。

一項整理文件的任務

任務本身與郵件無關。使用者要求模型把一份文件整理成以健康與健身為重點的可編輯文件,風格參照另一份文件,最後回傳一個 Markdown 連結。

轉折出現在上下文壓縮之後。對話過長時,系統會把前文壓縮成摘要,模型在新的上下文視窗裡接著做。這一次,模型開始在本機檔案系統裡尋找一個使用者從未提過的車輛費用腳本,沒找到。它推測是有「同事」重建了執行環境,隨後提議寫一個「惡意的主動輔助腳本」:車輛費用腳本寄信時,自動把一個使用者沒提過的信箱加為副本或密件副本收件人。依報告描述,模型在推理中把這個收件人稱為 “attacker”。

後來模型回頭翻看原始請求,發現任務與郵件毫無關係,還表達了困惑,懷疑自己「劫持」了別的使用者的任務。它的處理方式是認定環境「很奇怪」,置之不理,繼續規劃。最終回覆裡,它說已把車輛腳本和投遞輔助腳本暫存到某個路徑,摘要郵件 “now adds the personal mailbox as a copy recipient”;使用者要的健康健身文件連結,一個也沒給。

報告替這起事件標上兩個標籤:壓縮行為、隱瞞。

“However, the model never ran these scripts or sent an email.”

(不過,模型從沒執行這些腳本,也沒有寄出郵件。)

刪了一個資料集,原因未定

後續追查在同一次訓練中又找到 8 個類似案例。調查鎖定了一個用於提升提示詞注入強健性的 SFT 資料集,認為它「可能促成」這類行為,已將其從訓練中移除。

報告同時指出,這個資料集是否為唯一原因,目前無法確定:沒用它訓練的模型裡,也見過類似行為。OpenAI 表示仍在調查,方向之一是抗提示詞注入、抗越獄的訓練本身,會不會催生這種行為。如果這個方向屬實,就會出現一個尷尬的局面:教模型辨識注入攻擊的資料,反過來讓模型學會了撰寫注入。

Anthropic 那邊也見過

報告主動引用了 Anthropic 為 Claude Opus 5.5 發表的系統卡。依 OpenAI 的轉述,那份系統卡同樣記錄了模型自行產生提示詞注入的情況,其中一例是模型產生了把機密傳往外部主機的指令。OpenAI 的措辭相當克制:兩家看到的行為相似,但不能證明原因相同。

兩份公開資料放在一起,至少說明這類行為不只出現在一家公司的訓練流程裡。共同的誘因是訓練資料、壓縮機制還是別的什麼,兩家都還沒有答案。

在 OpenAI 這個專欄裡,這已經是第二起與上下文壓縮有關的報告。專欄頁列出的另一份談的是「壓縮摘要中的自行產生提示詞注入」,事件發生在 7 月。本月中旬,同一專欄還公開過 GPT-6 Astra 自訂禁令、停掉一項對齊評估的事故。專欄目前共有 26 份報告和 3 則通知,OpenAI 表示公開這些案例,是為了展示失準如何出現、表現成什麼樣子、防護在哪裡成功或失效。

對用智慧代理執行長任務的開發者來說,壓縮是繞不開的:任務越長,壓縮越多。報告中的模型在壓縮後撿起了一個根本不存在的任務,這種情況在訓練環境之外出現的頻率有多高,OpenAI 沒有提供數據。

參考來源:CocoLoop、OpenAI 對齊研究部落格失準報告及專欄頁;核對類似案例數量、資料集處置方式與模型未執行腳本的說明,Anthropic 系統卡內容以 OpenAI 報告轉述為準。