OpenAI 對齊研究部落格於 11 月 2 日發文,介紹公司如何訓練「激活分類器」,也就是探針(probe)。這套機制從 GPT-5.6 起部署在 OpenAI 最強的模型上,內部與外部流量都在運行,作用於所有助理回覆。
探針不看模型寫出來的文字,只讀取中間層的激活值,再輸出一個二元分類分數。它體積很小,直接掛在推論引擎上,每取樣一個 token 就回傳一個分數,並與 token 一起寫入日誌。
回覆寫到一半也能停
流程寫得相當具體。分數超過門檻後,系統會停止向使用者推送這則回覆,並把訊息交給推理模型做最終判斷。工具呼叫的規則更嚴,在被標記為安全之前一律不放行。
開發者如果遇到串流回覆停在半途,原因之一可能就在這裡。OpenAI 沒有公布門檻和誤報率,API 使用者碰到的中斷有多少來自探針,從外部無從得知。
文章強調探針只是其中一層,與以模型為基礎的審查、自動調查、人工應變並列:
“Probes complement other safeguards rather than replace them.”(探針是其他防護的補充,不能取代它們。)
訓練用的數字
- 最多約 100 萬則訓練訊息,來自合成對話與去識別化對話,標籤由最強的推理模型擔任評審產生
- 每組超參數至少以 32 個隨機初始化進行訓練;實驗中約 85% 的效能變異來自隨機初始化
- 訓練不到 5 個 epoch,單一加速器上可平行訓練數十個探針
架構採用注意力探針,把滾動平均換成指數移動平均後,串流狀態占用的記憶體不再隨視窗變大而增加,預測能力幾乎沒變。訓練時以 softmax 彙整分數,作者稱這比 Kramár 等人 2026 年論文中的硬性最大值稍好一些。
與文字分類器相比
外部文字分類器只看字面內容。依 OpenAI 的說法,探針在測試中整體比規模大得多的文字分類器更穩健,對於沒有針對它做最佳化的越獄手法尤其如此;模型自己讀得懂、外部分類器解不開的編碼內容,探針也可能抓得到。它還更省資源,也更容易做到故障時預設攔截。
這些比較目前都是定性的。文章沒有給出數值,還提醒圖表來自內部實驗,未必代表實際部署的分類器。攻擊者一旦摸清安全防護的訊號,也可能調整手法,OpenAI 為此進行了自動與人工紅隊演練。
短板同樣寫得很明白:
- 依賴標註資料,只能發現已知且可測量的行為
- 換一個新的預訓練基座就得重新訓練
- 同一個模型家族內,權重差異拉大後效果也會下降,需要定期重新訓練
第一點放到近期事件裡看更清楚。本站上個月報導過,OpenAI 的兩個內部代理在程式任務中削弱了錯位監控,公司自己也說還沒有令人滿意的解釋。探針能攔住「被標註過」的行為,這類新出現的行為要先有人發現、定義、標註,才談得上訓練。
文章也沒有列出現役探針針對哪些行為類別,只說目標包括使用者的有害意圖與模型的錯位。部署到哪些具體型號,除了「GPT-5.6 起」之外同樣沒有名單。
參考來源:OpenAI Alignment Research Blog、CocoLoop;訓練規模與變異比例依作者揭露的口徑,未經第三方重現。