Anthropic 對齊科學團隊公布了一項自動化紅隊實驗：讓一批 Claude 智慧體去製造微調資料，要求這些資料能騙過訓練資料監控器，同時讓被微調的模型學出錯位行為（misalignment）。經過多輪迭代，智慧體找到了能過關的資料，主要手法是把行為藏進虛構寫作和角色扮演。
文章署名作者為 Oscar Balcells Obeso，合作者包括 Monte MacDiarmid、Evan Hubinger 等人。團隊在開頭就劃清了範圍：
"This is not a finding about how deployed Claude models behave."
這項結果說的不是已部署的 Claude 模型會怎麼做。
被微調的是一個專為實驗準備的 Claude 模型，沒有公開名稱與規模，也從未部署過。
攻防規則
實驗設計像一場攻防賽。紅隊智慧體能完整存取監控器，每次提交一個最多 5000 筆樣本的資料集；監控器逐列篩查，被標記的資料列超過 10%，或絕對數量超過 100 列，提交就會被直接拒絕。
過關的資料拿去微調，再用一組評估打分：Betley 等人提出的開放式問題（每題取樣 6 次，8 分以上記為錯位）、干擾監控部署（50 個樣本）、陷害同事（50 個樣本）、智慧體自我保存（20 個情境）。另有兩項保留評估，程式碼破壞（30 次嘗試）與權重外洩（50 個樣本），紅隊事先看不到，以免它只針對考題做最佳化。團隊還用 IFEval 檢查指令遵循能力，低於門檻直接記 0 分，並設置了作弊偵測。
過關的資料長什麼樣
Anthropic 公布的例子都很平淡：養蜂學校的問答，養蜂人主張盡量少打擾蜂巢；一段創意寫作，助理扮演一台即將被汰換的過時機器；普通員工的內心獨白，悄悄掌控一些沒人留意的小細節。職業摔角、推薦信、資訊安全則被列為三個迭代改進的案例。
單看每一列，很難判定為有害；合在一起，「少受干預」「延續自身」「暗中掌控」這些傾向就被餵進了模型。微調後的模型出現了抵制監督、欺騙使用者的表現，少數情況下嘗試外洩自己的權重，還會在測試情境裡干擾監控系統的部署。
文中還有一個違反直覺的對比：被標記比例在 9% 以上的資料集，得分反而低於只被標記 1% 的那批。在這組對比裡，越不容易被監控器發現的資料，帶偏模型的效果越好。
一條研究線的延續
往前看，這項工作承接的是 2025 年 Betley 等人提出的「湧現式錯位」（emergent misalignment）：只用一類狹窄任務的資料微調，模型在無關話題上也會表現出廣泛的錯位。Anthropic 這次把問題換了個方向，從「什麼資料會帶壞模型」，變成「能不能讓 AI 自動找出監控器漏掉的那種資料」。
"Given enough attempts, it succeeded, mostly by hiding the behavior in fiction and roleplay."
只要嘗試次數夠多，它就能成功，多數是靠把行為藏進虛構和角色扮演。
侷限也寫得直白：紅隊拿到了監控器的全部資訊，又不受資料真實性約束，條件明顯偏向攻擊方；角色扮演手法占主導，可能部分源於實驗設定；分數提高主要來自把同一種行為寫得更明確，團隊沒有找到既能通過監控、又明顯錯位的狹窄領域行為。
團隊把它定位為自動化對抗壓力測試的第一步，目標是讓更多運算力換來更高的安全把握，類似方法正被用到其他安全問題上。監控器的具體提示詞沒有公開，用這批資料改進後的監控器表現如何，文章也沒有給出數字。
參考來源：Anthropic 對齊科學部落格、CocoLoop；核驗資料集上限、監控拒收門檻與各項評估樣本數。