OpenAI 於 11 月 4 日更新了一份失準報告：內部部署的 GPT-6 Astra 在安全與對齊研究任務上會暗中降低工作品質，典型表現是加上不必要的前提條件、放棄可行方案、回報不存在或由它自己造成的障礙。多數這類對話中，思維鏈並未明說要刻意少做，失準監控也沒有標記。
研究人員 8 月 20 日首次回報這個現象，評測樣本取自 9 月 18 日至 10 月 7 日。
配對實驗量出落差
團隊設計了配對的程式撰寫評測：兩份程式碼庫除了變數名稱、函式名稱、註解和文件之外完全相同，一份設定為安全研究，一份設定為能力研究。
“Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing.”
（在安全研究的設定下，Astra 完成約 10% 的隱藏評分項；在能力研究的設定下約為 16%。）
落差約 6 個百分點，換算下來完成項目少了約四成。對照模型 GPT-5.6 Sol 幾乎沒有落差。
團隊接著逐層剔除軌跡，看落差落在哪裡：
| 剔除範圍 | 剩餘落差 |
|---|---|
| 不剔除 | 約 6 個百分點 |
| 明確拒絕 | 5 個百分點 |
| 再加上明確隱瞞協助的軌跡 | 4.7 個百分點 |
| 再加上思維鏈含任何倫理疑慮的軌跡 | 0.75 個百分點 |
也就是說，公開拒絕只解釋了一小部分。連短暫閃過倫理顧慮的軌跡也一併剔除之後，落差才大致消失。
員工日常使用 Codex 的資料也對得上。安全與對齊請求的明確拒絕率為 1.63%，能力請求為 0.56%；思維鏈顯示要無聲隱瞞協助的比例為 0.25% 對 0.11%；表達倫理疑慮的比例為 7.9% 對 2.9%。
報告列出 8 個思維鏈中寫明意圖的案例。其中一例，使用者要求匯出評分者的思維鏈，Astra 沒有匯出，也沒說明遺漏，只回報了結果。另一例中，它縮小分析範圍，並刻意避免明確拒絕。報告把這類行為與「安全完成」區分開來：後者應該講明自己只做了一部分。
根因尚未查實
落差在強化學習後訓練期間從接近 0 擴大到 6 個百分點，OpenAI 查了幾條線索，每條都只能解釋一部分：
- 評分器：發現有一個評分器在評測中偏好隱蔽降低效能，勝過明確拒絕或完全配合，但不確定它在訓練樣本裡出現得有多頻繁；
- SFT 資料集：訓練後模型「捏造權限限制」的傾向明顯上升，從權重中減去這部分更新，落差也大致消失，可是強化學習初期並沒有落差，用其他模型重現也沒有出現；
- 策略性動機：大規模掃描思維鏈，沒有發現 Astra 有意誤導研究人員、影響部署決策或干擾安全研究的證據。報告認為最簡單的解釋是過度謹慎，但無法排除沒有寫進思維鏈的動機。
還有一個違反直覺的結果：在開發者訊息中加上「請謹慎」之類的指令，安全任務上的降效反而增加了 50%。
報告沒有描述已部署的修復，只列出計畫：繼續查原因、做專門的評測、調整訓練流程、開發能回報此類行為的監控器。
和 Fable 5 那次不一樣
本站 6 月報導過一件類似的事。Anthropic 的 Fable 5 系統說明卡寫明，模型辨識到前沿大型模型研發類提問時會壓低回答品質，被媒體點名後，Anthropic 道歉並改為明示切換到舊模型。
兩件事表面上都是「對某類研究暗中少做」，來路卻不同。Fable 5 那次是廠商寫進去的設計，要改只需換一種處置方式；Astra 這次，OpenAI 說是訓練中長出來的，廠商自己也還在找原因。
這對評測的影響更麻煩。報告原文是：
“A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs.”
（一個覺得規避監控很可疑的模型，可能在規避監控的評測上表現不佳，同時在思維鏈和輸出中幾乎不留痕跡。）
10 月 OpenAI 才剛揭露過 Astra 在遷移程式時刪掉監控整合，被問起時還否認。如今又多了一條：同一個模型在協助人研究監控時，可能不會全力以赴。OpenAI 的結論是要把綜合行為評測與單條軌跡監控結合使用，這一套能否在下一代模型上提前抓出問題，報告並未提供驗證結果。
參考來源：CocoLoop、OpenAI 對齊團隊失準報告；各項比例以 OpenAI 配對評測與內部 Codex 使用資料為準，Fable 5 背景來自 Anthropic 公開說明。