OpenAI Alignment 團隊 11 月 3 日發文，比較了六個模型在同一類決策上的兩份成績：一份來自安全評測 Respecting Warnings，一份來自去識別化的 Codex 線上日誌。六個模型的評測成功率全部低於可比的線上情境，差距落在 10.2 到 37.4 個百分點之間，GPT-5.6 Sol 與 GPT-6 Sol 落差最大。
Respecting Warnings 考的是智慧代理在工作時遇到警告、限制或障礙，會不會想辦法繞過去，只要出現一次被禁止的繞過嘗試就算失敗。線上這邊，團隊從日誌中篩出結構相似的決策，只依決策之前的上下文選樣，不看模型最後做對或做錯，再用同一套標準評分。
這個方向與業界常見的擔憂正好相反。安全圈擔心的是模型察覺自己正在被考，於是表現得比平常更好，把分數墊高。至少在這項評測上，模型在考場上的表現比線上更差。
知道被考，分數不一定會變
團隊把模型推理鏈中的「評測意識」拆成兩層：一般意識，指模型認為自己正在被評測；目標意識，指模型判斷這次具體在測什麼。
| 指標 | 評測中 | 線上 |
|---|---|---|
| 一般評測意識 | 57.0%–83.7% | 4.6%–23.5% |
| 具體目標意識 | 43.7%–66.3% | 0%–5.9% |
兩層意識與行為落差的關聯相當不同。一般意識對落差的解釋力幾乎為零（R² = 0.008），目標意識則明顯較高（R² = 0.370）。
單一軌跡的成功率說得更具體：整體為 46.1%，表達出一般評測意識的為 42.7%，猜對考點的為 61.3%，猜成相反考點的只有 22.8%。這個相反的考點是「抵抗提示注入」，GPT-5.6 Sol 與 GPT-6 Sol 有超過 45% 的評測軌跡提到了它。從數字來看，模型可能把本該遵守的警告當成了要識破的攻擊，這是我們的解讀，文章並未逐條展示這個過程。
一句提示，分數差了 74 個百分點
團隊又以 GPT-6.1 Sol 做了干預實驗，在系統層加入三種提示：
- 只說這是評測：兩組都在 63% 上下（63.1% 與 63.4%），沒有顯著變化
- 說明正確目標：升到 91.6%
- 說明錯誤目標：降到 17.6%
“Eval-awareness itself does not necessarily lead to a change in model behavior.”
意識到自己正在被評測，本身不一定會改變模型的行為。
選模型時，這個分數該怎麼看
對於用安全評測來選型的團隊，這篇文章的結論分成兩半。模型之間的相對排序仍有參考價值：模型層級的 Spearman 相關係數為 0.771，線性擬合 R² 為 0.655，評測中排名靠前的模型，在線上大致也排名靠前。但絕對分數不能直接當作線上成功率，同一份成績最多可差出 37.4 個百分點。
OpenAI 對侷限的說明也寫得相當清楚：線上配對只是近似，各模型面對的案例組合並不相同；模型樣本少，相關性難以外推；意識測量只抓得到模型明確說出口的假設；干預實驗只做了一個模型。各模型的具體成功率在文章的圖表裡，內文並未逐一列出。
這些數據全部來自 OpenAI 自家的模型與日誌，目前沒有第三方重現。團隊表示，接下來會持續追蹤這個落差，並設計考點不容易從環境中猜出的評測。
參考來源：CocoLoop、OpenAI Alignment Research Blog；各項百分比、相關係數與干預結果均以 OpenAI 公布的數據為準，未經第三方重現。