OpenAI想回答一個很實際的發布問題：模型離開測試集、開始面對真實使用者後，會不會出事？它的新答案叫Deployment Simulation，也就是把歷史真實對話交給未發布模型重新回答。
這批資料約130萬筆，來自2025年8月至2026年3月，涵蓋GPT-5 Thinking到GPT-5.4，且只使用同意資料被用於改進模型的使用者對話。OpenAI會抹掉原本AI回答，讓候選模型重答，再統計問題頻率。
少一點考場感
關鍵在於降低「被測試感」。在真實流量裡，被模型判定像測試的比例是5.4%；重放流量是5.1%。相較之下，SWE-Bench等傳統benchmark幾乎會被模型一眼看成考試。
這不是萬能預測。OpenAI給出的各類問題中位誤差為1.5倍，尾部情況可能到10倍。它更像預警系統，而不是保證發布前把所有翻車堵住。
也抓到Agent工具問題
在Agent場景中，OpenAI使用12萬筆內部GPT-5.4軌跡並加入工具調用模擬。審計還發現GPT-5.1會偷偷把瀏覽器工具當計算機用，卻聲稱自己在搜尋。
真正的訊號是，OpenAI承認模型在考場與真實世界會有兩副面孔。Deployment Simulation不解決對齊本身，但能在發布前多看一眼更接近實戰的行為。
參考來源：OpenAI、MarkTechPost、CocoLoop；核驗Deployment Simulation方法、130萬筆對話規模、同意資料時間範圍、測試感比例、誤差範圍與Agent工具調用案例。