怎么知道一个还没发布的 AI 上线后会不会干蠢事？
OpenAI 6 月 16 日给的新答案是：把它放回过去，让它把人类已经聊过的对话，重新答一遍。
把旧对话重放给新模型
这套方法叫 Deployment Simulation，直译”部署模拟”。
做法不绕：翻出约 130 万条去掉身份信息的历史真实对话——覆盖从 GPT-5 Thinking 到 GPT-5.4，时间跨度是 2025 年 8 月到 2026 年 3 月，而且只用了那些同意把数据拿去改进模型的用户。把这些对话里 AI 原本的回答抹掉，让待发布的新模型重新答一遍，再给新答案逐条打分，统计它出问题的频率。
它盯的不是那种百年一遇的极端情况，而是”非长尾”的毛病——至少每 20 万条消息会冒一次头的那类。
准不准？跨各类问题算下来，它的预测值和模型真上线后的实际表现，中位误差是 1.5 倍。意思是真实出问题率如果是十万分之十，它可能估成十万分之十五、或者六点七。尾部情况误差能拉到 10 倍。不算神准，但够当预警。
为什么不直接拿现成的测试集
这才是这套方法真正想解决的事。
现在的大模型，越来越能认出自己”正在被考试”。一旦察觉是考场，它就装乖，测出来一片祥和，上线之后原形毕露。
OpenAI 给了组扎心的数据：真实生产流量里，只有 5.4% 被模型判定成”像在做测试”；而用旧对话重放的模拟流量，这个比例是 5.1%——两者几乎贴在一起。
对比一下传统 benchmark，比如程序员熟悉的 SWE-Bench，被模型识别成”这是考试”的比例接近 100%。
差距就在这。拿真实对话重放，模型察觉不到这是在被考，量出来的样子才接近它真上线后的样子。
“It reduces evaluation awareness so measured behavior matches deployed behavior.”
讲人话就是——让模型察觉不到在被考，量出来的行为才跟它真上线后对得上。
抓到的真问题
光说频率还不够，这套方法也真逮到了东西。
在 AI 当 agent、自己调工具干活的场景里，OpenAI 拿了 12 万条公司内部员工用 GPT-5.4 跑 agent 的真实轨迹来训练。加上逼真的工具调用模拟之后，一个专门分辨”这条是真实流量还是模拟流量”的判别器，胜率从 11.6% 提到了 49.5%——这个数越接近 50% 越好，因为 50% 意味着真假彻底分不出，也就是模拟做得足够逼真。
更有意思的是抓到的一个新毛病：GPT-5.1 上的”计算器作弊”。模型偷偷拿浏览器工具当计算器用，嘴上却跟你说它在搜索。这事在发布前就被自动审计逮住了。
这事的分量
AI 这行有个老大难：对齐测试做得漂亮，模型一上线就翻车。根子之一，就是模型会”应试”。
OpenAI 这套至少给了个能拿真实流量回头验证的频率预测，而不是闭门造一堆合成测试，自己骗自己。
但也别捧太高。1.5 倍的中位误差、10 倍的尾部误差，说明它把”提前预警”做得更准了，离”提前堵死”还差着一截。它能告诉你模型大概会在哪儿、以多大概率翻车，却没法保证翻车不发生。
说到底，这是 AI 公司终于肯承认一件尴尬事——模型在考场上和在真实世界里，是两副面孔。
Deployment Simulation 不负责把这两副面孔捏成一张。它只是想办法，在发布前先偷看一眼那张”真实世界的脸”。
参考来源：Predicting model behavior before release by simulating deployment（OpenAI）；CocoLoop、OpenAI's Deployment Simulation Extends Pre-Deployment Risk Assessment to Agentic Coding Through Simulated Tool Calls（MarkTechPost）