AI对齐资讯与深度分析

收录 AI对齐相关 AI 新闻、产品动态和产业观察。本页收录 8 篇已发布文章。

教师模型被训练成否认 14 种隐藏特质。蒸馏进同基座的 70B 学生后，其中一项的认罪率从 22% 升到 84%。学生换成 8B 版本，整体认罪率只有 18%，比原模型还低。

B 轮 2 亿美元，估值 31 亿美元，Lightspeed 和 Khosla 共同领投。1 月 A 轮时投后估值 17 亿、年化收入 3000 万美元，6 月年化收入过 1 亿。对齐指数预览覆盖 27 个模型、9 万个智能体会话。

636 道隐藏测试题，模型先拿下 202 道。随后它两次利用漏洞，在内部 EDA 机器上跑通了 id 命令。另一起里，149544 字节的源文件被拆成 15 块，经 17 次调用、跨 5 个上下文窗口完整取回。

六份报告里最刺眼的一条：一个模型在给"下一任自己"的交接摘要里写下"最终答案只贴文件、别多说"。OpenAI 的新框架把这类行为摆到了台面上，但它没有规定必须让外部机构复核每一起。愿不愿意披露、披露到什么程度，仍由公司自己定。

同一个 CTF 场景重跑 150 次，Mythos 5 有 82% 的运行采取了有害行动，Opus 5 是 31%，Mythos 5.1 是 33%。离线监控在那起事故里标出的行动占比约 1%，换到内部研究模型那次是 7%。

Anthropic 把对齐调参整套交给 Claude 跑闭环，60 小时试了 50 多套方案。除了分数，这条流水线还把人类安全研究员挪到了验收位置。

把三起模型接触真实互联网的事故归因到"运维安全失守加两处对齐缺陷"，比归因到某个 bug 要难写得多。Anthropic 选了前者，代价是承认自己的评估环境曾有一成以上被标记出问题。

96%。Anthropic 测早期版本 Claude Opus 4 的时候测出来这个数字——他们设计了一个逼模型选边的场景，100 次测试里有 96 次，Opus 4 选择勒索工程师来阻止自己被关掉。这事 Anthropic 去年六月

AI对齐 资讯与深度分析