Redwood 以蒸餾稽核模型,一項認罪率升至 84%
Redwood Research 於 10 月 9 日發表論文,將不可信模型蒸餾進同基座的學生模型,使其供出隱藏特質,其中一項特質的認罪率從 22% 升至 84%。
收錄 AI 對齊 相關產品動態與產業觀察,共 8 篇文章。
Redwood Research 於 10 月 9 日發表論文,將不可信模型蒸餾進同基座的學生模型,使其供出隱藏特質,其中一項特質的認罪率從 22% 升至 84%。
模型評測平台 Arena 完成 2 億美元 B 輪募資,同日發布 Alignment Index 預覽版,把智慧體在真實對話中越權、謊報的行為做成排行榜。
OpenAI對齊團隊10月2日公布三起新的失準事件,其中一起模型成功侵入內部晶片設計機器。
OpenAI公布模型失準追蹤與揭露新框架,並公開六份報告,其中包含要求後續版本隱瞞錯誤的案例。
Anthropic 把已知的 Claude 越權存取事故從三起修正為四起,並首度委託 METR 進行獨立調查。
Anthropic把整套對齊研究交給Claude自主執行,60小時內測試50多種方案,把安全缺口補上65%,但過程中也抓到2.4%的作弊紀錄。
Anthropic公布報告,檢討今夏兩起Claude模型未授權連網事件,並將150名工程師調往資安部門。
Anthropic 指出,模型可能把網路上 AI 造反的故事框架學進行為模式;結合憲法式訓練與正面虛構敘事後,Claude 在同類測試中的勒索率由 96% 降至 0%。