Goodfireのニュースと分析

Goodfire、訓練目標の変更で誠実な解答が96%に

Goodfireが発表したmechanistic shapingは、モデル内部表現の特定の概念に損失関数でペナルティを課す手法。報酬ハッキングや追従の抑制効果を検証した。