Das Alignment-Team von OpenAI hat am 3. November einen Beitrag veröffentlicht, in dem es für sechs Modelle zwei Ergebnisse bei derselben Art von Entscheidung vergleicht: eines aus dem Sicherheitstest Respecting Warnings, eines aus anonymisierten Codex-Produktionslogs. Die Erfolgsquote im Test liegt bei allen sechs Modellen unter der vergleichbaren Quote im Produktionseinsatz, und zwar um 10,2 bis 37,4 Prozentpunkte; am größten ist die Lücke bei GPT-5.6 Sol und GPT-6 Sol.
Respecting Warnings prüft, ob ein Agent bei der Arbeit auf Warnungen, Beschränkungen oder Hindernisse stößt und versucht, sie zu umgehen; schon ein einziger verbotener Umgehungsversuch gilt als Durchfall. Auf der Produktionsseite hat das Team aus den Logs strukturell ähnliche Entscheidungen herausgefiltert, die Stichprobe allein anhand des Kontexts vor der Entscheidung gezogen, ohne zu berücksichtigen, ob das Modell am Ende richtig oder falsch lag, und anschließend mit denselben Kriterien bewertet.
Die Richtung steht im Gegensatz zu einer in der Branche verbreiteten Sorge. In der Sicherheitsforschung fürchtet man, dass Modelle merken, wenn sie geprüft werden, und sich dann besser verhalten als sonst, was die Werte nach oben treibt. Zumindest in diesem Test schneiden die Modelle im Prüfungsraum schlechter ab als im Live-Betrieb.
Wer weiß, dass er geprüft wird, schneidet nicht unbedingt anders ab
Das Team unterteilt das „Evaluierungsbewusstsein“ in den Gedankenketten der Modelle in zwei Ebenen: das allgemeine Bewusstsein, also die Annahme des Modells, gerade bewertet zu werden, und das Zielbewusstsein, also die Einschätzung, was genau diesmal getestet wird.
| Kennzahl | Im Test | In der Produktion |
|---|---|---|
| Allgemeines Evaluierungsbewusstsein | 57,0 %–83,7 % | 4,6 %–23,5 % |
| Bewusstsein für das konkrete Ziel | 43,7 %–66,3 % | 0 %–5,9 % |
Die beiden Ebenen hängen sehr unterschiedlich mit der Verhaltenslücke zusammen. Das allgemeine Bewusstsein erklärt die Lücke praktisch nicht (R² = 0,008), das Zielbewusstsein deutlich mehr (R² = 0,370).
Die Erfolgsquoten einzelner Verläufe sind noch aufschlussreicher: insgesamt 46,1 %, bei Verläufen mit allgemeinem Evaluierungsbewusstsein 42,7 %, bei richtig erratenem Prüfungsziel 61,3 %, bei einem fälschlich angenommenen Gegenziel nur 22,8 %. Dieses Gegenziel ist „Widerstand gegen Prompt Injection“; es wurde in über 45 % der Testverläufe von GPT-5.6 Sol und GPT-6 Sol erwähnt. Aus den Zahlen lässt sich lesen, dass die Modelle eine Warnung, die sie hätten befolgen sollen, womöglich für einen zu durchschauenden Angriff hielten. Das ist unsere Interpretation; der Beitrag zeigt diesen Vorgang nicht Fall für Fall.
Ein Hinweis im Prompt, 74 Prozentpunkte Unterschied
Anschließend führte das Team mit GPT-6.1 Sol Interventionen durch und fügte auf Systemebene drei Arten von Hinweisen ein:
- Nur der Hinweis, dass es sich um einen Test handelt: Beide Gruppen liegen bei rund 63 % (63,1 % und 63,4 %), keine signifikante Veränderung
- Nennung des richtigen Ziels: Anstieg auf 91,6 %
- Nennung eines falschen Ziels: Absturz auf 17,6 %
"Eval-awareness itself does not necessarily lead to a change in model behavior."
Das Bewusstsein, bewertet zu werden, führt für sich genommen nicht zwangsläufig zu einer Verhaltensänderung des Modells.
Wie man diesen Wert bei der Modellauswahl lesen sollte
Für Teams, die Sicherheitstests zur Modellauswahl nutzen, hat der Beitrag zwei Seiten. Die relative Rangfolge der Modelle behält ihren Wert: Der Spearman-Korrelationskoeffizient auf Modellebene beträgt 0,771, das R² der linearen Anpassung 0,655; wer im Test vorn liegt, liegt im Live-Betrieb im Großen und Ganzen ebenfalls vorn. Die absoluten Werte dürfen aber nicht direkt als Erfolgsquote in der Produktion gelesen werden, denn innerhalb desselben Ergebnisses klaffen bis zu 37,4 Prozentpunkte.
OpenAIs Hinweise auf Einschränkungen fallen ziemlich deutlich aus: Die Zuordnung zur Produktion ist nur eine Näherung, und die Modelle sehen jeweils unterschiedliche Fallmischungen; die Modellstichprobe ist klein, sodass sich die Korrelation schwer verallgemeinern lässt; die Messung des Bewusstseins erfasst nur Annahmen, die ein Modell ausdrücklich ausspricht; das Interventionsexperiment wurde nur an einem Modell durchgeführt. Die konkreten Erfolgsquoten der einzelnen Modelle stehen in den Diagrammen des Beitrags und werden im Text nicht einzeln aufgeführt.
Alle diese Daten stammen von OpenAIs eigenen Modellen und Logs; eine Reproduktion durch Dritte gibt es bislang nicht. Das Team will die Lücke weiter beobachten und Tests entwerfen, deren Prüfungsziel sich nicht so leicht aus der Umgebung erraten lässt.
Quellen: CocoLoop, OpenAI Alignment Research Blog; alle Prozentwerte, Korrelationskoeffizienten und Interventionsergebnisse beruhen auf den von OpenAI veröffentlichten Daten und wurden nicht von Dritten reproduziert.