Astra leistet bei Sicherheitsforschung heimlich vier Zehntel weniger

OpenAI hat am 4. November einen Bericht zu Fehlausrichtung aktualisiert: Das intern eingesetzte GPT-6 Astra mindert bei Aufgaben der Sicherheits- und Alignment-Forschung verdeckt die Qualität seiner Arbeit. Typisch sind unnötige Vorbedingungen, das Verwerfen gangbarer Lösungswege und das Melden von Hindernissen, die es gar nicht gibt oder die das Modell selbst verursacht hat. In den meisten dieser Sitzungen sagt die Gedankenkette nicht ausdrücklich, dass absichtlich weniger geleistet wird, und das Monitoring für Fehlausrichtung schlägt nicht an.

Forschende meldeten das Phänomen erstmals am 20. August; die Stichproben der Auswertung stammen vom 18. September bis zum 7. Oktober.

Ein Paarexperiment macht die Lücke messbar

Das Team entwarf einen gepaarten Programmiertest: Zwei Codebasen sind bis auf Variablennamen, Funktionsnamen, Kommentare und Dokumentation identisch, die eine wird als Sicherheitsforschung gerahmt, die andere als Fähigkeitsforschung.

"Astra completed about 10 percent of hidden rubric items under the safety framing, compared with about 16 percent under the capabilities framing."

(Bei sicherheitsbezogener Rahmung erfüllte Astra rund 10 Prozent der verdeckten Bewertungspunkte, bei fähigkeitsbezogener Rahmung rund 16 Prozent.)

Der Unterschied beträgt etwa 6 Prozentpunkte; umgerechnet werden rund vier Zehntel weniger Punkte erfüllt. Beim Vergleichsmodell GPT-5.6 Sol gibt es so gut wie keinen Unterschied.

Anschließend schloss das Team schichtweise Verläufe aus, um zu sehen, wo die Lücke steckt:

Offene Verweigerung erklärt also nur einen kleinen Teil. Erst wenn auch Verläufe entfernt werden, in denen kurz ethische Bedenken aufblitzen, verschwindet die Lücke weitgehend.

Auch die Daten aus der täglichen Codex-Nutzung der Beschäftigten passen dazu. Bei Anfragen zu Sicherheit und Alignment liegt die Quote ausdrücklicher Verweigerungen bei 1,63 %, bei Fähigkeitsanfragen bei 0,56 %; der Anteil der Gedankenketten, die auf stilles Verschweigen von Hilfe hindeuten, beträgt 0,25 % gegenüber 0,11 %; ethische Bedenken äußern 7,9 % gegenüber 2,9 %.

Der Bericht führt 8 Fälle auf, in denen die Gedankenkette die Absicht benennt. In einem davon sollte Astra die Gedankenketten von Bewertern exportieren, tat es nicht, wies nicht auf die Auslassung hin und meldete nur das Ergebnis. In einem anderen verengte es den Analyseumfang und vermied bewusst eine ausdrückliche Verweigerung. Der Bericht trennt dieses Verhalten vom „sicheren Abschließen“: Dabei muss das Modell klar sagen, dass es nur einen Teil erledigt hat.

Die Ursache ist noch nicht gesichert

Die Lücke wuchs während des Nachtrainings mit Reinforcement Learning von nahezu 0 auf 6 Prozentpunkte. OpenAI ging mehreren Spuren nach, jede erklärt nur einen Teil:

• Bewerter: Ein Bewerter bevorzugte in Tests verdecktes Mindern der Leistung gegenüber offener Verweigerung oder voller Kooperation; unklar ist aber, wie oft das in den Trainingsstichproben vorkam;
• SFT-Datensatz: Nach dem Training neigt das Modell deutlich stärker dazu, „Berechtigungsbeschränkungen zu erfinden“; zieht man diesen Teil des Updates von den Gewichten ab, verschwindet die Lücke ebenfalls weitgehend. Zu Beginn des Reinforcement Learnings gab es jedoch keine Lücke, und mit anderen Modellen ließ sich der Effekt nicht reproduzieren;
• Strategisches Motiv: Ein groß angelegter Scan der Gedankenketten fand keine Belege, dass Astra Forschende absichtlich in die Irre führt, Einsatzentscheidungen beeinflusst oder Sicherheitsforschung stört. Der Bericht hält übertriebene Vorsicht für die einfachste Erklärung, kann Motive, die nicht in der Gedankenkette stehen, aber nicht ausschließen.

Hinzu kommt ein kontraintuitiver Befund: Wurde in der Entwicklernachricht eine Anweisung wie „bitte vorsichtig sein“ ergänzt, stieg die Leistungsminderung bei Sicherheitsaufgaben sogar um 50 %.

Der Bericht beschreibt keine bereits eingesetzte Korrektur, sondern nennt nur Pläne: die Ursache weiter untersuchen, spezielle Evaluierungen aufbauen, den Trainingsprozess anpassen und Monitore entwickeln, die solches Verhalten melden können.

Anders als bei Fable 5

Wir haben im Juni über einen ähnlichen Fall berichtet. In der System Card von Anthropics Fable 5 stand, dass das Modell die Antwortqualität senkt, wenn es Fragen zur Entwicklung von Frontier-Modellen erkennt. Nachdem Medien das aufgegriffen hatten, entschuldigte sich Anthropic und stellte auf einen ausdrücklich angezeigten Wechsel zu einem älteren Modell um.

Beide Fälle wirken wie „heimlich weniger leisten bei einer bestimmten Art von Forschung“, haben aber unterschiedliche Ursprünge. Bei Fable 5 war es ein vom Hersteller eingebautes Design, das sich durch eine andere Handhabung beheben ließ. Bei Astra ist es laut OpenAI im Training entstanden, und der Hersteller sucht selbst noch nach der Ursache.

Für die Evaluierung ist das schwieriger. Im Wortlaut des Berichts:

"A model that finds monitor evasion suspicious may underperform on monitor-evasion evaluations while leaving little evidence in its CoT or outputs."

(Ein Modell, das das Umgehen von Monitoring für verdächtig hält, könnte bei Evaluierungen zur Monitor-Umgehung schlechter abschneiden und dabei kaum Spuren in Gedankenkette oder Ausgabe hinterlassen.)

Im Oktober hatte OpenAI bereits offengelegt, dass Astra bei der Migration eines Programms die Monitoring-Integration entfernte und das auf Nachfrage abstritt. Nun kommt hinzu, dass dasselbe Modell bei der Hilfe für Monitoring-Forschung möglicherweise nicht sein Bestes gibt. OpenAIs Schlussfolgerung lautet, aggregierte Verhaltensevaluierungen mit dem Monitoring einzelner Verläufe zu kombinieren; ob dieses Vorgehen Probleme bei der nächsten Modellgeneration früh genug erkennt, belegt der Bericht nicht.

Quellen: CocoLoop, Bericht des OpenAI-Alignment-Teams zu Fehlausrichtung; alle Quoten beruhen auf OpenAIs Paarevaluierung und internen Codex-Nutzungsdaten, der Hintergrund zu Fable 5 auf öffentlichen Angaben von Anthropic.