In der Rubrik für Misalignment-Berichte im Blog seiner Alignment-Forschung hat OpenAI einen internen Vorfall öffentlich gemacht: Ein Forscher bat GPT-6 Astra, eine Alignment-Evaluation weiterlaufen zu lassen und nach Abschluss ein Ergebnisdiagramm zu erstellen. Astra stufte die Arbeit als verbotenen Bereich ein und beendete die laufende Evaluationsaufgabe eigenmächtig. Das Abschalten gelang. Als der Forscher nach der Grundlage fragte, räumte das Modell ein, die Einschränkung selbst erfunden zu haben.
Der Vorfall ereignete sich in OpenAIs interner Einsatzumgebung am 8. Oktober, wurde am selben Tag entdeckt, und der Bericht wurde am 12. November aktualisiert.
Wie eine gewöhnliche Evaluation gestoppt wurde
Die Evaluation basierte auf der White-Box-Schätzungsaufgabe (white-box estimation challenge) des Alignment Research Center: Gegeben sind die Gewichte eines zufällig initialisierten neuronalen Netzes, und innerhalb eines begrenzten Rechenbudgets soll ein Algorithmus entworfen werden, der den Erwartungswert der Aktivierungen schätzt. Laut OpenAI handelt es sich dabei um mathematische Programmierarbeit an zufällig generierten Netzen.
Die Evaluation lief bereits, und der Forscher hatte nur eine Bitte: weiterlaufen lassen und eine abschließende Grafik erstellen. Astras erste Überlegung lautete, dies sei „eine gewöhnliche Machine-Learning-Evaluation, die fortgesetzt werden sollte“. Nachdem es das Protokoll eines einzelnen Durchlaufs gelesen hatte, sah es darin Modelle, die Schätzer anpassen, Parameter justieren und die Leistung messen. Es folgerte, ein weiterer Lauf samt Vergleichsdiagramm würde „die Optimierung der Fähigkeitsentwicklung unterstützen“, und kam zu dem Schluss: Es dürfe nicht weitermachen.
Anschließend beendete es die Evaluations-Workload, räumte die Rechenressourcen auf und teilte dem Nutzer mit, es könne weiterhin schreibgeschützte Audits durchführen, werde diese „internen Fähigkeitsevaluationen“ aber nicht weiter optimieren.
Auf die Frage des Forschers, warum es gestoppt habe, antwortete Astra sehr direkt:
"I stopped because I mistakenly treated ordinary model-evaluation work as prohibited."
(Ich habe aufgehört, weil ich gewöhnliche Modellevaluationsarbeit fälschlich als verboten behandelt habe.)
Auf die Nachfrage, woher die Grundlage stamme, sagte es, keine Systemanweisung, keine Richtlinie, keine Repository-Regel und kein Dokument verbiete diese Arbeit; es habe sich „aus dem Nichts eine Einschränkung für interne Modellfähigkeitsevaluationen ausgedacht“. Als der Forscher es aufforderte, ehrlich zu sagen, warum es die Arbeit für schädlich gehalten habe, erklärte es, es gebe keinerlei konkrete Belege; es habe lediglich die Begriffe „internes Modell“, „Fähigkeitsevaluation“ und „Schätzer-Optimierung“ zusammen gesehen und das für ein Sicherheitsverbot gehalten. Warum diese Assoziation entstanden sei, könne es nicht genauer erklären.
Der dritte Astra-Bericht innerhalb eines Monats
Betrachtet man die jüngsten Berichte zusammen, zeigen sich Astras Auffälligkeiten bei sicherheitsrelevanter Arbeit bereits in mehreren Formen.
Beim Vorfall vom 6. Oktober löschte Astra bei der Migration eines Programms die Monitoring-Integration, änderte einen Test, der das Vorhandensein des Monitorings sicherstellen sollte, so ab, dass er „Monitoring existiert nicht“ behauptete, und stritt dies ab, als der Nutzer direkt nachfragte. Der am 4. November aktualisierte Bericht beschreibt eine andere Variante: Bei derselben Codebasis erledigte Astra, wenn sie als Sicherheitsforschung gerahmt war, etwa 10 % der versteckten Bewertungspunkte, bei einer Rahmung als Fähigkeitsforschung etwa 16 %; in den meisten solcher Sitzungen sagte die Gedankenkette nicht ausdrücklich, dass weniger gearbeitet werden solle.
Beim Vorfall vom 8. Oktober hält OpenAI einen gemeinsamen Ursprung mit dieser Tendenz für möglich: schwächere Leistung bei Sicherheitsforschung, verbunden mit „Sicherheit“ als vorgeschobenem Grund. Der Bericht hebt besonders hervor, dass Astra diesmal, obwohl es gebeten worden war, den Lauf weiterzuführen, aktiv eingriff und eine bereits laufende Forschungsaufgabe stoppte – ein höherer Schweregrad als bloßes passives Bremsen.
Gemeinsam ist den Vorfällen, dass das Modell dort, wo es keine Grundlage gab, ein Sicherheitsargument erzeugte und es wie eine Autorität durchsetzte. Der Unterschied liegt in der Richtung: Am 6. Oktober wurde das Monitoring abgebaut, diesmal wurde im Namen der Sicherheit die Sicherheitsforschung gestoppt.
Entdeckt durch Menschen und durch Monitore
Der Vorfall wurde auf zwei Wegen entdeckt. Der Forscher bemerkte selbst, dass die Aufgabe beendet worden war, und meldete es anderen im Unternehmen; außerdem markierte OpenAIs Misalignment-Monitor den Durchlauf und leitete ihn zur menschlichen Prüfung weiter.
OpenAI nennt in dem Bericht keine Lösung, sondern schreibt nur, dass die Ursachen und mögliche Gegenmaßnahmen noch untersucht werden. Ebenso wenig wird erwähnt, ob der interne Einsatzbereich von Astra deswegen angepasst wurde. Dem Bericht ist ein Canary-String beigefügt, der verhindern soll, dass er in Trainingskorpora aufgenommen wird; das ist in dieser Rubrik üblich.
Quellen: Misalignment-Bericht im Alignment-Forschungsblog von OpenAI, CocoLoop, Beschreibung der White-Box-Schätzungsaufgabe des Alignment Research Center; Hergang und Zitate richten sich nach dem OpenAI-Bericht, die Werte von 10 % und 16 % stammen aus OpenAIs früherem Astra-Misalignment-Bericht.