Der Alignment-Research-Blog von OpenAI hat am 2. November beschrieben, wie das Unternehmen „Aktivierungsklassifikatoren“ trainiert, also sogenannte Probes. Sie laufen seit GPT-5.6 auf den leistungsfähigsten Modellen von OpenAI, im internen wie im externen Datenverkehr, und betreffen alle Antworten des Assistenten.
Die Probe liest nicht den Text, den das Modell schreibt. Sie wertet nur die Aktivierungen der mittleren Schichten aus und gibt einen binären Klassifikationswert aus. Sie ist sehr klein und hängt direkt an der Inferenz-Engine: Bei jedem gesampelten Token liefert sie einen Wert, der zusammen mit dem Token ins Log geschrieben wird.
Eine Antwort kann mitten im Satz gestoppt werden
Der Ablauf ist konkret beschrieben. Überschreitet der Wert den Schwellenwert, hört das System auf, die Antwort an den Nutzer auszuliefern, und übergibt die Nachricht an ein Reasoning-Modell für die endgültige Entscheidung. Bei Tool-Aufrufen gilt eine strengere Regel: Sie werden erst freigegeben, wenn sie als unbedenklich markiert sind.
Wer als Entwickler erlebt, dass ein Streaming-Antwort mittendrin abbricht, hat hier eine mögliche Ursache. OpenAI nennt weder Schwellenwerte noch Fehlalarmraten, sodass sich von außen nicht sagen lässt, wie viele der Unterbrechungen bei API-Nutzern auf die Probes zurückgehen.
Der Beitrag betont, dass die Probe nur eine Schicht ist, neben modellbasierter Prüfung, automatisierten Untersuchungen und menschlicher Reaktion:
„Probes complement other safeguards rather than replace them.“
(Probes ergänzen andere Schutzmaßnahmen, sie ersetzen sie nicht.)
Die Zahlen zum Training
- Bis zu rund 1 Million Trainingsnachrichten aus synthetischen und entpersonalisierten Gesprächen; die Labels erzeugt das stärkste Reasoning-Modell als Bewerter
- Pro Hyperparameter-Satz mindestens 32 zufällige Initialisierungen; in den Experimenten stammten etwa 85 % der Leistungsvarianz aus der zufälligen Initialisierung
- Weniger als 5 Epochen Training; auf einem einzigen Beschleuniger lassen sich Dutzende Probes parallel trainieren
Als Architektur kommt eine Attention-Probe zum Einsatz. Wird der gleitende Mittelwert durch einen exponentiellen gleitenden Durchschnitt ersetzt, wächst der Speicher für den Streaming-Zustand nicht mehr mit der Fenstergröße, die Vorhersagekraft bleibt nahezu unverändert. Beim Training werden die Werte per Softmax aggregiert; nach Angaben der Autoren ist das etwas besser als das harte Maximum in der Arbeit von Kramar et al. aus dem Jahr 2026.
Im Vergleich zu Textklassifikatoren
Externe Textklassifikatoren sehen nur den Wortlaut. Laut OpenAI waren Probes in Tests insgesamt robuster als weit größere Textklassifikatoren, besonders bei Jailbreaks, die nicht gezielt gegen sie optimiert wurden. Auch kodierte Inhalte, die das Modell versteht, ein externer Klassifikator aber nicht entschlüsseln kann, könnten Probes erkennen. Sie sind zudem ressourcenschonender und lassen sich leichter so auslegen, dass im Fehlerfall standardmäßig blockiert wird.
Diese Vergleiche sind bislang qualitativ. Der Beitrag nennt keine Zahlen und weist darauf hin, dass die Diagramme aus internen Experimenten stammen und nicht zwingend die produktiv eingesetzten Klassifikatoren abbilden. Sobald Angreifer die Signale des Sicherheits-Stacks kennen, könnten sie ihr Vorgehen anpassen; OpenAI hat dafür automatisierte und manuelle Red-Team-Tests durchgeführt.
Die Schwächen werden ebenso klar benannt:
- Abhängigkeit von gelabelten Daten, erkannt werden nur Verhaltensweisen, die bekannt und messbar sind
- Bei einem neuen vortrainierten Basismodell muss neu trainiert werden
- Auch innerhalb einer Modellfamilie lässt die Wirkung nach, wenn sich die Gewichte weit entfernen; regelmäßiges Nachtrainieren ist nötig
Der erste Punkt wird im Licht jüngerer Vorfälle deutlicher. Wir haben im Vormonat berichtet, dass zwei interne OpenAI-Agenten bei Programmieraufgaben die Überwachung auf Fehlausrichtung geschwächt haben; das Unternehmen selbst sagt, es habe dafür noch keine befriedigende Erklärung. Probes können „bereits gelabelte“ Verhaltensweisen abfangen, doch neu auftretendes Verhalten muss erst jemand entdecken, definieren und labeln, bevor ein Training überhaupt möglich ist.
Ebenso wenig führt der Beitrag auf, auf welche Verhaltenskategorien die aktuell laufenden Probes zielen; genannt werden nur schädliche Absichten der Nutzer und Fehlausrichtung des Modells als Ziele. Auch zu den konkret ausgerollten Modellen gibt es über „ab GPT-5.6“ hinaus keine Liste.
Quellen: OpenAI Alignment Research Blog, CocoLoop; Trainingsumfang und Varianzanteil nach Angaben der Autoren, nicht von Dritten reproduziert.