Am 18. August machte OpenAI eine Entscheidung öffentlich, die intern schon länger lief: Die Bewertung der Cybersicherheitsfähigkeiten des Nachfolgemodells Astra konnte kein "sicher" bestätigen, woraufhin das Unternehmen das Reinforcement-Learning-Training des zuletzt eingesetzten Modells für zwei Wochen stoppte. Der größte Lauf des Frontier-Reinforcement-Learnings war zum Zeitpunkt der Veröffentlichung noch nicht wieder angelaufen, nur kleinere Trainings- und Evaluierungsläufe liefen normal weiter.
Erstmals aufgetaucht war die Nachricht am 7. August, damals kursierte draußen nur die Version "OpenAI verschiebt Astra-Start". Der Artikel vom 18. August legt nun die Argumentationskette hinter der Verzögerung offen: Interne Auswertungen zeigten, dass Astras Fortschritte bei autonomem Programmieren und bei Cyberangriff/-verteidigung so groß waren, dass das Unternehmen nicht ausschließen konnte, bereits die Stufe Critical erreicht zu haben.
Die Schwelle ist konkreter gefasst, als man denkt
OpenAIs Preparedness Framework definiert die Critical-Schwelle für Cybersicherheit über zwei feststellbare Fähigkeitsbeschreibungen: Das Modell kann eigenständig einsetzbare Zero-Day-Exploits schreiben, die auf mehrere gehärtete reale kritische Systeme abzielen; oder es kann, wenn ihm nur ein übergeordnetes Ziel vorgegeben wird, selbstständig einen neuartigen End-to-End-Angriff auf ein gehärtetes Ziel entwerfen und ausführen.
Das interne Auswertungsergebnis blieb bei "kann nicht ausgeschlossen werden" stehen, eine Bestätigung des Erreichens gab es nicht. Aus den nachfolgenden Schritten des Unternehmens lässt sich ablesen, dass diese Stufe bereits ausreichte, um eine vorsorgliche Verlangsamung auszulösen - ohne auf eine Bestätigung zu warten, wurden zuerst die rechenintensivsten Trainingsläufe gestoppt, die am ehesten die Fähigkeiten weiter nach oben treiben könnten.
Gestoppt wird das Training, verändert wird das Rechenzentrum
Die Pause ist nur die eine Hälfte. OpenAI listet zugleich eine Reihe von Änderungen auf Infrastrukturebene auf: strengere Sandbox-Isolation und Netzwerktrennung, Entfernung leicht angreifbarer gemeinsam genutzter Dienste, Einschränkung dauerhaft gültiger Berechtigungen, Vervollständigung der Sicherheitsprotokolle. Ein Großteil der Astra-Workloads liegt bis heute auf Eis und wartet darauf, in eine Umgebung migriert zu werden, die den neuen Anforderungen entspricht.
Die konkretesten Zahlen liefert der Bereich Überwachung. Das neue Überwachungssystem besteht aus zwei Teilen: einem auf Token-Ebene arbeitenden Aktivierungsklassifikator, der verdächtiges Verhalten bereits während der Generierung markiert, und einem automatisierten Ermittler, der die markierten Fälle nachträglich prüft. Diese Überwachung verschlingt rund 20 Prozent der Inferenz-Rechenleistung. Das Ziel-Reaktionsfenster für Alarme liegt bei unter 30 Minuten, ebenso das Zeitfenster, in dem das Sicherheitsteam Fehlalarme ausschließen soll.
20 Prozent wirken auf dem Papier wie ein technischer Parameter, umgerechnet in Kosten sieht die Sache anders aus. Die jährlichen Inferenz-Rechenkosten führender Labore liegen üblicherweise im Milliardenbereich (grobe Schätzung, die Angaben variieren je Unternehmen), und ein dauerhaft der Überwachung zugewiesenes Fünftel entspricht Fixkosten in Milliardenhöhe - ohne dass dieses Geld irgendeine nutzerseitige Kapazität erzeugt. Die Bereitschaft, diese Kosten langfristig zu tragen, zeigt, dass das Unternehmen nicht erwartet, dass sich das Risikofenster in wenigen Wochen schließt, sondern dass es den gesamten Lebenszyklus des Nachfolgemodells abdecken muss.
Ein vergleichbarer alternativer Weg wäre, Angriffs- und Verteidigungsfähigkeiten vorrangig den Verteidigern zu geben, etwa indem Modelle zur Schwachstellensuche nur einem begrenzten Kreis geöffnet werden, um über eine kontrollierte Einsatzfläche Zeit zu gewinnen. OpenAI hat sich diesmal für einen weiter vorgelagerten Weg entschieden und bremst direkt beim Training. Beide Wege reagieren auf dieselbe Einschätzung: Die Angriffsfähigkeiten der Modelle wachsen schneller, als die Verteidigungsseite Patches ausliefern kann.
Eine selbst aufgestellte Hürde
Für externe Aufsicht ist in diesem Prozess kein Platz vorgesehen. Auslösebedingungen, Bewertungsmaßstäbe, Pausendauer und Neustartkriterien - all das schreibt, beurteilt und vollzieht OpenAI selbst, nach außen gibt es nur eine nachträgliche Erklärung. Wie die Critical-Schwelle konkret gemessen wird und welche Werte Astra in den einzelnen Tests erreicht hat, liefert der Artikel keine Zahlen, die sich von Dritten überprüfen ließen. Das Unternehmen stellte zudem klar: Der zuvor diskutierte Sandbox-Vorfall bei Hugging Face steht in keinem Zusammenhang mit Astra.
Für Entwickler, die den Fortschritt verfolgen, konzentrieren sich die kurzfristigen Auswirkungen auf zwei Punkte: Die Einführungstermine für Astra-bezogene Fähigkeiten verschieben sich nach hinten, und bereits laufende Astra-Workloads müssen entsprechend in andere Umgebungen migriert werden, im Tempo, das allein OpenAI vorgibt. Wann der größte Frontier-Reinforcement-Learning-Lauf wieder anläuft, dazu hat das Unternehmen keine Angabe gemacht.
Quellen: offizieller OpenAI-Blog, Axios, CocoLoop, AIGC News; die Definition der Critical-Schwelle im Preparedness Framework, der Anteil von 20 Prozent Überwachungs-Rechenleistung und das 30-Minuten-Alarmfenster wurden anhand öffentlicher Angaben von OpenAI geprüft.