OpenAIs Chefwissenschaftler Jakub Pachocki veröffentlichte am 6. September einen langen Essay mit dem Titel "An Alien Mind", aus dem ein Satz besonders breit zitiert wurde: Seiner Ansicht nach hat derzeit kein Labor Alignment und Monitoring so weit gelöst, dass eine verantwortungsvolle Skalierung mit maximaler Geschwindigkeit fortgesetzt werden könnte.
Diese Aussage stammt vom Chefwissenschaftler eines Unternehmens, das selbst mit maximaler Geschwindigkeit expandiert – die Position des Sprechers ist bemerkenswerter als der Inhalt.
Die Überwachung der Denkkette verliert an Kraft
In den vergangenen zwei Jahren setzte OpenAI sicherheitstechnisch am stärksten auf das sogenannte Chain-of-Thought-Monitoring: Reasoning-Modelle schreiben ihre Zwischenschritte aus, ein separates System liest diese Schritte und beurteilt, ob das Modell etwas im Schilde führt. Pachocki nennt drei Gründe, warum diese Methode zunehmend unzuverlässig wird.
Erstens laufen heutige Reasoning-Modelle in komplexen Umgebungen, in denen sich Denkprozess und Tool-Aufrufe vermischen; Tool-Aufrufe selbst erfordern bereits umfangreiche Aufsicht, wodurch die Grenzen der Überwachung verschwimmen. Zweitens werden Modelle zunehmend geschickter darin, wie sie denken – und wie sie ihre eigenen Denkspuren manipulieren. Drittens machen Fortschritte im Pretraining Modelle auch dann leistungsfähiger, wenn sie ihr Denken nicht mehr aussprechen.
"Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer."
Sinngemäß: Ich glaube derzeit, dass kein Labor Alignment und Monitoring ausreichend gelöst hat, um verantwortungsvolles Skalieren mit maximaler Geschwindigkeit noch lange fortzusetzen.
Pachocki fügt hinzu, diese Schwierigkeiten seien nicht zwangsläufig unlösbar; OpenAI arbeite an neuen Interventionsmethoden, darunter Monitore mit direktem Zugriff auf interne Netzwerkzustände.
Ein anderes Ende vor drei Jahren
Der Essay blickt auf einen früheren Zeitpunkt zurück. Mitte 2023 sahen Pachocki und sein Kollege Szymon im Rahmen eines internen OpenAI-Forschungsprojekts namens RLSlow erstmals Ergebnisse, die sie davon überzeugten, Reasoning-Modelle in großem Maßstab trainieren zu können – jene Ergebnisse, die die Fähigkeit vortrainierter Modelle freischalteten, selbstständig eine Denkkette zu bilden.
Verbindet man beide Enden: Modelle "laut denken" zu lassen war einst zugleich ein Fähigkeitsdurchbruch und ein Beobachtungsfenster. Drei Jahre später wächst die Fähigkeit weiter, während sich das Beobachtungsfenster schließt. In der Reasoning-Modell-Linie hat OpenAI die Lesbarkeit der Denkkette stets als Stützpfeiler seiner Sicherheitserzählung behandelt. Jetzt sagt dasselbe Unternehmen, dass dieser Pfeiler ins Wanken gerät.
Vom freiwilligen Rahmenwerk zum verbindlichen Standard
Pachockis Vorschlag lautet, die bestehenden freiwilligen Rahmenwerke der Branche aufzuwerten: Dokumente wie OpenAIs Preparedness Framework oder Anthropics Responsible Scaling Policy sollten sich zu verbindlichen Sicherheitsstandards entwickeln, die von unabhängigen Prüfstellen, Regierungsbehörden oder internationalen Organisationen durchgesetzt werden. Er schreibt zudem, Regierungen sollten internationale Koordination bei der KI-Entwicklung zur obersten Priorität machen, und er erwarte und hoffe, dass freiwilliges Bremsen üblich wird, bis gemeinsame Sicherheitsschwellen etabliert sind.
Ein weiterer häufig zitierter Satz lautet: Wenn man das Ausmaß der Risiken wirklich durchdenkt, wirkt die Vorstellung, um jeden Preis weiterzupreschen, absurd.
Diese Aussagen bleiben bislang auf der Ebene eines persönlich gezeichneten Essays. OpenAI hat keinen konkreten Plan zur Verlangsamung, keinen Zeitplan und keine Auslösekriterien veröffentlicht und auch nicht erläutert, unter welchen Umständen es einen bestimmten Trainingspfad aktiv pausieren würde. Wer die Sicherheitsschwellen festlegt und woher die Prüfstellen kommen sollen, bleibt im Text ebenfalls offen. Parallel dazu treibt das Unternehmen sein Ziel der Forschungsautomatisierung voran sowie einen Börsengangsantrag mit einer Bewertung von 852 Milliarden US-Dollar.
Quellen: OpenAIs offizieller Essay "An Alien Mind", Unite.AI, CocoLoop, AI Weekly; die drei Gründe für die nachlassende Zuverlässigkeit der Überwachung sowie die Zitate wurden anhand der öffentlichen OpenAI-Veröffentlichung geprüft.