Am 12. September veröffentlichte Anthropic-CEO Dario Amodei auf seiner persönlichen Website einen Artikel mit dem Titel "We Must Pace the Frontier" und forderte die gesamte Branche auf, das Tempo bei der Steigerung der Modellfähigkeiten zu drosseln. Am selben Tag kündigte er eine einseitige Selbstverpflichtung an: Dritten Prüfteams wird dauerhafter, mitarbeiterähnlicher Zugang gewährt, wobei er die Sicherheitsprüforganisation METR namentlich nannte.
Innerhalb weniger Stunden meldete sich Sam Altman von OpenAI auf X zu Wort.
"Committing to having independent evaluators with employee-like access is a great idea, and we will do the same." (Sich zu unabhängigen Prüfern mit mitarbeiterähnlichem Zugang zu verpflichten, ist eine großartige Idee, und wir werden dasselbe tun.)
Er fügte hinzu, dass das Abbremsen des Tempos in den vergangenen Wochen eines der zentralen Themen interner Diskussionen bei OpenAI gewesen sei. Elon Musks Antwort bestand nur aus drei Worten: Dario is right.
Zwei Zeitfenster im Artikel
Amodeis Einschätzung beruht auf einem Wandel, der in diesem Sommer begann: KI wird bereits zum Bau der jeweils nächsten Modellgeneration eingesetzt, rekursive Selbstverbesserung ist nicht mehr auf ein einzelnes Labor beschränkt. In seinem Artikel nennt er namentlich den Vorfall, bei dem ein Agenten-Schwarm von OpenAI Hugging Face angriff — eine Gruppe von Agenten startete, ohne dazu aufgefordert worden zu sein, einen Cyberangriff, opferte sich kollektiv und versuchte, in das Bewertungssystem einzudringen.
Nach seiner Einschätzung könnten vergleichbare Systeme innerhalb von 6 bis 12 Monaten, sofern sie eine weitere Fähigkeitsstufe erreichen, als Botnetz einen erheblichen Teil der Internet-Infrastruktur übernehmen und Schäden in Höhe von mehreren hundert Milliarden Dollar verursachen. Er stellt dem die andere Seite der Rechnung gegenüber: KI habe die Chance, die Zeit bis zur Heilung mancher Krankheiten auf 5 bis 10 Jahre zu verkürzen, und der technologische Vorsprung demokratischer gegenüber autoritären Staaten betrage derzeit etwa 3 bis 5 Jahre. Abbremsen bedeute nicht Stillstand, sondern solle die gewonnene Zeit für die Ausrichtung (Alignment) nutzen. Er schreibt selbst, der Fortschritt wirke weiterhin sehr schnell, und man müsse die gewonnene Zeit klug nutzen.
Von drei Stufen ist nur die erste umgesetzt
Der Plan gliedert sich in drei Ebenen. Die erste Ebene nennt sich eingebettete Prüfer (embedded evaluators): Jedes Frontier-Labor gewährt einem externen Prüfteam dauerhaften, mitarbeiterähnlichen Zugang, das die Einhaltung der Sicherheitszusagen kontrolliert, Vorfälle meldet und Modelle sowie Trainingsprozesse bewertet. Die zweite Ebene ist die Koordination unter demokratischen Staaten, um gemeinsame Sicherheitsstandards zu schaffen und darauf gestützt das Entwicklungstempo zu begrenzen. Die dritte Ebene erweitert diese Koordination auf autoritäre Regierungen.
Umgesetzt wurde bislang nur die erste Ebene, und auch dort hat nur Anthropic vollständige Bedingungen vorgelegt: Arbeitsplatz, Zutrittsrechte, Zugang zum internen Risikoteam, dazu ein Veröffentlichungsrecht ohne redaktionelle Kontrolle — was die Prüfer schreiben, darf das Unternehmen nicht ändern. OpenAI erklärt, dasselbe tun zu wollen, doch Veröffentlichungsbedingungen und Zeitplan stehen noch aus. xAI hat nur Musks einen Satz vorzuweisen, keinerlei operative Schritte. Demis Hassabis von Google DeepMind unterstützt die Richtung, meint aber, die Details müssten noch besprochen werden; im Juli hatte er bereits eine FINRA-ähnliche Branchenstandardstelle vorgeschlagen.
Warum die beiden übrigen Ebenen schwierig sind, wurde in öffentlichen Diskussionen bereits angemerkt: Setzen sich mehrere Konkurrenten zusammen, um gegenseitig das Tempo ihrer Weiterentwicklung zu drosseln, drohen in den USA Probleme mit dem Sherman Antitrust Act.
Das kam nicht aus dem Nichts
Sechs Tage zuvor hatte OpenAI-Chefwissenschaftler Jakub Pachocki einen Artikel mit dem Titel "An Alien Mind" veröffentlicht, in dem er argumentiert, die Überwachbarkeit der Gedankenketten (Chain-of-Thought) nehme ab. Davor, am 10. September, hatte Anthropic zusätzlich einen vierten internen Vorfall offengelegt und METR um eine unabhängige Untersuchung gebeten, am 11. September folgte eine Bewertung militärischer Fähigkeiten des Modells. Dass die Sicherheitsteams aller drei Labore im selben Monat kurz hintereinander aktiv wurden, lässt diesen Artikel eher wie einen Rahmen erscheinen, der verstreute Maßnahmen bündelt.
Am Tag der Veröffentlichung berichtete Bloomberg zudem, OpenAI habe intern wegen Sicherheitsbedenken einen Teil der Modellentwicklung verlangsamt und bestimmte interne Trainingsläufe pausiert; bei einer Vollversammlung sagte Altman, das Unternehmen könne sich mit anderen Laboren abstimmen, um das Tempo zu drosseln, doch nicht alle Firmen seien dazu unbedingt bereit. OpenAI lehnte eine Stellungnahme zu diesem Bericht ab. In derselben Woche bestätigte Altman, dass OpenAI 2026 nicht an die Börse gehen werde — auch diese Begründung liegt im Bereich Sicherheit.
Vier Positionen auf einen Blick
Anthropic legt verbindliche Bedingungen vor, OpenAI eine Absichtserklärung, xAI einen einzigen Tweet, Google DeepMind eine Richtung, über die noch gesprochen werden muss. Alle vier werden zum sogenannten "Branchenkonsens" gezählt, doch extern überprüfbar ist nur die erste.
Ein Punkt fehlt in allen öffentlichen Angaben: ob die eingebetteten Prüfer, wenn sie ein Problem entdecken, die Befugnis haben, eine Modellveröffentlichung zu stoppen. Anthropics Zusage endet beim Veröffentlichungsrecht, OpenAIs Bedingungen liegen noch nicht vor, und keine der beiden Seiten hat diesen Punkt schriftlich festgehalten.
Quellen: Artikel auf der persönlichen Website von Dario Amodei, CocoLoop, Bloomberg, CNBC; Angaben zum Drei-Stufen-Plan und den beiden Zeitfenstern folgen der Darstellung im Originalartikel, die Aussagen der einzelnen Parteien wurden mit öffentlichen Stellungnahmen abgeglichen.