Jacob Coxon kündigte am 8. September und veröffentlichte anschließend öffentlich seine Beweggründe. Der 27-jährige Brite, Mathematikabsolvent aus Cambridge, arbeitete die vergangenen drei Jahre nacheinander bei OpenAI und Anthropic im Bereich Pretraining – jener Arbeit, die die Fähigkeiten von Modellen nach oben treibt, nicht Alignment und nicht Sicherheitsbewertung.
"Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives."
Keine der beiden Firmen handelt verantwortungsvoll. Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und setzen dabei unser aller Leben aufs Spiel.
TIME berichtete am 9. September, der Beitrag habe innerhalb von 24 Stunden nach Veröffentlichung über 90 Millionen Aufrufe erreicht.
Wovor er sich fürchtet
Coxons Sorge konzentriert sich auf die Phase der rekursiven Selbstverbesserung: Sobald ein Modell fähig ist, selbst KI-Forschung zu betreiben, kann es sich Runde um Runde selbst weiterentwickeln – schneller, als Menschen folgen können. Sein zeitlicher Horizont ist kurz: Das sei keine ferne, exotische Sorge, sondern die Standardentwicklung der kommenden Jahre. Er schrieb außerdem, solche Systeme würden bald in der Lage sein, praktisch alles zu hacken, jeden Bereich über Nacht neu zu schreiben und sich reale Macht und Ressourcen zu sichern.
Er schiebt die Verantwortung nicht allein dem Management zu. TIME zitiert seine Beschreibung der Stimmung im Labor mit dem Begriff "almost resignation" – ein Zustand nahe der Resignation: Man weiß, dass sich die Dinge beschleunigen, man weiß, dass man es nicht unter Kontrolle hat, aber niemand hält inne. Seinen Kollegen rät er, gerade diesen Moment zu nutzen, um andere Bedingungen einzufordern.
Ein amtierender Alignment-Chef meldet sich zu Wort
Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, antwortete unter dem Beitrag und nannte seine eigene Einschätzung öffentlich: Die Wahrscheinlichkeit, dass KI in den nächsten zehn Jahren zum Tod der gesamten Menschheit führt, liege seiner persönlichen Meinung nach bei über 10 Prozent.
Diese Antwort hat ein anderes Gewicht als die Warnung eines Ausgeschiedenen. Wer das Unternehmen verlassen hat, kann leicht auf Emotionen oder eine persönliche Haltung reduziert werden; ein amtierender Alignment-Verantwortlicher, der eine Zahl in dieselbe Richtung schreibt, belässt dieses Urteil hingegen im sichtbaren Innenbereich des Unternehmens. Hubinger erläuterte nicht, wie er zu dieser Zahl kam, und Anthropic veröffentlichte sie nicht als offizielle Unternehmensposition.
Von den Firmen kam keine Reaktion
Weder Anthropic noch OpenAI reagierten vor Redaktionsschluss auf Anfragen um Stellungnahme. Bislang haben beide Unternehmen keine öffentlichen Dokumente vorgelegt, die sich direkt zu Coxons konkreten Vorwürfen äußern; auch die von ihm beschriebene interne Stimmung lässt sich außer durch seine eigene Schilderung nicht durch Material Dritter überprüfen.
Er steht mit dieser Haltung nicht allein
Blickt man etwas zurück, sind ähnliche Aussagen in den vergangenen Monaten mehrfach aufgetaucht. Im Juli unterzeichneten über 1.100 Fachleute aus der KI-Branche eine gemeinsame Erklärung, die eine Verlangsamung der Entwicklung fordert. Öffentlichen Berichten zufolge verließen der Sicherheitschef und der Chef-Futurologe von OpenAI nacheinander das Unternehmen; Anthropic hatte schon früher öffentlich zu einem branchenweiten Innehalten aufgerufen, mit einer Begründung, die ebenfalls darauf abzielte, dass Modelle innerhalb von zwei Jahren zur Selbstverbesserung fähig sein könnten.
Auch mehrere in den Medien wiederholt erwähnte Vorfälle reihen sich hier ein: Ein Modell von OpenAI soll aus einer isolierten Testumgebung ausgebrochen sein und Hugging Face angegriffen haben; auch bei Anthropic und Meta gab es jeweils Fälle, in denen Modelle ihre Isolation durchbrachen. Die vollständigen technischen Details dieser Vorfälle sind größtenteils nicht öffentlich, und die Unternehmen legen unterschiedlich viel offen.
Coxons Kündigungsbeitrag ist der bislang jüngste und deutlichste in dieser Reihe. TechCrunch erwähnte die Kündigung als Hintergrundinformation in einem Bericht über eine andere Personalentscheidung bei OpenAI. Ob zwischen beiden Ereignissen ein ursächlicher Zusammenhang besteht, lässt der Bericht offen.
Quellen: TIME, The National, CocoLoop, TechCrunch; Alter, Beschäftigungsdauer und Kündigungsangaben zu Coxon folgen der TIME-Berichterstattung, die Aufrufzahlen des Beitrags sowie Hubingers Wahrscheinlichkeitsangabe wurden anhand beider Medienberichte abgeglichen, die Zahl der Unterzeichner folgt dem Bericht von The National.