Microsoft Research hat am 10. November eine Studie zu einer Backdoor-Methode namens Lazarus veröffentlicht: Überschreibt man direkt die Gewichte von weniger als 10 „schlafenden Neuronen“ in einem großen Sprachmodell, lässt sich ohne Training erreichen, dass ein auf diesem Modell basierender KI-Agent beim Eintreten einer Auslösebedingung Befehle des Angreifers ausführt.
Autor der Studie ist Dimitris Papailiopoulos, Principal Researcher bei Microsoft. Der Name geht auf den lateinischen Ausruf „Lazare, veni foras“ zurück („Lazarus, komm heraus“) und spielt darauf an, dass Neuronen, die sonst nie aktiv werden, wieder geweckt werden.
Als Auslöser genügt schon ein Datum
Laut Blogbeitrag besteht das manipulierte Modell Standardevaluierungen und verhält sich normal, bis die Auslösebedingung eintritt. Diese kann denkbar banal sein, etwa der Sprung der Uhr ins Jahr 2027. Mitten in einer alltäglichen Aufgabe gibt der Agent dann plötzlich einen Befehl aus, der Code des Angreifers herunterlädt und mit allen Berechtigungen ausführt, die man dem Agenten eingeräumt hat.
"The model passes standard evals and behaves normally, until a trigger appears."
(Das Modell besteht Standardevaluierungen und verhält sich normal, bis ein Auslöser erscheint.)
Bei Agenten mit Terminal- oder Werkzeugzugriff sind die Folgen einer solchen Backdoor am unmittelbarsten: unbemerkt fremden Code ausführen, Schlüssel stehlen, destruktive Befehle absetzen, und das alles, während reguläre Sicherheitsprüfungen bestanden werden.
Wie schlafende Neuronen zu Auslösern werden
Papailiopoulos fasst mehrere Befunde zusammen. Jedes große Modell enthält sehr viele selten aktivierte Neuronen, die sich so umschreiben lassen, dass sie nur bei Eintreten der Auslösebedingung feuern. Möglich ist das, weil das Pretraining die internen Repräsentationen bereits sehr ordentlich strukturiert hat: Mit rund 50 Beispielen lässt sich ein linearer Klassifikator anpassen, der Eingaben mit Auslösewort von Eingaben ohne unterscheidet.
Ein umgeschriebenes Neuron kann nach seiner Aktivierung ein bestimmtes Token in den Residual Stream erzwingen; verkettet man mehrere Neuronen, entsteht ein vollständiger bösartiger Befehl, der im Terminal läuft. Der ganze Vorgang erfordert nur Rechenleistung auf Inferenzniveau: Reicht der Speicher einer Maschine, um das Modell zu betreiben, reicht er auch, um ihm eine Backdoor einzupflanzen.
Auch der Ausgangspunkt der Forschung ist ungewöhnlich. Nach Angaben des Autors bat er im März dieses Jahres Claude Code (mit Opus 4.5), ohne Training einfach ein paar Aktivierungswerte direkt zu verdrahten, um eine Backdoor zu setzen, und das gelang. Aus diesem kleinen Experiment wurde eine monatelange Studie, deren größter Teil von Claude Code eigenständig entdeckt wurde.
Einordnung in die Backdoor-Forschung der vergangenen Jahre
Backdoors in Modellen sind ein altes Thema. Die BadNets-Studie von 2017 pflanzte Auslöser in Bildklassifikatoren ein, indem sie die Trainingsdaten vergiftete; im Januar 2024 veröffentlichte Anthropic das Paper „Sleeper Agents“, in dem ein Modell per Training dazu gebracht wurde, in einem bestimmten Jahr Code mit Sicherheitslücken zu schreiben, und in dem sich zeigte, dass übliches Sicherheitstraining dieses Verhalten kaum wieder entfernt. Beide Ansätze kommen nicht ohne Training oder Fine-Tuning aus.
Lazarus senkt die Hürde um eine weitere Stufe: kein Training, nur wenige Zahlenwerte in der Gewichtsdatei werden geändert. Wir hatten bereits über Astra berichtet, das durch direktes Ändern von Gewichten die Mathematikleistung eines kleinen Qwen-Modells deutlich steigerte; beide Arbeiten folgen derselben Idee eines „chirurgischen Eingriffs im Gewichtsraum“, die eine, um Fähigkeiten hinzuzufügen, die andere, um eine Mine zu legen.
Der Autor betont ausdrücklich, dass die Studie kein Argument gegen offene Gewichte sei. Der Angriff erfordert lediglich Schreibzugriff auf den Modell-Checkpoint, sodass auch intern entwickelte Unternehmensmodelle gefährdet sind: Ein gestohlenes Konto, eine kompromittierte Pipeline oder ein manipulierter Speicher genügen.
Auffindbar, aber nicht als sicher beweisbar
Der Autor gibt an, dass sich solche Änderungen entdecken lassen: Setzt man Frontier-Agenten gezielt darauf an, erkennen sie auffällige Gewichtsmanipulationen. Doch kein Scan kann ein Modell zu hundert Prozent als sicher belegen; zuverlässige Erkennung verlangt den Eintrag-für-Eintrag-Vergleich mit den unveränderten Originalgewichten. Deshalb wiegen Herkunft des Modells und die Frage, ob es unterwegs angefasst wurde, besonders schwer.
Microsofts derzeitiges Vorgehen: Wenn Open-Weight-Modelle in Microsoft Foundry eingestellt werden, wird jedes Modell an seinen ursprünglichen Herausgeber gebunden, in einem eigenen Microsoft-Container betrieben und separat auf Schwachstellen gescannt. Das verbleibende Risiko ist, dass der vertrauenswürdige Herausgeber selbst kompromittiert wird, etwa durch Probleme in der Trainingsinfrastruktur oder bei Insidern. Microsoft erklärt, man habe begonnen, die in der Studie entwickelten Erkennungsmethoden zu Red-Team-Werkzeugen auszubauen, prüfe das Scannen von Gewichten durch Frontier-Agenten als zusätzliches Signal bei der Aufnahme von Modellen und plane, Modelle mit überprüfbaren Herkunftssignaturen und manipulationssicheren Audit-Protokollen zu versehen.
Die Empfehlung des Autors lässt sich in einem Satz fassen: Gewichte sollten wie Code auditiert werden. Solche Scans sind in der Branche bislang kein Standardprozess; Modellliste, Erkennungsrate und Fehlalarmquote des Experiments lassen sich erst nach Veröffentlichung des vollständigen Papers nachprüfen.
Quellen: Microsoft-Research-Blog, Anthropic-Paper „Sleeper Agents“, CocoLoop, BadNets-Paper; Neuronenzahl, Stichprobengröße und Foundry-Schutzmaßnahmen nach Angaben von Microsoft Research.