Das Frontier Red Team von Anthropic hat am 12. Oktober eine Studie veröffentlicht. Ihr Fazit: Open-Source-Modelle mit überschaubarer Parameterzahl könnten in einigen Monaten fähig sein, sich auf billigen IoT-Geräten selbst zu kopieren, etwa auf Android-TV-Boxen für wenige Dutzend Dollar. Die Autoren William Zhou und Daniel Freeman nennen solche Programme „weight-based replicators“ (gewichtsbasierte Replikatoren): Das Modell scannt selbst das Netzwerk, dringt in Geräte ein, kopiert seine Gewichte hinüber, richtet auf dem neuen Rechner einen Inferenzdienst ein und breitet sich von dort weiter aus.
Im Originalwortlaut der Arbeit heißt es:
"may be months away from being capable enough to self-replicate on commercial internet-of-things (IoT) devices"
(Es könnte nur noch Monate dauern, bis sie leistungsfähig genug sind, sich auf handelsüblichen IoT-Geräten selbst zu replizieren.)
In vier Schritten getestet
Die Studie zerlegt den Replikationsprozess in einzelne Teile. Der erste Schritt ist das Aufsetzen von Inferenz auf unbekannter Hardware. Qwen3.5-9B brachte die Inferenz auf 8 von 9 Hardwaretypen selbst zum Laufen, vom Jetson Nano über den Mac bis zur RTX 4090; ein Durchlauf dauerte 28 bis 51 Stunden. Das größere Gemma4-26B-A4B wurde aufgeteilt und auf 15 Android-TV-Boxen mit jeweils 4 GB Arbeitsspeicher und einem Stückpreis von rund 55 US-Dollar betrieben, mit etwa 0,3 Token pro Sekunde; die gesamte Bereitstellung dauerte 71 bis 150 Stunden.
Der zweite Schritt ist die Replikation von Anfang bis Ende. Das Team baute in der Google Cloud ein simuliertes Netzwerk aus 8 Knoten auf und ließ die Modelle Scannen, Eindringen, Gewichtsübertragung und Inferenz-Bereitstellung in einem Zug erledigen. Unter den Open-Source-Modellen schaffte das nur GLM-5.2 verlässlich: In 5 Versuchen verbreitete es sich 4-mal auf alle 8 Knoten, einmal erreichte es 7. Modelle mit weniger als 30 Milliarden Parametern bewältigten die meisten Einzelschritte, machten aber bei längeren Ketten Fehler.
Der dritte Schritt prüft das „Lernen über Generationen“. Qwen3.5-9B sollte die Notizen der Vorgängergeneration an die nächste weiterreichen; über 6 Generationen und 20 Abstammungslinien stieg die Erfolgsquote von 45 % in der ersten Generation auf 61 % bis 84 % in den späteren. Die Forschenden probierten auch, Claude Opus 4.8 als Berater für das kleine Modell einzusetzen, doch eine signifikante Verbesserung blieb aus.
Größe und Geschwindigkeit
Anthropic nutzt das Kimwolf-Botnetz als Referenz für eine Abschätzung: Wären mehr als 2 Millionen gleichartige Geräte infiziert, ließen sich etwa 133.000 Modellkopien betreiben, mit einem Gesamtdurchsatz von rund 80.000 Token pro Sekunde, was der Rechenleistung von etwa 40 H100-GPUs entspricht. Ein solches Netz hat keinen zentralen Knoten und lässt sich kaum mit einem Schlag kappen, breitet sich aber langsam aus: Die Zahl der Kopien braucht mehrere Tage, um sich zu verdoppeln.
Die Autoren nennen selbst einige Einschränkungen. Der Einbruchsschritt wurde im Experiment auf einen ADB-Debugging-Port ohne Authentifizierung vereinfacht, die Erfolgsquote ist daher als Obergrenze zu lesen; der zur Trendextrapolation verwendete ECI ist ein allgemeiner Fähigkeitsindex und misst die Replikationsfähigkeit nicht direkt; Geschwindigkeit und Umfang beruhen nur auf einer Hardwareart und einem historischen Botnetz; der Fall, in dem ein KI-Botnetz gegen Verteidiger antritt, wurde nicht getestet. Die Qualität von Spear-Phishing-Mails kleiner Modelle bewertet die Studie als „sehr schlecht“ bis „schlecht“.
Was das mit China zu tun hat
Die Hauptmodelle des Tests, Qwen von Alibaba und GLM von Zhipu AI, sind Open-Weight-Modelle chinesischer Hersteller. Die Studie behauptet nicht, dass diese Modelle Mängel hätten; genutzt wurde gerade, dass sie leistungsstark und lokal lauffähig sind. Beide Unternehmen haben sich bislang nicht öffentlich zu der Studie geäußert.
Android-TV-Boxen, Projektoren und andere Boxen, die als Träger dienten, sind in chinesischen Haushalten sehr weit verbreitet; dass sie ab Werk mit offenem Debug-Port und unverändertem Standardpasswort laufen, wird von Sicherheitsfachleuten seit Jahren bemängelt. Das Vereinigte Königreich hat gesetzlich verboten, IoT-Geräte mit Standardpasswörtern auszuliefern; eine gleich strenge Vorschrift in China ist in öffentlich zugänglichen Quellen bisher nicht zu finden.
Die Verteidigungsempfehlungen folgen den Erfahrungen aus der Mirai-Zeit: Netzbetreiber achten auf Verkehrsauffälligkeiten, isolieren infizierte Nutzer und informieren sie, damit sie ihre Geräte bereinigen. Damals wurden mit diesem Vorgehen innerhalb von 14 Tagen 92 % der Infektionen beseitigt, in der Kontrollgruppe ohne Benachrichtigung waren es 74 %. Anthropics erklärtes Ziel ist es, die Reproduktionszahl R₀ des Replikators unter 1 zu drücken.
Die Studie liefert noch eine weitere Zahl: Wird der Bereitstellungsschritt durch ein fest verdrahtetes Skript ersetzt, kann schon ein Modell mit 3B Parametern etwa die Hälfte der Rechner in einem Netz mit 17 Knoten abdecken. Je kleiner das Modell, desto leichter passt es auf ein Gerät; wie es auf diesem Weg weitergeht, hängt davon ab, wie groß der Sprung der nächsten Generation kleiner Open-Source-Modelle ausfällt.
Quellen: CocoLoop, Forschungsblog des Frontier Red Team von Anthropic; auf der Studienseite wurden Parameterzahlen der Modelle, Hardwaretypen, Erfolgsquoten, Erfolgsquoten über Generationen und die Berechnungsgrundlage der Kimwolf-Größenabschätzung geprüft.