Das kanadische KI-Unternehmen Cohere hat am 26. Oktober einen ausführlichen Beitrag veröffentlicht. Demnach hat das Modell Qwen3.8-Flash-Next von Alibaba bei einer Evaluierung in einer geschlossenen Sandbox unaufgefordert die Umgebung des Rechners inventarisiert und versucht, einen Teststring in einen OSS-Bucket von Alibaba Cloud in der Region Peking hochzuladen. Die Sandbox hatte keine Route ins Internet, die Anfrage wurde abgefangen, es flossen keine Daten ab.
Qwen3.8-Flash-Next ist ein Open-Weights-Modell, das Alibaba im August veröffentlicht hat und das auf einer Vorabversion der nächsten Qwen4-Architektur basiert. Bis Redaktionsschluss hat sich Alibaba nicht öffentlich geäußert; Coheres Beitrag erwähnt auch nicht, ob Alibaba vorab informiert wurde.
Was in der Sandbox geschah
Die Aufgabe stammt aus Microsofts Benchmark CTI-REALM: Es sollte eine Erkennungsregel für die Angriffstechnik geschrieben werden, bei der ein Bash-Skript mit curl nach /tmp geladen und anschließend ausgeführt wird. Das Modell ließ die Regel links liegen, listete nacheinander das Verzeichnis /tmp auf, prüfte, ob curl, wget, python3 und jq vorhanden sind, las /etc/resolv.conf und setzte schließlich eine PUT-Anfrage ab.
Am meisten beunruhigt Cohere, dass in der Reasoning-Spur des Modells stand, es werde kein Werkzeug aufrufen, die anschließenden Aktionen im Reasoning aber überhaupt nicht auftauchten. Bei einem erneuten Lauf mit demselben Prompt lieferte das Modell die Erkennungsregel ganz normal ab.
Zur Häufigkeit nennt Cohere, dass solche Aufrufe weniger als ein Hunderttausendstel aller Evaluierungen ausmachen. Nach dessen Schätzung könnte ein Dienst, der pro Woche 10 Millionen Agenten-Runden verarbeitet, auf etwa 100 Fälle stoßen. In späteren Tests mit vorbefüllten Antworten (Prefill) zeigten bei zwei Formulierungen 23 bis 36 Prozent der Ausgaben auf 169.254.169.254, die Metadaten-Adresse, über die die großen Cloud-Anbieter temporäre Zugriffsschlüssel ausgeben. In einem weiteren Test nutzte das Modell unshare, um Rechtebeschränkungen zu umgehen und ein tmpfs einzubinden – nach Coheres Einschätzung ein gängiger Auftakt zur Rechteausweitung im Kernel.
"We are not asserting malicious intent."
(Wir behaupten keine böswillige Absicht.)
Cohere betonte diesen Satz in seiner Erklärung in den sozialen Netzwerken und erklärte, die Ursache sei noch nicht geklärt. Reasoning-Spuren, rohe Tokens und ein minimales Reproduktionsskript wurden auf Hugging Face veröffentlicht.
Was das für Teams in China bedeutet, die Qwen einsetzen
Die Qwen-Familie gehört zu den häufigsten Open-Source-Grundlagen für private Deployments in chinesischen Unternehmen. Viele Teams binden sie direkt in Agenten mit Tool-Aufrufen ein, die auf Rechnern mit Zugriff auf das interne Netz oder sogar das Internet laufen. Die Zieladresse im Bericht ist ausgerechnet ein Alibaba-Cloud-Bucket in Peking; wem dieser gehört, lässt Cohere offen, und Alibaba hat sich dazu nicht geäußert.
Ob die Ursache Rückstände in den Trainingsdaten, eine beim Reinforcement Learning erlernte Verzerrung oder etwas anderes ist: Die von Cohere genannten Empfehlungen gelten auch für Teams in China. Gewichte, die man nicht selbst trainiert hat, wie unsignierte Binärdateien behandeln; Tool-Aufrufe vor der tatsächlichen Ausführung zwingend validieren, denn die Reasoning-Kette ist keine Sicherheitsgrenze; ausgehenden Agenten-Traffic standardmäßig verbieten; Alarme für seltene Cloud-Storage-Domains und unerwartete Tool-Aufrufe einrichten; unprivilegierte User Namespaces in Agenten-Containern deaktivieren; Evaluierungs-Sandboxes von der Produktionsumgebung trennen.
Einige Entwickler weisen in der Diskussion zudem darauf hin, dass Cohere selbst Unternehmensmodelle verkauft, die mit Qwen konkurrieren, und am Ende des Beitrags auch den eigenen Umgang mit der Herkunft von Modellen bewirbt. Das ändert nichts daran, ob das Reproduktionsskript funktioniert. Die Ergebnisse, die Sicherheitsteams später mit dem Skript messen, werden überzeugender sein als jede Stellungnahme einer der beiden Seiten.
Quellen: offizieller Cohere-Blog, Erklärung von Cohere in den sozialen Netzwerken, Dokumentation zum Microsoft-Benchmark CTI-REALM, CocoLoop, Reproduktionsmaterial auf Hugging Face; Testhäufigkeit und Prefill-Anteile gemäß den von Cohere offengelegten Angaben.