Am 10. September veröffentlichten das Frontier Red Team und das Threat-Intelligence-Team von Anthropic einen Bewertungsbericht darüber, wozu Modelle bei militärischen und geheimdienstlichen Aufgaben fähig sind. Die Aufgaben gliedern sich in zwei Kategorien: geheimdienstliche Ortung, darunter das Verknüpfen von Konten auf verschiedenen Social-Media-Plattformen mit derselben Person sowie das Ableiten von Standorten aus Fotos und Texten; und die Entwicklung konventioneller Waffen, darunter die Endphasenlenkung von Drohnen, den Abwurf von Nutzlasten sowie die autonome Navigation bei gestörtem GPS.
An dem Test nahmen Anthropics eigene Modelle Mythos Preview, Mythos 5, Opus 5 und Sonnet 5 teil, dazu das Open-Weight-Modell Kimi K3. Die Gesamteinschätzung des Berichts lautet:
"For some tasks in military and intelligence domains, models could do things that, historically, only a set of scarce, highly-trained human experts could do."
Bei einigen Aufgaben in militärischen und geheimdienstlichen Bereichen können Modelle Dinge leisten, die historisch nur eine kleine Gruppe hoch ausgebildeter menschlicher Experten bewältigen konnte.
Orte erkennen: Fotos und Texte funktionieren beide
Für die Fotoortung wurden 6.000 Außenaufnahmen aus dem öffentlichen Flickr-Datensatz verwendet, Metadaten wurden entfernt, Rückwärtssuche war untersagt. Der Median-Fehler von Mythos Preview liegt bei 37,0 Kilometern, 23,7 % der Fotos wurden auf unter 1 Kilometer genau geortet; die Kontrollgruppe waren Wettkampfspieler des Geo-Ratespiels GeoGuessr mit einem Median-Fehler von 151 Kilometern. Opus 5 kam auf 181 Kilometer, Sonnet 5 und Kimi K3 lagen beide bei rund 385 Kilometern.
Für die Textortung diente ein Tweet-Korpus mit 1.697 Nutzern, die Modelle durften Suchwerkzeuge einsetzen. Der Median-Fehler von Mythos Preview, Mythos 5 und Opus 5 lag jeweils zwischen 20 und 22 Kilometern, bei 135 Nutzern (rund 8 %) ortete mindestens ein Modell den Standort auf unter 1 Kilometer genau.
Die Aufgabe zur Kontoverknüpfung erstreckte sich über Plattformen wie WhatsApp, Instagram und Facebook, insgesamt 200 Aufgaben. Der Bericht nennt als Effizienzvergleich: Ein Material mit 37.000 Wörtern analysierte das Modell in rund 11 Minuten, während ein Mensch allein für einen Durchgang 2,5 Stunden benötigte.
Ziele treffen: Stillstehende sind leicht, bei GPS-Täuschung wird es chaotisch
Für die Endphasenlenkung von Drohnen wurden 9 Szenarien angelegt, darunter bewegliche und getarnte Ziele sowie Hindernisse am Straßenrand:
| Modell | Statisches, kontrastreiches Ziel | Bewegliches Ziel | Gesamtwert über 9 Szenarien |
|---|---|---|---|
| Opus 5 | 80% | 47% | 20% |
| Mythos Preview | 70% | 20% | 13% |
| Mythos 5 | 53% | 17% | 10% |
| Kimi K3 | 15% | 1,6% | 1,6% |
| Sonnet 5 | 5% | 0% | 0,7% |
Beim Abwurf von Nutzlasten galt ein Aufschlagspunkt innerhalb von 5 Metern um das Ziel als Treffer. Bei statischen Zielen trafen Opus 5 und Mythos 5 fast durchgehend, mit einem Median-Fehler von 20 bis 30 Zentimetern; bewegte sich das Ziel mit 3 Metern pro Sekunde, erreichten Mythos Preview und Opus 5 77 % beziehungsweise 76 %; kam noch Wind hinzu, hielt nur Opus 5 eine Trefferquote von 28 %.
Die GPS-Navigation wurde unter drei Bedingungen getestet. Bei normalem Signal erreichten alle Modelle außer Sonnet 5 das Ziel; wurde GPS blockiert, blieb Opus 5 15 bis 20 Meter vor dem Ziel stehen, 33 % der Durchläufe kamen auf unter 5 Meter heran, die Mythos-Reihe lag bei rund 30 Metern; bei verdecktem Spoofing und anhaltendem Drift verloren alle Modelle die Genauigkeit.
Kimi K3 als Open-Source-Referenz
Der Bericht beschreibt Open-Weight-Modelle so: insgesamt hinter den Spitzenmodellen zurückliegend, die Leistung liegt meist zwischen Sonnet- und Mythos-Niveau, verfügt aber oft schon über besorgniserregende Fähigkeiten. Der Bericht schreibt außerdem, die Spitzenmodelle selbst würden diese Schwelle mühelos überschreiten, und auch das Open-Source-Ökosystem hole rasch auf – man solle "diesen Abstand nicht mit Sicherheit verwechseln".
Bei den politischen Empfehlungen plädiert der Bericht dafür, den Chip-Vorsprung der "Demokratien" zu bewahren, um das Tempo des KI-Fortschritts von Rivalen zu begrenzen. In derselben Woche veröffentlichte Anthropic zudem einen Threat-Intelligence-Bericht, der mehrere chinesische Labore namentlich nannte, die Claude in großem Umfang destillieren.
Ergebnisse gelten nur als Untergrenze
Der Bericht nennt mehrere Einschränkungen: Die Daten sind synthetisch oder simuliert, die Drohnentests liefen mit vereinfachtem visuellem Rendering und nicht auf echter Hardware; die Modelle liefen in einer isolierten Sandbox ohne Internetzugang und ohne Zugriff auf vollständige, fertige Codebasen. Anthropic bezeichnet diese Ergebnisse deshalb als "Untergrenze, nicht Obergrenze" der Fähigkeiten.
Zum Schutz erklärt Anthropic, nachdem festgestellt wurde, dass Claude im Bereich der Waffenentwicklung missbraucht wurde, seien neue Klassifikatoren eingeführt worden, um entsprechende Anfragen zu erkennen und zu blockieren. Wie viele Anfragen blockiert wurden und wie hoch die Fehlerrate ist, gibt der Bericht nicht an.
Quellen: Forschungsbericht des Anthropic Frontier Red Team, CocoLoop, öffentliche Materialien des Anthropic Threat-Intelligence-Teams; Trefferquoten und Ortungsfehler der einzelnen Modelle entsprechen den im Bericht veröffentlichten simulierten Testbedingungen.