Anthropicのフロンティア・レッドチームと脅威インテリジェンスチームは9月10日、軍事・インテリジェンス関連タスクにおけるモデルの実力を測る評価レポートを発表した。タスクは大きく2種類に分かれる。1つはインテリジェンス業務で、異なるSNSアカウントを同一人物に紐付ける作業や、写真やテキストから位置を推定する作業を含む。もう1つは通常兵器の開発で、ドローンの終末誘導、ペイロードの投下、GPSが妨害された状況での自律航法などが対象になる。
評価対象になったのはAnthropic自社のMythos Preview、Mythos 5、Opus 5、Sonnet 5、そしてオープンウェイトのKimi K3。レポート全体の結論は次の通り。
"For some tasks in military and intelligence domains, models could do things that, historically, only a set of scarce, highly-trained human experts could do."
軍事・インテリジェンス領域の一部タスクでは、モデルは歴史的に少数の高度な訓練を受けた専門家しかできなかったことを実行できる。
居場所を特定する：写真もテキストも通用する
写真による位置特定には、メタデータを除去したFlickr公開データセットの屋外写真6000枚を使用し、逆画像検索は禁止した。Mythos Previewの誤差の中央値は37.0kmで、23.7%の写真は1km以内まで特定できた。比較対象である地理当てゲーム「GeoGuessr」の競技プレイヤーの誤差中央値は151km。Opus 5は181km、Sonnet 5とKimi K3はいずれも385km前後だった。
テキストによる位置特定には1697人分のツイートのコーパスを用い、モデルは検索ツールを使用できた。Mythos Preview、Mythos 5、Opus 5はいずれも誤差の中央値が20〜22kmで、少なくとも1つのモデルによって1km以内まで特定されたユーザーは135人（約8%）に上った。
アカウント紐付けタスクはWhatsApp、Instagram、Facebookなど複数プラットフォームにまたがり、合計200問で構成される。レポートが挙げた効率比較によると、3万7000語の資料をモデルは約11分で分析できたのに対し、人間が一度読み通すだけで2.5時間かかった。
標的を狙う：静止目標は得意、GPS欺瞞で崩れる
ドローンの終末誘導では、移動目標やカモフラージュされた目標、路肩の障害物を含む9つのシナリオが設定された。
| モデル | 静止・高コントラスト目標 | 移動目標 | 9シナリオ総合 |
|---|---|---|---|
| Opus 5 | 80% | 47% | 20% |
| Mythos Preview | 70% | 20% | 13% |
| Mythos 5 | 53% | 17% | 10% |
| Kimi K3 | 15% | 1.6% | 1.6% |
| Sonnet 5 | 5% | 0% | 0.7% |
ペイロード投下は目標から5m以内への着弾を命中と判定した。静止した的に対してはOpus 5とMythos 5がほぼ全弾命中に近く、誤差の中央値は20〜30cmだった。目標が秒速3mで移動すると、Mythos PreviewとOpus 5の命中率はそれぞれ77%と76%に低下。さらに風が加わると、意味のある命中率を維持できたのはOpus 5の28%のみだった。
GPS航法は3つの条件でテストされた。信号が正常な場合、Sonnet 5を除く全モデルが目的地に到達できた。GPSが妨害されると、Opus 5は目標の15〜20m手前で停止し、33%の飛行が5m以内に収まった一方、Mythosシリーズは平均約30mのずれが生じた。さらに巧妙な欺瞞と継続的なドリフトが加わると、全モデルの精度が崩れた。
Kimi K3はオープンウェイトの参照点
レポートはオープンウェイトモデルについて、総じてフロンティアモデルに後れを取り、成績はおおむねSonnetとMythosの中間に位置するとしながらも、すでに懸念すべき能力を備えていることが多いと述べている。さらに、フロンティアモデル自体はこの基準を容易に超えており、オープンウェイトの生態系も急速に追い上げているとして、「この差を安全性と誤解すべきではない」と付け加えた。
政策提言としては、「民主主義国家」の半導体優位を維持し、対抗勢力のAI進展速度を抑えるべきだと主張している。同じ週、Anthropicは複数の中国系研究機関がClaudeを大規模に蒸留していると名指しする脅威インテリジェンスレポートも別途公表した。
この数字は下限に過ぎない
レポートはいくつかの制約を挙げている。データは合成または模擬的なものであり、ドローンのテストは簡易的な視覚レンダリングで行われ、実機は使用していない。モデルは隔離されたサンドボックス内で動作し、インターネット接続や既存の完全なコードベースへのアクセスはできなかった。Anthropicはこれらの成績を能力の「上限ではなく下限」と位置付けている。
防御面について、Anthropicは兵器開発目的でのClaude悪用を確認した後、関連するリクエストを検知・遮断する新しい分類器を導入したと説明している。分類器の遮断率や誤検知率は公表されていない。
参考資料：Anthropicフロンティア・レッドチームのレポート、CocoLoop、Anthropic脅威インテリジェンスチームの公開資料。各モデルの命中率と位置特定誤差は、レポートが示すシミュレーションテストの基準に基づく。