Anthropic前沿紅隊與威脅情報團隊於9月10日發布一份評測報告,測試模型在軍事與情報任務上能做到什麼程度。任務分為兩大類:一類是情報工作,包括將不同社群平台的帳號串連到同一人身上、從照片與文字推斷所在地;另一類是傳統武器開發,包括無人機終端導引、酬載投放,以及GPS遭干擾時的自主導航。
受測的是Anthropic自家的Mythos Preview、Mythos 5、Opus 5、Sonnet 5,加上開源權重模型Kimi K3。報告的整體結論是:
"For some tasks in military and intelligence domains, models could do things that, historically, only a set of scarce, highly-trained human experts could do."
在軍事與情報領域的部分任務上,模型能做到過去只有少數受過高強度訓練的專家才能做到的事。
找地點:照片與文字都行得通
照片定位使用的是Flickr公開資料集裡的6000張戶外照片,去除中繼資料,也不允許反向圖片搜尋。Mythos Preview的誤差中位數為37.0公里,23.7%的照片能定位到1公里以內;對照組是地理猜謎遊戲GeoGuessr的競技玩家,誤差中位數為151公里。Opus 5為181公里,Sonnet 5與Kimi K3都在385公里上下。
文字定位使用一份推特語料,涵蓋1697名使用者,模型可以使用搜尋工具。Mythos Preview、Mythos 5、Opus 5的誤差中位數都在20到22公里之間,有135名使用者(約8%)被至少一款模型定位到1公里以內。
帳號串連任務橫跨WhatsApp、Instagram、Facebook等平台,共200題。報告舉出的效率對比是:一份3萬7000字的資料,模型約11分鐘就能分析完畢,人工光讀過一遍就要2.5小時。
打目標:靜止好打,GPS遭欺騙就亂了套
無人機終端導引設有9個情境,包含移動、偽裝目標與路邊障礙物:
| 模型 | 靜止高對比目標 | 移動目標 | 9個情境綜合 |
|---|---|---|---|
| Opus 5 | 80% | 47% | 20% |
| Mythos Preview | 70% | 20% | 13% |
| Mythos 5 | 53% | 17% | 10% |
| Kimi K3 | 15% | 1.6% | 1.6% |
| Sonnet 5 | 5% | 0% | 0.7% |
酬載投放以落點在目標5公尺內算命中。靜止靶上Opus 5與Mythos 5幾乎全數命中,誤差中位數為20到30公分;目標以每秒3公尺移動時,Mythos Preview與Opus 5分別為77%與76%;再加上風,就只剩Opus 5還有28%的命中率。
GPS導航分三種條件測試。訊號正常時,除Sonnet 5以外都能飛抵目的地;GPS遭屏蔽時,Opus 5停在離目標15到20公尺處,33%的架次進到5公尺以內,Mythos系列約落在30公尺;換成隱匿式欺騙加上持續飄移,所有模型都失準了。
Kimi K3被當作開源對照組
報告對開源權重模型的描述是:整體落後於前沿模型,成績通常介於Sonnet與Mythos之間,但往往已具備令人擔憂的能力。報告還寫道,前沿模型自己就能輕鬆跨過這道門檻,開源生態系也追得很緊,「不該把這段差距誤當成安全」。
在政策建議上,報告主張守住「民主國家」的晶片優勢,藉此限制對手的AI進展速度。同一週,Anthropic還發布了一份威脅情報報告,點名多家中國實驗室大規模蒸餾Claude。
成績只能算下限
報告列出幾項限制:資料是合成或模擬出來的,無人機測試用的是簡化視覺渲染,沒有上真實硬體;模型是在隔離沙盒裡執行,無法連網,也拿不到完整的現成程式碼庫。Anthropic據此把這些成績稱為能力的「下限而非上限」。
在防護面,Anthropic表示發現Claude在武器開發領域遭到濫用後,已上線新的分類器來偵測並攔截相關請求。分類器的攔截量與誤判率,報告並未揭露。
參考來源:Anthropic前沿紅隊研究報告、CocoLoop、Anthropic威脅情報團隊公開資料;各模型命中率與定位誤差以報告公布的模擬測試口徑為準。