Tim Frontier Red Team dan intelijen ancaman Anthropic merilis laporan evaluasi pada 10 September yang mengukur sejauh mana model AI mampu menjalankan tugas militer dan intelijen. Tugas tersebut terbagi dua kategori: pekerjaan intelijen, termasuk menghubungkan akun di berbagai platform media sosial ke orang yang sama, serta menyimpulkan lokasi dari foto dan teks; dan pengembangan senjata konvensional, termasuk panduan akhir drone, pengiriman muatan (payload), serta navigasi otonom saat GPS diganggu.
Model yang diuji adalah Mythos Preview, Mythos 5, Opus 5, dan Sonnet 5 milik Anthropic sendiri, ditambah model open-weight Kimi K3. Kesimpulan umum laporan ini:
"For some tasks in military and intelligence domains, models could do things that, historically, only a set of scarce, highly-trained human experts could do."
Untuk sejumlah tugas di ranah militer dan intelijen, model AI bisa melakukan hal yang secara historis hanya bisa dilakukan oleh segelintir pakar manusia yang terlatih tinggi.
Menemukan lokasi: lewat foto maupun teks
Geolokasi foto menggunakan 6.000 foto luar ruang dari dataset publik Flickr yang metadatanya sudah dihapus, dan pencarian gambar terbalik tidak diperbolehkan. Median kesalahan Mythos Preview adalah 37,0 kilometer, dengan 23,7% foto berhasil dilokalisasi hingga jarak 1 kilometer. Kelompok pembanding — pemain kompetitif game tebak geografi GeoGuessr — punya median kesalahan 151 kilometer. Opus 5 mencatat 181 kilometer, sementara Sonnet 5 dan Kimi K3 sama-sama berada di kisaran 385 kilometer.
Geolokasi berbasis teks menggunakan korpus cuitan yang mencakup 1.697 pengguna, dengan model diberi akses ke alat pencarian. Mythos Preview, Mythos 5, dan Opus 5 semuanya punya median kesalahan antara 20 hingga 22 kilometer, dan 135 pengguna (sekitar 8%) berhasil dilokalisasi hingga 1 kilometer oleh setidaknya satu model.
Tugas menghubungkan akun mencakup platform seperti WhatsApp, Instagram, dan Facebook, dengan total 200 soal. Perbandingan efisiensi yang disebut laporan: dokumen sepanjang 37.000 kata bisa dianalisis model dalam sekitar 11 menit, dibandingkan 2,5 jam bagi manusia hanya untuk membacanya sekali.
Mengenai sasaran: mudah saat diam, kacau saat GPS dipalsukan
Panduan akhir drone diuji dalam 9 skenario, termasuk sasaran bergerak, sasaran tersamar, dan halangan di pinggir jalan:
| Model | Sasaran diam kontras tinggi | Sasaran bergerak | Gabungan 9 skenario |
|---|---|---|---|
| Opus 5 | 80% | 47% | 20% |
| Mythos Preview | 70% | 20% | 13% |
| Mythos 5 | 53% | 17% | 10% |
| Kimi K3 | 15% | 1.6% | 1.6% |
| Sonnet 5 | 5% | 0% | 0.7% |
Pengiriman muatan dihitung sebagai tepat sasaran jika mendarat dalam radius 5 meter dari target. Pada target diam, Opus 5 dan Mythos 5 nyaris mengenai semua sasaran, dengan median kesalahan 20 hingga 30 sentimeter. Saat target bergerak dengan kecepatan 3 meter per detik, Mythos Preview dan Opus 5 masing-masing mencatat 77% dan 76%; ditambah angin, hanya Opus 5 yang masih punya tingkat keberhasilan berarti, yakni 28%.
Navigasi GPS diuji dalam tiga kondisi. Saat sinyal normal, semua model kecuali Sonnet 5 bisa mencapai tujuan. Saat GPS diganggu, Opus 5 berhenti 15 hingga 20 meter dari target, dengan 33% penerbangan mendarat dalam radius 5 meter, sementara seri Mythos rata-rata meleset sekitar 30 meter. Ditambah pemalsuan sinyal yang tersembunyi dan pergeseran terus-menerus, akurasi semua model pun runtuh.
Kimi K3 sebagai acuan open-weight
Laporan ini menggambarkan model open-weight secara umum tertinggal dari model garis depan, dengan skor biasanya berada di antara level Sonnet dan Mythos, tetapi sering kali sudah memiliki kemampuan yang mengkhawatirkan. Laporan menambahkan bahwa model garis depan sendiri bisa dengan mudah melewati ambang batas ini, dan ekosistem open-weight pun mengejar dengan cepat — "kesenjangan ini tidak boleh disalahartikan sebagai keamanan".
Dari sisi kebijakan, laporan ini menganjurkan agar keunggulan chip "negara-negara demokratis" dipertahankan untuk membatasi kecepatan kemajuan AI para pesaing. Pada pekan yang sama, Anthropic juga merilis laporan intelijen ancaman terpisah yang menyebut sejumlah laboratorium asal China melakukan distilasi Claude dalam skala besar.
Angka ini baru batas bawah
Laporan mencantumkan sejumlah batasan: datanya bersifat sintetis atau simulasi, pengujian drone memakai rendering visual yang disederhanakan alih-alih perangkat keras sungguhan, dan model dijalankan dalam sandbox terisolasi tanpa akses internet maupun basis kode siap pakai yang lengkap. Anthropic pun menyebut hasil ini sebagai "batas bawah, bukan batas atas" dari kemampuan model.
Dari sisi pertahanan, Anthropic mengatakan setelah menemukan Claude disalahgunakan untuk pengembangan senjata, mereka telah menerapkan pengklasifikasi (classifier) baru untuk mendeteksi dan memblokir permintaan terkait. Laporan tidak mengungkap tingkat pemblokiran maupun tingkat kesalahan deteksi dari classifier tersebut.
Sumber: laporan Frontier Red Team Anthropic, CocoLoop, materi publik tim intelijen ancaman Anthropic; tingkat keberhasilan dan kesalahan geolokasi tiap model mengikuti metodologi pengujian simulasi yang disebutkan dalam laporan.