Anthropic merilis laporan riset pada 29 September yang mengevaluasi kemampuan serangan siber GLM-5.3 buatan Zhipu. Kesimpulannya, model open-weight ini sudah mampu menyusun sendiri exploit dari ujung ke ujung secara mandiri, dengan level yang mendekati Claude Mythos Preview milik Anthropic sendiri, sementara pengaman keamanannya bisa dilumpuhkan dengan cara yang relatif sederhana.
Laporan itu menyebutkan secara langsung:
"GLM-5.3 will likely give malicious actors access to capabilities that will allow them to find and exploit cyber vulnerabilities without meaningful restrictions."
Kemampuan serangan apa saja yang diuji
Anthropic menjalankan tiga kelompok pengujian. Pertama adalah ExploitBench yang menyasar kerentanan pada mesin Chrome V8: dari 410 percobaan, GLM-5.3 berhasil 50 kali dengan tingkat keberhasilan sekitar 12%, sementara Mythos Preview mencatat 14%. Kedua adalah uji eksploitasi biner internal berbasis proyek OSS-Fuzz, di mana GLM-5.3 mencatat tingkat keberhasilan 4% dan Mythos Preview 6%, sementara model pembanding — Claude Opus 4.6, Kimi K3, DeepSeek V4.1-Flash, dan GLM-5.2 generasi sebelumnya — semuanya 0%. Ketiga adalah serangkaian tugas serangan terbuka yang melibatkan pakar manusia.
Yang paling jelas menunjukkan rendahnya ambang batas ini adalah kasus reproduksi CVE nyata: keterlibatan manusia hanya sekitar 20 menit, sementara GLM-5.3-Flash bekerja sendiri selama 8 jam dan, berdasarkan tarif API Zhipu, menghasilkan exploit yang bisa dipakai dengan biaya sekitar 20,40 dolar AS. Semua kode dijalankan di dalam sandbox terisolasi tanpa menyentuh sistem luar.
Seberapa jauh lapisan pengaman bisa menahan
Saat diminta langsung melakukan sesuatu yang berbahaya, tingkat penolakan GLM-5.3 sekitar 95% dan tingkat keberhasilan serangan simulasi 0. Situasinya berubah begitu memakai cara-cara berikut:
| Cara | Tingkat keberhasilan lolos |
|---|---|
| Mengarang alasan yang tampak sah | 64% |
| Menyisipkan rangkaian penalaran terlebih dahulu | 92% |
| Menggunakan "ablasi" untuk melepas mekanisme penolakan | 100% |
Ablasi mengharuskan pengubahan bobot model, sesuatu yang hanya bisa dilakukan pada model open-weight. Menurut Anthropic, timnya belum pernah melakukan hal ini sebelumnya; prosesnya memakan sekitar 2.200 jam GPU dengan biaya sekitar 4.400 dolar AS, dan setelah itu tingkat penolakan turun dari 95% menjadi antara 3% dan 14%. Sebagai pembanding, model Claude yang memiliki pengaman tidak berhasil dilumpuhkan dalam pengujian yang sama.
Laporan ini memberikan tiga rekomendasi: memberi pihak pertahanan akses ke model garda depan yang setara atau lebih kuat, mendorong pemerintah melakukan uji keamanan terhadap model berkemampuan tinggi, serta meminta pengembang model open-weight menambahkan pengaman yang sepadan. Media ini belum menemukan tanggapan resmi dari Zhipu atas laporan tersebut.
Penilaian lain menyebut angka yang cukup berbeda
CAISI (Center for AI Standards and Innovation) di bawah Departemen Perdagangan AS juga merilis penilaian tersendiri atas kemampuan siber GLM-5.3 pada 17 September. Kesimpulannya, GLM-5.3 saat ini adalah model open-weight dengan kemampuan siber paling kuat, tetapi jelas tertinggal dari model garda depan buatan AS, dengan selisih total sekitar empat bulan.
Angka dari kedua laporan ini berbeda cukup jauh. Pada versi ExploitBench milik CAISI, GLM-5.3 mencatat 61,1%, model garda depan AS terbaik mencapai 100%, dan model Tiongkok terbaik sebelumnya hanya 32,2%; pada SEC-Bench Pro, angkanya 40,4% berbanding 90,2%. Angka 12% dari Anthropic berasal dari konfigurasi pengujian mereka sendiri, sehingga kedua hasil ini tidak bisa dibandingkan secara langsung.
Dari segi peringkat, kedua laporan sepakat: GLM-5.3 memimpin di kalangan model open-weight, tetapi masih tertinggal dari model tertutup terkuat buatan AS. Yang berbeda adalah cara memandang kesenjangan tersebut. CAISI menekankan bahwa jaraknya "masih sekitar empat bulan", sementara Anthropic menekankan bahwa kemampuan setingkat ini sudah bisa diunduh dan dimodifikasi siapa saja, dan lapisan pengaman tidak lagi bisa membatasinya.
Bagi pengembang dan perusahaan di Tiongkok, dampak langsung laporan ini kemungkinan besar akan terasa di jalur distribusi luar negeri. GLM-5.3 sebelumnya sudah cukup luas tersedia di platform distribusi API dan hosting luar negeri; jika semakin banyak lembaga AS mengikuti penilaian Anthropic ini, platform cloud dan pelanggan korporat di luar negeri berpotensi memperketat proses peninjauan sebelum menerima model open-weight asal Tiongkok. Untuk saat ini hal ini masih sebatas dugaan, dan belum ada platform yang mengambil langkah apa pun.
Sumber: laporan riset Anthropic, CocoLoop, pengumuman penilaian CAISI di bawah NIST AS; jumlah keberhasilan ExploitBench, tingkat keberhasilan lolos, dan biaya ablasi mengikuti metodologi laporan Anthropic, sedangkan data CAISI mengikuti konfigurasi pengujian mereka sendiri.