Musim semi tahun ini, militer AS nyaris menaiki sebuah kapal kargo China di Timur Tengah. Personel bersenjata sudah dalam posisi, pesawat militer sudah mengudara, dan operasi dibatalkan pada tahap terakhir. Alasannya, para pejabat kembali memeriksa laporan intelijen yang mendasari upaya pencegatan itu dan mendapati laporan tersebut disusun dengan bantuan kecerdasan buatan, sementara muatan yang disebut dalam laporan itu ternyata tidak ada.
CNN membongkar kejadian ini pada 18 September, mengutip beberapa orang yang mengetahui perkara tersebut. Sejumlah media lain kemudian ikut memberitakan, dengan fakta inti yang sama: sebuah produk intelijen yang dibuat dengan bantuan AI melewati seluruh rantai proses, dari penyusunan draf hingga pengambilan keputusan.
Dua kali pakai AI, satu laporan
Laporan itu dibuat oleh seorang analis di Komando Operasi Khusus Pasifik AS, yang bermarkas di Hawaii. Analis ini pertama-tama memakai chatbot untuk mengecek manifes muatan kapal yang dicurigai; alat itu mencampur informasi dari sumber terbuka dengan entri dari basis data intelijen yang bersifat rahasia untuk menghasilkan sebuah kesimpulan. Setelah itu, ia kembali memakai AI untuk menyusun draf laporan intelijen berformat baku. Kedua langkah ini bertumpuk, dan dokumen yang akhirnya sampai ke jalur pengambilan keputusan menyebut bahwa kapal itu membawa komponen terkait program nuklir Iran.
Laporan ini beredar saat AS dan Iran sedang dalam kondisi konflik bersenjata. Sesuai prosedur baku, jenis intelijen semacam ini mengarah pada tindakan pencegatan di laut: mengirim personel bersenjata naik ke kapal untuk memeriksa. Pesawat sudah berputar-putar di udara. Seorang sumber militer mengatakan kepada CNN bahwa laporan itu "entirely false, but almost started a war" (sepenuhnya palsu, tapi hampir memicu perang).
"entirely false, but almost started a war"
Sepenuhnya palsu, tapi hampir memicu perang.
Operasi itu akhirnya tidak dilaksanakan. Para pejabat melakukan pemeriksaan ulang yang lebih teliti sebelum rencana itu dijalankan, dan baru saat itulah ketahuan bahwa laporan tersebut berasal dari AI serta alat itu salah membaca muatan kapal. Pemberitaan CNN tidak menyebutkan apa yang sebenarnya diangkut kapal itu, ke mana tujuannya, atau chatbot mana yang dipakai sang analis. Komando Sentral AS tidak menanggapi permintaan komentar.
Di titik mana alat ini masuk ke proses
Tidak ada jailbreak dalam kejadian ini, tidak ada serangan adversarial, dan tidak ada peretas. Yang bermasalah justru penggunaan yang sangat biasa: memakai chatbot serba guna untuk merangkum informasi. Alat itu menggabungkan informasi sumber terbuka dengan entri dari basis data rahasia menjadi sebuah kesimpulan yang terdengar utuh dan berformat rapi, lalu kesimpulan itu diperlakukan sebagai fakta yang sudah diverifikasi pada tahap-tahap berikutnya. Langkah kedua, yaitu penyusunan draf oleh AI, menambahkan lapisan kredibilitas lagi: sebuah produk intelijen yang dibaca seolah ditulis manusia dan sesuai format baku.
Proses intelijen sebenarnya memiliki beberapa lapis persetujuan manual. Pencegatan ini tidak jadi terjadi karena ada pemeriksaan ulang mendadak tepat sebelum operasi dijalankan, bukan karena ada pos pemeriksaan yang memang dirancang di dalam prosedur. Jika pemeriksaan ulang itu tidak dilakukan, atau dilakukan sedikit lebih longgar, dokumen ini kemungkinan besar akan lolos begitu saja.
Siapa yang menanggung kesalahan ini
Yang menjadi sasaran adalah kapal China. Jika penaikan ke kapal benar-benar terjadi, akibatnya akan ditanggung oleh awak kapal, pemilik kapal, dan mekanisme penanganan krisis kedua negara — bukan oleh analis yang menulis laporan atau vendor yang menyediakan alatnya. Risiko teknis muncul di dalam proses internal AS, tetapi biayanya jatuh di luar proses itu. China sejauh ini belum memberikan pernyataan publik soal insiden ini, dan tidak ada catatan dalam pemberitaan bahwa pihak China diberi tahu.
Bagi perusahaan pelayaran China yang beroperasi di jalur Timur Tengah, sifat jawaban atas pertanyaan "berdasarkan apa militer AS menganggap kapal saya bermasalah" sedang berubah: dari penilaian intelijen yang dikeluarkan manusia, menjadi sebuah dokumen yang mungkin sudah melewati dua putaran proses AI. Lapisan mana yang bisa diajukan banding, dan siapa yang memperbaiki jika terjadi kesalahan, belum ada mekanisme publik yang mengaturnya.
Rekomendasi masih sebatas rekomendasi
Upaya memasukkan AI ke dalam analisis intelijen, penentuan target, dan proses logistik tidak terhenti akibat insiden ini. Para ahli yang dikutip dalam pemberitaan publik mengajukan dua usulan utama: menarik garis batas yang melarang AI ikut campur pada sistem terkait nuklir, dan membangun jalur pelaporan insiden AI antarnegara besar, mirip hotline nuklir. Keduanya masih sebatas usulan dan belum masuk ke dokumen apa pun yang mengikat secara hukum.
Berdasarkan informasi publik yang ada, belum ada satu pun tahapan yang secara resmi diubah. Komando Sentral AS tidak menjelaskan apakah aturan soal penggunaan alat AI serba guna oleh para analis sudah direvisi, atau berapa banyak dokumen lain, selain laporan ini, yang melalui jalur serupa.
Sumber: CNN Politics, Gizmodo, CocoLoop, Taipei Times. Komando yang terlibat, urutan dua kali penggunaan AI, dan kutipan "entirely false" telah dicocokkan dengan pemberitaan yang konsisten dari berbagai media berbahasa Inggris.