400 lebih aplikasi AI biasa disebut menyembunyikan fitur deepfake seksual

AI security illustration: a shield sealing a red crack in a network

WIRED menerbitkan investigasi pada 2 November yang menyebut sekitar 400 aplikasi dan situs web yang saling terkait, tampil sebagai alat potret hewan peliharaan, belajar bahasa, pelatih kebugaran AI, dan sejenisnya, memuat antarmuka lain dalam kondisi tertentu. Antarmuka itu memungkinkan pengguna mengunggah foto orang lain untuk membuat gambar dan video eksplisit. Konten tersebut tergolong pelecehan seksual melalui deepfake tanpa persetujuan, dan sebagian melibatkan kekerasan.

Petunjuk awalnya datang dari iklan video di Facebook dan Instagram. Para peneliti menelusuri ribuan iklan eksplisit hingga sampai ke aplikasi di toko aplikasi Apple dan Google, dengan pembayaran melalui Apple Pay dan Google Pay.

Wajah aslinya baru muncul setelah lolos tinjauan

Menurut laporan itu, setiap kali diunduh, aplikasi mengirim informasi seperti asal pengguna, bahasa, dan pengenal unik ke server, lalu server menentukan apakah versi biasa atau versi eksplisit yang ditampilkan. Mengunduh setelah masuk lewat iklan Meta terkait tampaknya menjadi salah satu pemicu, tetapi aturan pastinya tidak jelas.

Apple menyebut taktik ini "bait-and-switch", yakni pengembang mengganti sumber konten setelah tinjauan lolos. Peninjau melihat aplikasi potret hewan, sementara pengguna yang membayar bisa melihat sesuatu yang sama sekali berbeda.

Di antara contoh dalam laporan, Viefur menyebut dirinya aplikasi "potret hewan peliharaan" dan menjual 130 koin seharga sekitar 4 dolar AS; DiffAI dibuat pada Desember 2025 dan telah diunduh lebih dari 100.000 kali di Google Play.

Angka mengenai skala berasal dari beberapa lembaga riset:

  • AI Forensics: pada September masih ada 27 aplikasi terkait di Google Play dengan total unduhan lebih dari 350.000 kali, banyak di antaranya berlabel cocok untuk semua umur; iklan eksplisit terkait tahun ini mencapai puluhan ribu; pada puncaknya sekitar 30 situs web didaftarkan setiap pekan
  • Infoblox: mengidentifikasi hampir 500 domain terkait; para peneliti menyebut domain-domain itu "menjalankan kode yang sama dan saling merujuk"

Penilaian peneliti AI Forensics, Paul Bouchaud:

"This is an organized, commercially run operation: One operator behind hundreds of disposable apps and domains"

Tanggapan platform

Setelah WIRED menyampaikan temuannya, Apple menurunkan 19 aplikasi dan menyatakan telah memperbarui aturannya untuk membatasi alat semacam ini lebih jauh. Google tidak menanggapi permintaan komentar, tetapi sudah menghapus sebagian besar aplikasi tersebut sebelum wartawan menghubungi.

Setelah menerima daftar domain, Meta lebih dulu memastikan lebih dari 3.000 iklan terkait, dan sekitar dua pertiganya sudah dihapus. Meta kemudian menyatakan telah bertindak terhadap 11.600 akun iklan, lebih dari 4.700 halaman bisnis, 5.200 pengguna, dan 15.000 halaman, serta memblokir 209 aplikasi dari memasang iklan. Laporan itu menyebut iklan-iklan tersebut telah memicu penyelidikan regulator di sejumlah negara. Organisasi nirlaba Amerika Serikat, Tech Transparency Project, sebelumnya juga menemukan iklan deepfake yang menggambarkan anak di bawah umur.

Petunjuk yang mengarah ke pengembang berbahasa Mandarin

Bagian laporan yang tidak bisa dilewatkan pembaca berbahasa Mandarin adalah identitas operatornya. WIRED dan para peneliti bersandar pada serangkaian bukti tidak langsung: banyak komentar berbahasa Mandarin dalam kode, hosting yang hanya berada di dalam wilayah Tiongkok, video iklan yang memuat tanda air perangkat lunak penyunting video Tiongkok, serta kontak, halaman login admin, dan sebagian surel dari situs yang pertama kali didaftarkan yang mengarah ke perusahaan terdaftar di Hong Kong, KeLing Technology Limited.

Ini adalah penilaian hasil investigasi, dan pilihan kata WIRED juga menyisakan ruang keraguan. Perusahaan itu tidak menanggapi permintaan komentar, dan informasi publik terkaitnya diubah atau dihapus setelah wartawan bertanya. Meta menyatakan perusahaan itu sudah dilarang memasang iklan pada 2025. Nama perusahaan ini berbeda ejaannya dari Kling, model video milik Kuaishou, dan laporan tidak menyebut adanya hubungan di antara keduanya, sehingga pembaca tidak perlu mencampuradukkannya.

Media Denmark DR pernah melaporkan sebagian dari temuan ini pada September. Hingga kini, laporan tidak memuat kasus yang diusut penegak hukum maupun sanksi sistematis di tingkat toko aplikasi, dan belum ada lembaga yang memberikan angka terbaru tentang berapa banyak aplikasi jaringan ini yang masih daring.

Sumber: WIRED, AI Forensics, CocoLoop, Infoblox; angka tindakan platform mengikuti keterangan Apple dan Meta kepada media, sedangkan identitas operator merupakan penilaian hasil investigasi.