OpenAI pada 5 Oktober mengumumkan skema watermark teks bernama textGrain untuk memenuhi persyaratan transparansi Pasal 50 Undang-Undang AI Uni Eropa. Dalam beberapa minggu mendatang, pengguna ChatGPT dan Codex yang memenuhi syarat di wilayah UE akan mendapati teks hasil model secara otomatis membawa sinyal statistik yang tak terlihat mata tapi bisa dikenali mesin.
Mulai hari yang sama, pelanggan API di seluruh dunia juga bisa mengaktifkan fitur ini secara manual untuk sebagian model, dengan default dimatikan. Pengumuman tidak menyebutkan model mana yang didukung.
Watermark tersembunyi dalam pemilihan kata
Cara kerja textGrain adalah mengubah bagaimana model memilih kata saat menghasilkan teks. Di banyak titik dalam sebuah kalimat, ada beberapa kata kandidat yang sama-sama cocok, dan OpenAI menggunakan kunci untuk menentukan kata mana yang akhirnya dipakai. Satu kalimat saja tidak terlihat aneh, tapi jika paragrafnya cukup panjang, kata-kata yang disukai kunci tersebut akan menumpuk hingga bisa dikenali secara statistik — pihak yang memegang kunci bisa memakai pola ini untuk menilai apakah teks itu berasal dari model berwatermark.
Data deteksi yang diberikan OpenAI mengasumsikan tingkat kesalahan positif (false positive) 1%:
- Paragraf 200 token, tingkat deteksi sekitar 80%
- 400 token, sekitar 95%
- Jika 10% kata dalam paragraf 400 token diganti dengan sinonim, deteksi turun ke 66%
- Jika diganti 25%, hanya tersisa 17%
Artinya, kalau pembaca mengambil teks hasil ChatGPT dan menulis ulang sedikit saja, watermark-nya hampir tidak bisa dikenali lagi. OpenAI sendiri tidak menghindari poin ini dalam penjelasannya.
Soal kualitas, perusahaan menyatakan bahwa pada delapan benchmark, selisih skor antara watermark menyala dan mati masih dalam rentang noise, dengan satu skor tercatat 49,57 berbanding 49,76.
Alat deteksi tidak dibuka untuk publik
Bagian paling terbatas dari skema ini adalah sisi deteksinya. OpenAI membuka jalur permohonan pada hari yang sama, tapi alat deteksinya hanya diberikan kepada "peneliti dan lembaga ahli yang disetujui", ditinjau satu per satu. Pengguna biasa, sekolah, maupun penerbit saat ini belum punya cara untuk memeriksa teks sendiri.
OpenAI menegaskan batasannya dalam pernyataan resmi:
"A watermark does not measure human contribution, does not establish ownership or responsibility, does not identify the user, and does not verify accuracy."
(Watermark tidak mengukur kontribusi manusia, tidak menetapkan kepemilikan atau tanggung jawab, tidak mengidentifikasi pengguna, dan tidak memverifikasi keakuratan.)
Perusahaan juga mengingatkan bahwa tidak terdeteksinya watermark bukan berarti teks itu dibuktikan ditulis oleh manusia.
Jadwal regulasi
Pasal 50 Undang-Undang AI Uni Eropa mewajibkan penyedia AI generatif membuat keluarannya bisa dikenali mesin sebagai buatan AI. Berdasarkan jadwal yang dipublikasikan, aturan ini berlaku sejak 2 Agustus, dengan masa tenggang kepatuhan hingga 2 Desember untuk sistem yang sudah berjalan lebih dulu. Rencana OpenAI untuk meluncurkannya di UE dalam "beberapa minggu mendatang" kira-kira jatuh dalam rentang waktu itu.
Ini juga menjelaskan mengapa watermark hanya default menyala di UE. Di wilayah lain, keluaran ChatGPT dan Codex untuk sementara tidak diberi watermark; pengguna API bisa mengaktifkannya sendiri kalau mau.
Beberapa pemain lain di jalan yang sama
Jalur watermark teks ini sudah ramai diisi beberapa pemain dalam setahun terakhir.
Google DeepMind dengan SynthID adalah yang pertama membuat watermark teks, dengan prinsip yang sama yaitu memberi bias pada proses sampling, dan kemudian meng-open-source bagian teksnya. Akhir September, perusahaan ini menerapkan ide yang sama pada urutan protein yang didesain AI. Menurut laporan, OpenAI sendiri menilai performa textGrain setara atau sedikit lebih baik dibanding SynthID, meski klaim ini belum diverifikasi pihak ketiga.
Anthropic pada Agustus mengumumkan watermark untuk keluaran teks Claude, dengan pendekatan yang serupa dan menghadapi masalah lama yang sama — mudah hilang begitu teks ditulis ulang. Kerangka kerja inferensi vLLM pada September menjadikan watermark teks berbasis sampling Gumbel sebagai opsi bawaan; uji coba menunjukkan hampir semua teks kreatif bisa dikenali pada sekitar 100 token, tapi untuk tugas coding pada 400 token hanya 43% yang bisa dikenali.
Jika angka-angka dari berbagai pihak ini disandingkan, pola yang muncul jelas: semakin panjang dan semakin bebas gaya tulisannya, semakin mudah watermark dikenali; sementara kode, rumus, dan tanya-jawab faktual yang jawabannya sudah sangat pasti punya ruang sangat kecil untuk memberi bias pada pilihan kata, sehingga sinyalnya memang lebih lemah. Angka yang dipublikasikan textGrain adalah untuk teks umum; OpenAI tidak memberikan angka khusus untuk skenario kode.
Bagi pengguna di Tiongkok daratan, perubahan ini untuk sementara tidak banyak berpengaruh — watermark hanya default menyala di UE, dan ChatGPT memang sudah tidak bisa diakses langsung dari sana. Aturan Tiongkok sendiri, Measures for Labeling AI-Generated and Synthetic Content, sudah berlaku sejak September tahun lalu dan memakai pendekatan berbeda, yaitu penandaan eksplisit digabung dengan penandaan metadata implisit.
Sumber: Pernyataan OpenAI tentang asal-usul teks di UE, AI Weekly, CocoLoop, analisis teknis CellCog; tingkat deteksi berdasarkan tingkat kesalahan positif 1%, dan tanggal berlaku undang-undang mengikuti jadwal resmi yang dipublikasikan UE.