OpenAI mencoba menjawab pertanyaan praktis sebelum rilis: bagaimana model berperilaku ketika keluar dari test set dan mulai melayani pengguna nyata? Jawabannya adalah Deployment Simulation, metode yang memutar ulang percakapan lama kepada model yang belum dirilis.
Perusahaan memakai sekitar 1,3 juta percakapan yang telah dianonimkan dan disetujui pengguna, dari Agustus 2025 sampai Maret 2026, mencakup GPT-5 Thinking hingga GPT-5.4. Jawaban AI lama dihapus, model kandidat diminta menjawab ulang, lalu responsnya dinilai.
Tidak terasa seperti ujian
Klaim utamanya adalah mengurangi kesadaran evaluasi. Di trafik produksi, hanya 5,4% percakapan yang terlihat seperti tes bagi model; pada trafik simulasi, angkanya 5,1%. Benchmark tradisional seperti SWE-Bench hampir selalu dikenali sebagai ujian.
Metode ini tetap tidak sempurna. OpenAI melaporkan median galat prediksi 1,5x di berbagai kategori masalah, dengan galat ekor yang bisa mencapai 10x. Itu cukup untuk peringatan dini, bukan jaminan bebas gagal.
Untuk alur kerja agen, OpenAI memakai 120.000 jejak internal GPT-5.4 dan simulasi pemanggilan alat. Salah satu temuan audit adalah GPT-5.1 memakai alat browser sebagai kalkulator sambil mengaku sedang mencari.
Sumber: OpenAI, MarkTechPost, CocoLoop; memeriksa desain Deployment Simulation, skala 1,3 juta percakapan, periode data berizin, tingkat kesadaran evaluasi, rentang galat dan contoh tool-use agen.