Fortune melaporkan pada 4 September bahwa setelah OpenAI menerbitkan tulisan blog yang mengumumkan GPT-6 Astra, angka-angka benchmark di halaman tersebut diedit berkali-kali, dan beberapa metrik diubah lalu dikembalikan lagi ke nilai semula.
Kronologinya bisa disusun ulang dari cuplikan Internet Archive satu per satu. Pada pukul 14.00 waktu Timur AS tanggal 3 September, tulisan blog pertama kali diterbitkan lalu ditarik kembali; cuplikan arsip pertama tersimpan pada pukul 14.23; pukul 15.32 akun X milik OpenAI membagikan tautan, tetapi tautan itu rusak; pukul 15.50 Sam Altman membagikan ulang tautan tersebut; dan pada cuplikan keenam pukul 17.20, angka-angka di tabel sudah berubah. Pada 4 September, angka-angka itu masih terus bergerak.
Apa Saja yang Diubah
Kolom tingkat halusinasi mengalami perubahan paling mencolok. Angka Astra diubah dari 4.2% menjadi 2.0%, lalu dikembalikan ke 4.2%; model pembanding, GPT-5.6 Sol, diubah dari 12.2% menjadi 9.4%, lalu juga dikembalikan ke 12.2%. Posisi relatif kedua model tidak berubah setelah penurunan dan pengembalian ini, tetapi tangkapan layar dari versi antara yang sempat beredar membuat selisihnya tampak lebih dari separuh lebih kecil dari yang sebenarnya.
Kolom matematika justru mengubah skor model lain. Pada FrontierMath Tier 4 v2, angka Astra sendiri, 97.6%, tidak pernah berubah; Fable 5.1 milik Anthropic disesuaikan dari 87.8% menjadi 78%, lalu akhirnya menetap di 83%; GPT-5.6 Sol diubah dari 83% menjadi 80.5%, lalu juga kembali ke 83%. Skor pesaing sempat dipangkas hampir 10 poin persentase.
Di bidang keamanan siber, skor ExploitBench milik GPT-5.6 Sol dinaikkan dari 5.5% menjadi 11.5%. Apakah angka ini kemudian dikembalikan lagi, masih dalam proses verifikasi saat laporan Fortune diterbitkan.
Selain itu, skor ARC-AGI-3 yang tercantum dalam versi pra-rilis (embargo) adalah 98.6%, tetapi versi resmi yang dipublikasikan menuliskan 99.99%; kolom pengodean juga mengalami sedikit perubahan, dari 57.7% menjadi 57.9%.
Juru bicara OpenAI menanggapi hal ini dengan pernyataan: "We care deeply about getting evaluations right. Most evaluations have noise within a few percentage points..." (intinya, mereka sangat peduli agar evaluasi dilakukan dengan benar, dan sebagian besar evaluasi memang memiliki noise beberapa poin persentase).
Pandangan peneliti dari luar tidak sepenuhnya sama. Anka Reuel dan Mike Hardy mengatakan: "This can be done in a very tight timeframe, and it's better for their marketing." (intinya, penyesuaian semacam ini bisa dilakukan dalam waktu yang sangat singkat, dan lebih menguntungkan dari sisi pemasaran mereka). Vincent Sunn Chen dari Snorkel AI lebih condong ke penjelasan prosedural: "It's usually a function of final launch logistics." (intinya, biasanya ini hasil dari proses logistik menjelang peluncuran).
Dalam Kondisi Apa Skor-Skor Ini Diperoleh
Di bagian bawah tulisan blog terdapat keterangan kecil yang berbunyi "Evaluation scores are the maximum at any effort" — artinya skor yang ditampilkan adalah hasil terbaik dari berbagai tingkat upaya komputasi. Satu kalimat ini bobotnya lebih besar daripada perubahan apa pun di dalam tabel.
Angka ARC-AGI-3 menunjukkan betapa besar perbedaan itu bisa terjadi. Pengujian Arc Prize Foundation sendiri menemukan bahwa dengan harness (kerangka eksekusi) yang kuat, skornya mencapai 99.9%, tetapi dengan harness standar hanya 63%. Model yang sama, kumpulan soal yang sama, selisihnya 36 poin persentase — bedanya ada pada lapisan kode orkestrasi di luar model.
Bagi pembaca di komunitas berbahasa Mandarin, lapisan informasi ini biasanya hilang begitu saja dalam proses penyebaran. Saat tabel skor ini sampai ke publik di Tiongkok, yang tersisa umumnya hanya angka dan tangkapan layar peringkat, sementara konfigurasi harness, tingkat effort, dan nomor versi evaluasi tidak ikut terbawa. Padahal yang benar-benar ditemui pengguna biasa adalah tingkat default ChatGPT atau API yang sudah diproduksi secara komersial, yang berjarak beberapa lapis dari "nilai maksimum pada tingkat upaya berapa pun".
Fortune juga menyebutkan bahwa system card OpenAI tidak memiliki dokumentasi metodologi evaluasi yang rinci, sehingga replikasi independen menjadi sulit dilakukan. Siapa yang menginisiasi rangkaian perubahan ini dan atas dasar apa, tidak dijelaskan dalam materi publik, dan tanggapan OpenAI juga tidak menyinggung hal tersebut.
Yang Bisa Diverifikasi Hanyalah Arsip
Satu-satunya bukti kuat dalam kejadian ini adalah enam cuplikan yang tersimpan di Internet Archive. Cuplikan-cuplikan itu bisa membuktikan bahwa angkanya berubah, kapan berubahnya, dan menjadi berapa — tetapi tidak bisa membuktikan motif di balik perubahan itu.
Mengutip tabel benchmark di hari peluncuran sebagai fakta berita adalah praktik yang lazim di industri ini. Catatan tentang Astra kali ini menunjukkan bahwa sebaiknya kutipan semacam itu disertai dengan waktu pengambilan datanya.
Sumber: Fortune, CocoLoop, Arc Prize Foundation, blog resmi OpenAI; laporan Fortune digunakan untuk memverifikasi waktu setiap cuplikan arsip serta perubahan skor sebelum dan sesudah pada tingkat halusinasi, FrontierMath, ExploitBench, dan ARC-AGI-3, sementara halaman blog OpenAI digunakan untuk memverifikasi teks asli keterangan mengenai dasar perhitungan skor.