Pada akhir Maret tahun lalu, Google merilis Gemini 2.5 Pro, yang secara resmi disebut sebagai "model paling cerdas hingga saat ini."
Klaim semacam ini lazim diucapkan setiap perusahaan, namun skor tolok ukur Gemini 2.5 Pro kali ini memang mengesankan:
Inferensi Matematika dan Sains
- AIME 2024: 92,0%
- AIME 2025: 86,7%
- Humanity's Last Exam: 18,8% (tertinggi di antara model yang tidak menggunakan alat)
Pengujian terakhir ini dibuat oleh ratusan pakar di berbagai bidang, khusus untuk menguji "batas pengetahuan manusia." Mencapai akurasi hampir 20% merupakan pencapaian yang luar biasa.
Kode dan Multimodal
- LiveCodeBench: Peringkat pertama dalam pemrograman tingkat kompetisi
- MMMU: 84,0% (inferensi multimodal)
- WebDevArena Elo: 1443 (peringkat pertama di papan peringkat)
Kemampuan Konteks
Model ini hadir dengan jendela konteks standar 1 juta token (dapat diperluas hingga 2 juta), mendukung input multimodal seperti teks, audio, gambar, dan video. Seluruh repositori kode dapat langsung dimasukkan untuk dipahami tanpa perlu dipotong-potong.
Gemini 2.5 Pro adalah "thinking model" — ia melakukan inferensi internal sebelum memberikan respons. Pendekatan desain ini sejalan dengan seri o dari OpenAI dan DeepSeek R1, namun implementasi Google menunjukkan kinerja yang lebih seimbang dalam skenario multimodal.
Namun, satu masalah yang sering disebutkan dalam penggunaan nyata adalah kecepatan respons. Inferensi mendalam berarti waktu tunggu yang lebih lama, yang mengurangi pengalaman dalam skenario yang membutuhkan interaksi cepat. Ini adalah trade-off yang umum dihadapi semua thinking model.
Di LMArena, skor Elo-nya mencapai 1470, naik 24 poin dari sebelum dirilis, mempertahankan posisi terdepan di papan peringkat. Google telah lama dikritik di bidang AI, dan kali ini mereka membalas dengan kekuatan produk.
Sumber: CocoLoop, laporan VentureBeat, rilis resmi Google