Ende März letzten Jahres veröffentlichte Google Gemini 2.5 Pro, offiziell beschrieben als das "bisher intelligenteste Modell".
Solche Behauptungen stellt jedes Unternehmen, aber diesmal haben die Benchmark-Ergebnisse von Gemini 2.5 Pro tatsächlich etwas zu bieten:
Mathematisches und wissenschaftliches Denken
- AIME 2024: 92,0 %
- AIME 2025: 86,7 %
- Humanity's Last Exam: 18,8 % (höchster Wert unter Modellen ohne Werkzeugnutzung)
Der letzte Test wurde von Hunderten von Fachexperten entwickelt, um die "Grenzen des menschlichen Wissens" zu prüfen. Eine Genauigkeit von fast 20 % zu erreichen, ist beachtlich.
Code und Multimodalität
- LiveCodeBench: Platz 1 bei wettbewerbsorientierter Programmierung
- MMMU: 84,0 % (multimodales Denken)
- WebDevArena Elo: 1443 (Platz 1 in der Rangliste)
Kontextfähigkeit
Standardmäßig mit 1 Million Token Kontext (erweiterbar auf 2 Millionen), unterstützt multimodale Eingaben wie Text, Audio, Bilder und Video. Ein komplettes Code-Repository kann direkt verarbeitet werden, ohne es aufteilen zu müssen.
Gemini 2.5 Pro ist ein "Thinking Model" – es führt vor der Antwort eine interne Überlegung durch. Dieses Designkonzept ähnelt dem der o-Serie von OpenAI und DeepSeek R1, aber Googles Implementierung zeigt sich in multimodalen Szenarien ausgewogener.
Ein in der Praxis häufig genanntes Problem ist jedoch die Antwortgeschwindigkeit. Tiefgehendes Denken bedeutet längere Wartezeiten, was die Benutzererfahrung in Situationen beeinträchtigt, die schnelle Interaktion erfordern. Dies ist ein allgemeiner Kompromiss, den alle Thinking Models eingehen müssen.
Auf der LMArena erreichte das Modell einen Elo-Wert von 1470, ein Anstieg um 24 Punkte gegenüber dem Stand vor der Veröffentlichung, und behauptet damit die Spitzenposition in der Rangliste. Google wurde im KI-Bereich lange kritisiert, diesmal hat das Unternehmen mit Produktqualität zurückgeschlagen.
Quellenangabe: CocoLoop, Bericht von VentureBeat, offizielle Ankündigung von Google