Der ARC-AGI-Test gilt seit jeher als harter Maßstab für die "allgemeine Denkfähigkeit" von KI – kein Auswendiglernen, kein Musterabgleich, sondern die reine Prüfung, ob ein Modell flexibel auf unbekannte abstrakte Aufgaben reagieren kann.
GPT-5.2 erreichte 72 % im ARC-AGI-1 und 18 % im ARC-AGI-2.
Was sagen diese Zahlen aus?
Die 72 % im ARC-AGI-1 übertreffen die meisten Modelle. Doch der ARC-AGI-2 ist der wahre Prüfstein – der Schwierigkeitsgrad liegt um mehrere Stufen höher. Die 18 % zeigen, dass die aktuellen LLMs bei völlig neuen, nicht antrainierten abstrakten Denkaufgaben noch sehr eingeschränkt sind.
Ein Vergleich: Es ist wie ein Schüler, der in Prüfungen glänzt, aber bei unbekannten Aufgabentypen ins Stocken gerät. Diese Lücke offenbart genau den Unterschied zwischen KI, die "klug aussieht", und echter allgemeiner Intelligenz.
Strategiewechsel bei OpenAI
Ein klarer Trend bei GPT-5.2 ist die Kostenoptimierung. Im Vergleich zur Vorgängergeneration sind die Aufrufkosten für dieselben Aufgaben deutlich gesunken, während die Denkfähigkeit gleichzeitig gestiegen ist.
OpenAI verfolgt offenbar zwei Wege:
- Premium-Linie: Wettbewerb um die absolute Leistungsobergrenze
- Economy-Linie: Vorhandene Fähigkeiten günstiger anbieten
Diese Strategie bildet einen interessanten Kontrast zu DeepSeeks Ansatz, Kosten durch MoE zu drücken. Der eine senkt die Preise von oben, der andere hebt die Fähigkeiten von unten an – der Schnittpunkt könnte der branchenübliche Gleichgewichtspreis sein.
Für Beobachter des AGI-Fortschritts ist die 18 % im ARC-AGI-2 eine weitaus aussagekräftigere Zahl als MMLU- oder HumanEval-Werte – denn sie misst direkt die Generalisierungsfähigkeit, nicht das Gedächtnis.
Quellenangabe: CocoLoop, offizieller ARC-Prize-Blog, OpenAI-Technischer Bericht