ARC-AGI 벤치마크는 AI의 '일반 추론 능력'을 측정하는 엄격한 지표로 오랫동안 여겨져 왔습니다. 암기나 패턴 매칭에 의존하지 않고, 본 적 없는 추상적 작업에 유연하게 대처할 수 있는지를 순수하게 테스트합니다.
GPT-5.2는 ARC-AGI-1에서 72%, ARC-AGI-2에서 18%를 기록했습니다.
이 숫자는 어떤 의미인가?
ARC-AGI-1의 72%는 이미 대다수 모델을 능가하는 수준입니다. 하지만 진정한 시금석은 ARC-AGI-2입니다. 난이도가 몇 단계는 더 높습니다. 18%라는 결과는 현재 LLM이 완전히 새롭고 훈련되지 않은 추상적 추론 작업에 직면했을 때 그 능력이 여전히 매우 제한적임을 보여줍니다.
비유하자면, 시험에서는 높은 점수를 받지만 본 적 없는 유형의 문제를 만나면 당황하는 학생과 같습니다. 이 격차는 '똑똑해 보이는' AI와 진정한 범용 지능 사이의 간극을 정확히 드러냅니다.
OpenAI의 전략 변화
GPT-5.2에서 뚜렷하게 나타나는 추세는 비용 최적화입니다. 이전 세대와 비교하여 동일한 작업의 호출 비용이 크게 낮아졌으며, 동시에 추론 능력도 한 단계 더 향상되었습니다.
OpenAI는 분명히 두 가지 경로를 추구하고 있습니다.
- 하이엔드 라인: 절대적인 능력 상한선에서 경쟁
- 이코노미 라인: 기존 능력을 저렴하게 만드는 것
이 전략은 DeepSeek가 MoE를 사용해 비용을 압축하는 접근 방식과 흥미로운 대조를 이룹니다. 하나는 위에서 가격을 낮추고, 다른 하나는 아래에서 능력을 끌어올립니다. 두 접근법이 만나는 지점이 업계의 균형 가격이 될 수 있습니다.
AGI의 진전을 주시하는 사람들에게 ARC-AGI-2의 18%는 다양한 MMLU나 HumanEval 점수보다 훨씬 더 많은 정보를 제공하는 숫자입니다. 기억력이 아닌 일반화 능력을 직접 측정하기 때문입니다.
출처: CocoLoop, ARC Prize 공식 블로그, OpenAI 기술 보고서