OpenAI는 7월 29일 ARC-AGI-3 재평가 내용을 공개했다. 같은 GPT-5.6 Sol이 공식 harness에서는 공개 세트 13.3%를 기록했고, reasoning 유지와 compaction을 켠 Responses API harness에서는 38.3%를 기록했다. 출력 토큰은 약 6분의 1로 줄었다.
상승분은 기억에서 나왔다
ARC-AGI-3는 설명 없는 2D 턴제 게임 안에서 에이전트가 탐색하고 목표를 추론하며 효율적으로 행동하는지 본다. OpenAI는 공식 harness가 매 행동 뒤 private reasoning을 버리고, 문맥이 175,000자를 넘으면 오래된 기록을 rolling truncation으로 제거한다고 설명했다.
OpenAI는 “Benchmarks rarely measure AI models in isolation.”라고 썼다. 벤치마크는 모델만이 아니라 API 설정, 문맥 관리, harness 설계도 함께 측정한다는 뜻이다. reasoning 유지는 이전 계획을 남기고, compaction은 긴 실행에서 초기 관찰을 압축해 보존한다.
숫자에는 범위가 붙는다
13.3%, 38.3%, 사람 평균 추정치 48%는 모두 ARC-AGI-3 공개 작업의 RHAE다. 비공개 리더보드 점수나 일반 정확도가 아니다. ARC 논문은 공개 당시 인간은 환경을 100% 풀었고, 프런티어 AI는 1% 미만이었다고 적었다.
개발자에게는 평가 조건을 본番 조건과 맞추라는 신호다. 장시간 실행되는 에이전트에서 기억 유지와 문맥 압축을 빼면, 테스트는 모델 능력보다 강제된 망각을 측정할 수 있다.
에이전트 평가는 시스템 문제가 됐다
이 결과가 GPT-5.6 Sol이 ARC-AGI-3를 해결했다는 뜻은 아니다. ARC의 유효성을 없애지도 않는다. 다만 에이전트 벤치마크에서는 주변 시스템이 측정 대상의 일부가 된다는 점을 드러낸다. 다음 확인 지점은 ARC의 비교 규칙, 다른 연구소의 재현, 비공개 세트에서의 변화다.
출처: OpenAI 연구, ARC Prize Foundation 논문, ARC 공식 문서, CocoLoop, Hugging Face gameplay logs; ARC-AGI-3 RHAE 범위, GPT-5.6 Sol 공식 harness 13.3%와 Responses API harness 38.3%, 공개 작업 인간 추정 48%, 출력 토큰 약 1/6, 175k 문맥 창 설정을 확인.