ARC Prize는 10월 9일 2026 시즌 ARC-AGI-2 고득점 순위를 공개했으며, TUFA Labs가 88.06%로 1위를 차지했다. 2위부터 5위까지는 Rabbithole(80.56%), Yi-Chia Chen(77.22%), Nubanana(77.08%), _hans(67.64%) 순이다. ARC Prize 공동 설립자 François Chollet도 같은 날 캐글의 ARC-AGI-2 점수가 88.06%에 이르렀다고 공개적으로 언급했다.
1위는 2위보다 약 7.5%포인트 앞서 있으며, 상위 5개 팀 가운데 85%를 넘은 곳은 TUFA Labs뿐이다.
85%라는 기준선
ARC-AGI-2는 Chollet 등이 설계한 추상 추론 테스트다. 문제마다 색칠된 격자의 입력과 출력 예시가 몇 개 주어지고, 참가 시스템은 여기서 규칙을 도출해 새로운 입력에 대해 올바른 격자를 그려야 한다. 테스트 입력마다 답안을 2개까지 낼 수 있고, 둘 중 하나가 완전히 일치하면 1점이다. 문제는 암기한 지식으로 풀 수 있는 것을 의도적으로 피하고 있다.
대회는 캐글에서 열리며, 평가 환경은 인터넷이 차단되어 있고 연산 자원에도 상한이 있다. 2026 시즌 규칙 페이지에 따르면 총상금은 70만 달러다.
- 진보상 27만 5천 달러는 상위 8팀에 나뉘며, 1위는 7만 5천 달러다.
- 대상 27만 5천 달러는 가장 높게 평가된 솔루션 설명서에 수여된다.
- 별도로 15만 달러의 상금이 있으며, 조건은 비공개 평가 세트에서 85%에 도달하는 것이다.
수상한 솔루션은 모두 오픈소스로 공개해야 하며, 공개하지 않으면 대회에서 제외된다.
구분해서 봐야 할 대목이 하나 있다. ARC Prize는 이번 게시물에서 15만 달러를 85%를 넘은 모든 팀이 나눠 갖는다고 했지만, 규칙 페이지에는 비공개 세트에서 기준을 충족한 "첫 번째" 적격 솔루션에 수여한다고 적혀 있다. 어느 쪽을 따라야 하는지에 대해 주최 측은 아직 추가 설명을 내놓지 않았다.
또한 캐글 공개 리더보드는 전체 테스트 문제의 절반가량으로만 채점하며, 최종 순위는 나머지 절반으로 결정된다. 88.06%는 중간 성적이고, TUFA Labs가 비공개 세트에서도 85%를 지킬 수 있을지는 시즌이 정산될 때까지 기다려야 한다.
두 시즌을 이어서 보면
ARC Prize 2025 시즌도 ARC-AGI-2로 치러졌다. 그해에는 1455개 팀이 총 15154회 제출했고, 우승팀 NVARC는 비공개 세트에서 24.03%를 기록했으며 문제당 비용은 약 0.20달러였다. 2위 the ARChitects는 16.53%였고, 대상 수상자는 나오지 않았다. NVARC는 엔비디아 소속 캐글 그랜드마스터 두 명으로 구성된 팀으로, 합성 데이터와 테스트 시점 학습, 소형 모델을 조합했으며 대형 모델로 무작정 밀어붙이지 않았다.
더 거슬러 올라가면 2024 시즌은 1세대 ARC-AGI를 썼고, 우승 점수는 50%를 조금 넘는 수준이었다. 2025년에 나온 ARC-AGI-2는 의도적으로 난도를 높였으며, 당시 주요 최첨단 모델들은 이 테스트에서 대체로 한 자릿수 점수에 그쳤다.
그러니까 캐글 트랙의 최고 성적이 1년 사이 24%에서 88%로 올라간 셈이다. 다만 두 숫자는 집계 기준이 다르다. 앞의 것은 비공개 세트 최종 순위이고 뒤의 것은 공개 리더보드의 중간 성적이어서, 단순히 빼면 향상 폭이 과대평가된다. 그래도 규모의 변화가 크다는 점은 달라지지 않는다.
TUFA Labs가 어떤 방법을 썼는지는 현재 공개되지 않았고, 성적 뒤에 있는 연산 소모량과 문제당 비용도 밝혀지지 않았다. 규칙상 수상 솔루션은 오픈소스로 공개하고 설명서를 제출해야 하므로, 세부 내용은 빨라야 시즌이 끝난 뒤에야 볼 수 있다.
문제에 아직 남은 여지는
주최 측이 2025년 ARC-AGI-2를 공개할 때 제시한 인간 기준선은 테스트 참가자의 평균 정답률이 약 60%이고, 모든 문제를 최소 두 명이 맞혔다는 것이다. 이 기준으로 보면 공개 리더보드 88%는 이미 인간 테스트 참가자의 평균을 넘어섰다.
ARC Prize는 최근 2년간 무게중심을 상호작용형 ARC-AGI-3로 옮기고 있다. 이 세대의 문제는 시행착오를 거치며 배워야 하는 작은 게임으로 바뀌었다. 이번 시즌 비공개 세트에서 ARC-AGI-2의 85% 돌파가 확인된다면, 이 정적인 격자 문제가 상금 대회 과제로서 맡은 역할은 사실상 마무리될 가능성이 크다. 주최 측이 다음에 어떻게 할지는 아직 공지되지 않았다.
참고 출처: ARC Prize 공식 계정, ARC Prize 2026 대회 규칙 페이지, CocoLoop, ARC Prize 2025 시즌 결과 분석. 상위 5개 팀 점수, 상금 구성, 2025 시즌 우승 점수의 집계 기준을 확인했다.