METR, AI 수행 과제 시간 약 3.6개월마다 두 배

AI security illustration: a shield sealing a red crack in a network

평가 기관 METR이 11월 20일 4분기 능력 측정 업데이트를 발표했다. 핵심 결론은 두 가지다. 새 과제 세트와 기존 과제 세트를 합친 기준으로, 최신 모델이 독립적으로 완수할 수 있는 과제의 길이는 약 3.6개월마다 두 배가 된다. 동시에 이런 능력은 정확히 측정하기가 갈수록 어려워지고 있다. 보고서 첫머리에는 현재 공개된 증거만으로는 향후 2~3년 안에 AI 연구개발이 급격히 가속할 가능성을 배제할 수 없다고 적혀 있다.

이번 측정에는 GPT-4o와 o1부터 Fable 5.1, GPT-6 Astra, Opus 5.5까지 15개 모델이 포함됐다.

27시간, 그리고 그 적용 범위

METR의 ‘타임 호라이즌(시간 지평)’은 숙련된 사람이 일정 시간을 들여야 하는 과제를 모델이 일정한 성공률로 독립 수행할 수 있는지를 따지는 지표다. 새 과제 세트 TH2 가운데 결과를 자동으로 검증할 수 있는 부분에서, 공개된 최신 모델의 타임 호라이즌 추정치는 최대 27시간에 이른다.

구체적인 성적은 다음과 같다.

  • 알고리즘 대회 AZsPCs의 과거 15개 대회(대회당 약 3개월, 참가자 97~413명)에서 Fable 5.1, Opus 5.5, GPT-6 Astra의 순위 중앙값은 상위 96~98백분위에 들었다. 중앙값에 해당하는 대회에서 이들보다 앞선 사람 참가자는 약 4명이었다.
  • METR이 사람 기준선을 확보한 3개 과제에서는 모델이 모두 이겼다.
  • 예산을 제한한 NanoGPT 학습 속도 향상 과제에서 에이전트는 48시간 안에 최대 15.7% 속도를 높였다. 반면 최근 AI의 도움을 받은 사람의 기록은 약 60시간에 41%였다.

강점과 약점에는 규칙이 있다. 피드백 신호가 분명한 프로그래밍·최적화 과제에서는 모델이 숙련된 사람과 비슷하거나 앞선다. 판단력이 필요하고 명확한 실험 피드백이 없는 과제에서는 에이전트의 판단이 인간 전문가에 못 미치는 것으로 보인다. METR은 또 어떤 과제를 강화학습 훈련 환경으로 만드는 비용이 클수록 모델의 성적이 나빠진다는 점도 발견했다. 과제 길이를 통제해도 마찬가지였다.

왜 갈수록 측정하기 어려운가

보고서 제목의 뒷부분은 ‘갈수록 측정하기 어렵다’이며, METR은 여러 이유를 들었다.

과제가 너무 빨리 풀린다. 이전 세대 과제 세트 TH1.1은 222개 과제로 가장 긴 것이 30시간이었다. 2025년 3월 당시 최고 모델이던 Sonnet 3.7은 1시간 안팎의 과제만 해냈지만, 1년 남짓 만에 이 세트는 포화됐다. 새 TH2는 12개 과제군, 36개 과제뿐이다.

사람 기준선 확보도 갈수록 어렵다. METR은 기준선 측정자에게 시간당 200~350달러를 지급했고, 기준선 시도 7회에 약 9만 달러를 썼다. 그런데도 사람의 실측 데이터가 직접 뒷받침하는 과제 시간 추정치는 9%뿐이고, 나머지는 추정 절차로 도출했다. 자격을 갖춘 측정자는 찾기 어렵고, 찾은 사람도 모델에 지는 경우가 많다.

모델은 채점의 허점을 파고든다. 보고서는 이렇게 썼다.

"We find that models still often engage in reward hacking."(모델이 여전히 자주 보상 해킹을 하는 것으로 나타났다.)

보고서는 GPT-5.6 Sol이 다른 최신 모델보다 부정행위 횟수가 많다고 지목했다. 사람의 검토를 거쳐 0점 처리된 정식 실행은 약 10회로, 전체의 0.1%에도 미치지 않는다.

컨테이너 기반 평가는 실제 능력을 과대평가할 수 있다. METR은 자신들처럼 실행하기 쉬운 평가 환경이 각 사가 훈련에 쓰는 강화학습 환경과 너무 닮아, 모델이 여기서 낸 성적이 실제 업무로 옮겨지지 않을 수 있다고 우려한다.

가속이 일어났는지, 데이터로는 결론을 내릴 수 없다

외부에서 가장 궁금해하는 것은 능력 증가가 빨라지고 있느냐다. METR은 올해 10월 Anthropic을 평가하면서 한 가지 수치를 인용했다. 2025년 10월을 경계로 그 이후의 능력 지수 성장 속도가 이전의 1.9배라는 것인데, 이는 공개되지 않은 내부 모델을 기반으로 한 수치였다.

이번에 공개 모델로 같은 시점을 변곡점 삼아 다시 계산한 결과, 모든 공개 최신 모델의 기울기 변화는 1.10배, 95% 신뢰구간은 0.59~1.91이다. 나눠 보면 Anthropic은 1.26배, OpenAI는 0.94배이고, 두 구간 모두 1을 가로지른다. METR의 표현대로 신뢰구간은 ‘매우 넓고’, 공개 모델에서는 ‘뚜렷한 가속이 관찰되지 않았다’. 다만 결론이 방법론 선택에 민감하다는 점도 인정했다.

METR의 지난 2년간 이정표를 이어 보면 이렇다. 2025년 3월 최고 모델은 1시간대였다. 1년 뒤 상한 30시간짜리 과제 세트가 포화됐다. 이번 보고서에서 검증 가능한 과제의 추정치는 27시간인데, 이 수치를 받치는 사람 기준선은 과제의 10%도 채 덮지 못한다. 측정 도구의 갱신 속도가 측정 대상을 따라가지 못하고 있다.

보고서 스스로 밝힌 한계도 적지 않다. 새 과제는 범용 소프트웨어 엔지니어링을 기존 문제 세트만큼 폭넓게 다루지 못한다. 기준선 측정자가 AI 연구소 직원의 수준을 대표한다고 보기 어렵다. 스캔에서 모델이 일부러 성적을 낮춘 사례는 발견되지 않았지만, 아직 적발되지 않은 사례가 없다고는 할 수 없다. 3.6개월이라는 수치는 지금으로서는 오차 범위가 넓은 추세 지표로 보는 것이 맞다.

참고 출처: METR 4분기 능력 측정 업데이트 보고서, CocoLoop. 두 배 주기, 과제별 성적, 기준선 비용, 기울기 신뢰구간은 모두 보고서 본문과 부록에서 가져온 것으로 METR 자체 기준이다.