AI 연구기관 Epoch AI가 10월 26일 내부 실험 결과를 공개했다. 팀이 일상적으로 하는 실제 업무를 최신 모델에 맡기고, 직원을 평가할 때 쓰는 것과 같은 기준으로 점수를 매긴 것이다. 가장 좋은 성적을 낸 것은 Claude Fable 5.1과 GPT-6 Astra로, 평균 65%였다.
"A 65% score is still a failed task."
(65점짜리 작업은 여전히 완수하지 못한 작업이다.)
글을 쓴 사람은 Kelly Hong, Greg Burnham, Lynette Bye이며, 내용은 Epoch가 새로 시작한 '자동화 보고서' 시리즈의 요약이다.
이번 실험에는 전사가 있다. Epoch의 수석 연구원 Anson Ho는 앞서 AI에게 자기 업무를 넘겨 보려 한 적이 있는데, 당시 AI는 모든 작업을 끝내지 못했고 그는 이 10년이 끝나기 전에 상황이 바뀔 것이라고 판단했다. 이번에는 개인 실험이 팀 전체의 작업 목록으로 확대됐고, 통일된 채점 기준을 쓰며, 평가 대상 모델도 현재 가장 강력한 여섯 개로 바뀌었다.
평가 방식
작업은 Epoch 직원의 일상 업무에서 가져왔으며 그래픽 디자인, 연구 프로젝트 기획, 코딩, 데이터 분석 등 다섯 유형에 걸쳐 있다. 모델은 스스로 맥락을 모으고, 도구를 호출하고, 작업에 숨어 있는 여러 골칫거리를 처리해야 한다. 채점은 결과물이 채점 기준의 몇 개 항목을 충족하는지를 보는 방식이며, 이 기준은 원래 직원을 평가하기 위해 만든 것이다.
Epoch는 이것이 표준 벤치마크를 돌리는 것보다 훨씬 번거롭다고 인정하면서, 대신 실제 업무에 더 가깝다는 점을 장점으로 꼽았다. 글에는 전체 작업 수가 제시돼 있지 않다.
결과 분포에는 뚜렷한 규칙이 있다. 코드 작성이나 데이터 분석처럼 경계가 분명한 작업에서는 모델이 꽤 잘했다. 몇 가지 사례에서 규칙을 끌어내거나 판단이 필요한 일 같은 개방형 작업에서는 눈에 띄게 애를 먹었다. 연구 방향을 제안하게 하면 아이디어는 그런대로 쓸 만하지만, 그 방향을 실행 가능한 실험 계획으로 옮기는 단계에서는 문제가 생기기 쉽다.
한 시범 실험에서 GPT-6 Astra는 토큰 예산을 너무 낮게 잡아 실행의 22%에서 답을 내지 못했다. 그런데도 이 실패를 '모델 능력에 관한 중요한 발견'으로 결론에 적었을 뿐, 자신의 설정 오류라는 점은 알아채지 못했다.
표준 벤치마크 점수와 나란히 놓으면
같은 두 모델도 각 사가 내놓는 공개 순위표에서는 대개 훨씬 보기 좋은 성적이 나온다. OpenAI가 막 공개한 GPT-6.1 Terra는 Terminal-Bench 4.0의 최고 설정에서 작업의 50.3%를 완료했고, 이것만으로도 큰 진전으로 홍보됐다. Agents' Last Exam, OSWorld 같은 컴퓨터 조작 벤치마크도 갈수록 '완료율'로 이야기를 풀어 가고 있다.
Epoch의 65%는 이런 점수와 직접 환산할 수 없다. 전자는 '채점 항목을 충족한 비율'이고, 후자는 대부분 '문제 전체를 맞힌 비율'이기 때문이다. Epoch는 글에서 따로 당부했다. 65%는 업무의 3분의 2가 자동화됐다는 뜻이 아니며, 점수의 상당 부분이 쉽게 딸 수 있는 항목에서 나왔을 수 있고, 소요 시간과 난이도 면에서 항목의 65%를 채웠다고 해서 진척이 65%에 이르는 것도 아니라는 것이다.
"Every one of those tasks would be rejected or revised if a human had submitted it."
(이 결과물을 사람이 제출했다면 하나하나 모두 반려되거나 수정 요구를 받았을 것이다.)
실질적인 변화도 하나 있다. Epoch는 기본적인 차트 생성 작업을 테스트 세트에서 뺐다. Fable 5.1이 대개 한 번에 쓸 만한 차트를 그려내기 때문이며, 팀은 이미 이 단계를 부분적으로 AI에 맡기고 있다.
저자들의 견해는 모델이 한 단계 발전할 때마다 '100% 합격' 선을 넘는 작업이 늘어난다는 것이다. 사람이 안심하고 AI에 맡기는 것은 그때부터이고, 경제적 영향도 그때부터 나타나기 시작한다. 어떤 작업이 먼저 선을 넘을지는 Epoch가 후속 보고서에서 항목별로 추적할 계획이다.
참고 출처: Epoch AI 연구 칼럼, CocoLoop, OpenAI 제품 공지. 65% 점수의 산정 기준은 Epoch의 채점 기준 설명으로 확인.