제3자 벤치마크 기관 Artificial Analysis가 Claude Fable 5.1의 테스트 결과를 갱신했다. 종합 지능지수는 66점으로, 평가 대상 192개 모델 중 1위에 올랐다. 전 세대 모델인 Fable 5는 62점으로 6위였다.
같은 결과에는 또 다른 수치가 담겨 있다. 지능지수 평가 세트 전체를 실행하는 데 Fable 5.1은 8523.16달러, Fable 5는 5455.22달러가 들었다. 작업 1건 기준으로 환산하면 비용은 3.14달러에서 3.69달러로 올랐다.
단가는 그대로, 말수만 늘었다
두 세대의 공식 가격은 완전히 동일하다. 입력은 100만 토큰당 10달러, 출력은 50달러다. 늘어난 약 3000달러는 전부 출력 길이에서 나왔다. Fable 5는 평가 세트 전체를 실행하며 8300만 토큰을 출력했지만, 5.1은 1억 4000만 토큰을 출력해 약 69% 늘었다. Artificial Analysis가 제시한 192개 모델의 중앙값은 7100만 토큰으로, 5.1의 출력량은 중앙값의 거의 두 배에 이른다.
이는 지난 1년간 추론 모델 전반의 흐름과 맞아떨어진다. 성능 향상은 모델이 여러 단계를 더 "생각"하게 만드는 방식으로 이뤄지고, 과금은 토큰 수를 기준으로 하기 때문에 생각이 길어질수록 청구액도 함께 늘어난다. 월정액 구독을 쓰는 일반 사용자에게는 직접적인 영향이 없지만, API로 정산하는 팀이라면 같은 작업량이라도 예산을 다시 짜야 한다.
첫 토큰까지 5분 가까이
속도 항목은 더 눈에 띈다. Fable 5.1의 출력 속도는 초당 66.4토큰으로, 192개 모델 중 84위에 그쳐 중앙값 70을 밑돈다. 첫 토큰이 반환되기까지 걸린 시간은 296.81초로, 전 세대의 116.06초보다 1.5배 넘게 늘었다.
이 지연 수치는 대화형 환경에서는 사실상 쓸 수 없는 수준이지만, 측정 대상은 추론 과정 전체다. 모델은 첫 글자를 내놓기 전에 오랜 시간 생각한다. 무인 백그라운드 작업이라면 5분 기다리는 것이 문제 되지 않지만, 에디터에서 자동완성을 기다리는 상황이라면 이야기가 완전히 달라진다.
GPT-5.6 Sol과 나란히 놓고 보면
같은 순위표에서 OpenAI의 GPT-5.6 Sol은 61점으로 8위를 기록했다. 평가 세트 전체 실행 비용은 2017.29달러, 작업 1건당 0.95달러, 출력은 7000만 토큰이며, 공식 가격은 입력 100만 토큰당 4달러, 출력 20달러다.
대략 계산해보면, Fable 5.1은 지능지수에서 GPT-5.6 Sol보다 5점 높지만 작업당 비용은 3.9배, 평가 세트 전체 비용은 4.2배에 달한다. 이것만으로 어느 쪽이 더 이득인지 단정하기는 어렵다. 두 모델이 잘하는 작업이 다르고, 복잡한 작업을 한 번에 제대로 처리해 절약되는 재작업 시간이 이 가격 차이를 상쇄할 수도 있다. 다만 이 수치는 왜 점점 더 많은 팀이 모델을 등급별로 나눠 쓰기 시작했는지는 설명해준다. 어려운 문제는 1위 모델에 맡기고, 나머지 80%의 단순 작업은 저렴한 모델로 돌리는 식이다.
순위표가 답하는 질문은 하나뿐이다. 어떤 모델이 가장 똑똑한가. 청구서를 받는 사람은 또 다른 질문에 스스로 답해야 한다. 그 1점이 얼마짜리인가.
참고 출처: Artificial Analysis 모델 비교 페이지, CocoLoop. 지능지수 점수, 평가 세트 전체 비용, 작업당 비용, 출력 토큰량, 첫 토큰 응답 시간은 모두 해당 기관이 공개한 동일 회차 테스트 데이터를 기준으로 한다.