프라임 인텔렉트(Prime Intellect)가 규모 있는 벤치마크 결과를 공개했다. 18개 프런티어 모델 각각에 AI 연구를 스스로 수행하도록 맡겨, 완전 자율 실험을 총 153회 진행한 것이다. 실험마다 H200 GPU 8장을 점유했고, 가장 오래 걸린 실험은 8일을 넘겼다.
과제는 nanoGPT 옵티마이저 스피드런이었다. 켈러 조던(Keller Jordan)이 시작한 커뮤니티 경쟁으로, 1억 2400만 파라미터 규모의 GPT를 검증 손실 3.28 미만까지 학습시키되 학습 스텝 수를 최소화하는 쪽이 이긴다. 규칙은 엄격해서 옵티마이저 관련 부분만 손댈 수 있고 인터넷 접속도 금지된다. 나머지는 전부 모델이 알아서 처리해야 한다. 모델에게 주어진 도구는 상시 실행되는 IPython 커널뿐으로, 실험 파이프라인 구축부터 코드 작성, 검증 실행, 자기 가설 뒤집기까지 모두 스스로 해내야 했다.
성적표
출발선은 3290스텝이었다. 인간 커뮤니티는 수십 명이 몇 달을 매달려 기록을 2600스텝까지 끌어내렸고, 그 사이 690스텝이 이번에 측정하려는 격차다.
페이블 5(Fable 5)는 2726스텝을 기록해 격차의 약 82%를 메웠다. 오퍼스 5(Opus 5)는 2920스텝, 키미 K3(Kimi K3)는 2930스텝에서 멈춰 각각 절반가량을 좁혔다. GPT-5.6 솔(Sol)은 3042스텝, GLM 5.3은 유효한 결과를 내지 못했다.
오퍼스 5와 키미 K3의 차이는 단 10스텝뿐이다. 대략 계산하면 전체 격차의 1.4%로, nanoGPT 학습 자체가 지닌 노이즈와 샘플링 변동성을 감안하면 이 순서에는 사실상 설명력이 없다. 달리 말하면, 며칠씩 이어지는 자율 진행이 필요한 과제에서 오픈소스 모델은 이미 최상위 폐쇄형 모델과 어깨를 나란히 하고 있다는 뜻이다. 실제로 키미 K3는 상위 3개 모델에 든 유일한 오픈소스 모델이기도 하다.
격차를 가른 건 실행력
보고서는 모델 간 차이의 원인을 실행 단계로 지목한다. 어떤 실험을 고를지, 얼마나 꼼꼼히 진행할지, 노이즈 섞인 결과를 어떻게 해석할지 — 이 하나하나가 격차를 벌린다.
구체적으로, 성적이 좋은 모델들은 애매한 결과를 얻으면 먼저 무작위 시드 3개로 재검증한 뒤 안정적임을 확인하고 나서야 전체 검증에 들어갔다. 이전에 효과 없음으로 판정했던 방향도 다시 꺼내 애블레이션을 재실행하곤 했다. 일부 모델은 자체 실험 관리 파이프라인과 소규모 시뮬레이터까지 직접 구축했다. 반면 성적이 나쁜 모델들은 노이즈 속에서 실재하지 않는 개선을 발견한 뒤, 그 잘못된 결론을 따라 끝까지 밀어붙이는 경우가 많았다.
이 결론은 실무에서 튜닝을 해본 사람에게는 낯설지 않다. 하이퍼파라미터 튜닝의 문턱은 논문을 이해하는 데 있지 않고, 의심스러운 긍정적 결과를 세 번 반복해 확인할 인내심이 있느냐에 있다.
찬물을 끼얹은 건 새로움의 부재
보고서에는 자조 섞인 문장이 나온다. 저자들은 “새로움의 부족에 또다시 놀랐다”고 밝혔다. 153회 실험 내내 승리한 방식은 모두 기존 기법 — 프리컨디셔닝, 학습률 스케줄링, 가중치 평균화 — 이었고, 아무도 시도한 적 없는 방법을 내놓은 모델은 하나도 없었다.
이는 최근 AI 자기 개선을 둘러싼 논의에 절묘한 시점의 찬물이 됐다. 실험을 잘 수행하는 것과 새로운 방법을 제안하는 것은 별개의 능력이다. 전자는 이미 8일간 사람 개입 없이 자동으로 돌아갈 만큼 자동화됐지만, 이번 데이터에서 후자의 흔적은 전혀 보이지 않는다.
이 데이터, 어디까지 확장될까
제약 조건은 적지 않다. nanoGPT 스피드런 자체가 원래 분산이 큰 과제인 데다, 컴퓨팅 예산 문제로 모델별로 충분한 반복 실험을 거쳐 평균을 낼 수도 없었다. 저자들 스스로도 결과 중 어느 정도가 이 특정 과제 설정에서 비롯됐고 어느 정도가 모델의 실제 상한선을 반영하는지 가려내기 어렵다고 인정한다.
단일 과제, 단일 분야, 고정된 harness라는 조건에서 나온 결과라 다른 연구 방향으로 바꾸면 순위가 뒤집힐지는 지금으로선 아무도 장담할 수 없다. 그래도 18개 모델을 같은 샌드박스에 넣고 8일간 돌린 이 정도 규모의 공개 대조 실험은 이전에 없었다. 산포를 그대로 드러낸 것만으로도, 서로 비교 불가능한 자체 평가들을 모아놓은 것보다는 쓸모가 있다.
참고 출처: 프라임 인텔렉트 연구 블로그 및 실험 리포지토리, CocoLoop, 콴즈웨이(量子位); 각 모델의 스텝 수와 기준선은 nanoGPT 스피드런 리더보드로 확인했다.