드와케시 파텔(Dwarkesh Patel)과 제리 한(Jerry Han)은 9월 8일 사전학습(pretraining) 대조 실험 결과를 공개했다. 2019년부터 2025년 사이, 1e19 FLOPs의 연산 예산에서 데이터 개선에 따른 연산 효율 향상은 12.0배, 모델 개선에 따른 향상은 3.7배로, 전자가 후자의 3.24배에 달한다는 내용이다.
실험은 이렇게 진행됐다
두 사람은 모델 레시피와 학습 데이터를 각각 연도별로 나눈 두 개의 축으로 놓고, 이를 교차 조합해 학습시켰다. 모델 축은 2019년 GPT-2부터 2025년 OLMo-2까지 이어지며, 중간에 GPT-3와 NeoX 방식 레시피가 포함된다. 데이터 축은 2019년 OpenWebText부터 2025년 UltraFineWeb까지 이어지며, 중간에 The Pile이 포함된다. OpenWebText는 약 90억 토큰 규모로, 최신 코퍼스는 이보다 몇 자릿수 더 크다.
연산 예산은 1e17, 3.16e17, 1e18, 3.16e18, 1e19 FLOPs 다섯 단계로 설정했으며, 명목상 C = 6ND 공식으로 계산했다. 평가에는 OLMES를 사용했다. 이는 비교적 단순한 10개 벤치마크(대부분 객관식 질의응답)를 종합한 지표다. 교차 엔트로피 손실 대신 이를 택한 이유는 명확하다. 실험마다 사용하는 데이터셋이 달라 손실값을 직접 비교할 수 없기 때문이다.
결과를 선형 회귀에 대입한 결과, 데이터 항과 모델 항을 단순히 더한 모델이 분산의 88%를 설명했다.
연 단위로 환산하면 수치는 더 작아진다
연 단위로 환산하면 모델 측 연산 효율 향상은 연 1.24배, 데이터 측은 연 1.51배, 이를 합치면 연 1.57배가 된다.
1.57배는 기존 업계 추정치보다 낮다. 앤슨 호(Anson Ho) 등이 제시한 평균값은 3배로, 거의 두 배 가까이 차이가 난다. 저자들은 이 차이를 피하지 않고 두 가지 이유를 제시했다. 실험 규모가 너무 작아 이 수준에서는 드러나지 않는 증분이 많다는 점, 그리고 소규모 학습이 추론 측 최적화까지는 다루지 못한다는 점이다.
두 수치를 그대로 맞대어 비교할 수는 없다. 하나는 변수가 깔끔하게 통제된 소규모 대조 실험으로 외삽할 여지가 제한적이고, 다른 하나는 업계 전체를 다룬 거시적 추정치로 범위는 넓지만 증분의 출처를 분해할 수는 없다. 이 연구의 의미는 "데이터"와 "모델"의 기여도를 따로 저울질했다는 데 있으며, 3.24배라는 구체적인 수치 자체는 오히려 부차적이다.
저자들이 남긴 여지
원문에는 결론보다 더 기억해둘 만한 문장이 있다.
"if the gains are limited, then the main driver of pretraining progress will stall, because we're not generating more internet, and you can only curate a fixed set of data by so much."
(의역: 만약 증분이 제한적이라면, 사전학습 발전을 이끌어온 주된 동력은 정체될 것이다. 우리가 인터넷을 더 만들어낼 수는 없고, 고정된 데이터를 아무리 정제해봐야 짜낼 수 있는 양에는 한계가 있기 때문이다.)
저자들은 스스로 네 가지 한계도 밝혔다. 첫째, 실험 규모가 작아 많은 증분을 포착하지 못한다. 둘째, 연산 배수는 어떤 모델 레시피와 어떤 코퍼스를 선택하느냐에 상당히 민감해, 조합을 바꾸면 결과도 달라진다. 셋째, Common Crawl을 정제하는 방식만 연구했을 뿐, 새로운 출처에서의 고품질 데이터 수집, 인간 전문가가 생성한 데이터, 합성 데이터 생성이라는 세 가지 경로는 다루지 않았다. 넷째, 벤치마크 세트를 바꾸면 결론이 "상당히 달라질 것"이라고 밝혔다.
특히 셋째 항목이 중요하다. 최근 몇 년간 공개 논의에서 반복적으로 거론된 증분 데이터 출처들은 정확히 이들이 검증하지 않은 세 범주에 속한다. 이번 실험이 답한 것은 지난 6년간 인터넷 데이터 정제가 어디까지 왔는가이며, 앞으로 얼마나 더 남았는지는 답하지 않았다.
참고 출처:Dwarkesh Podcast 원문, OLMES 벤치마크 설명, CocoLoop; 연산 효율 배수와 연 환산 수치는 원문의 1e19 FLOPs 기준을 따르며, 업계 3배 추정치는 앤슨 호(Anson Ho) 등의 연구에서 인용했다.