포춘(Fortune)은 9월 4일, OpenAI가 GPT-6 Astra를 발표한 블로그 글이 게시된 이후 페이지 안의 평가 수치가 여러 차례 수정됐고, 일부 지표는 바뀌었다가 다시 원래대로 돌아왔다고 보도했다.
시간대별 흐름은 인터넷 아카이브의 스냅숏을 통해 하나하나 확인할 수 있다. 9월 3일 미 동부시간 오후 2시, 블로그 글이 처음 게시된 뒤 내려갔다. 오후 2시 23분에 첫 번째 아카이브 스냅숏이 남았고, 오후 3시 32분 OpenAI의 X(옛 트위터) 계정이 링크를 올렸는데 그 링크는 깨져 있었다. 오후 3시 50분에는 샘 올트먼(Sam Altman)이 이를 리포스트했고, 오후 5시 20분의 여섯 번째 스냅숏에 이르러서는 표 안의 수치가 이미 바뀌어 있었다. 9월 4일에도 수치는 계속 움직였다.
무엇이 바뀌었나
가장 눈에 띄게 움직인 것은 환각률 항목이다. Astra는 4.2%에서 2.0%로 수정됐다가 다시 4.2%로 돌아왔고, 대조군으로 쓰인 GPT-5.6 Sol은 12.2%에서 9.4%로 수정됐다가 마찬가지로 12.2%로 돌아왔다. 두 모델의 상대적 순위는 바뀌지 않았지만, 그 중간 버전이 유출된 스크린샷에서는 격차가 실제보다 절반 이상 작아 보였다.
수학 항목에서 바뀐 것은 다른 회사 모델의 점수였다. FrontierMath Tier 4 v2에서 Astra 자체의 97.6%는 처음부터 끝까지 변하지 않았다. Anthropic의 Fable 5.1은 87.8%에서 78%로 조정된 뒤 최종적으로 83%에 머물렀다. GPT-5.6 Sol은 83%에서 80.5%로 조정됐다가 역시 83%로 돌아왔다. 경쟁 모델의 점수는 한때 거의 10퍼센트포인트 가까이 깎여 있었다.
사이버보안 부문에서는 GPT-5.6 Sol의 ExploitBench 점수가 5.5%에서 11.5%로 상향 조정됐다. 이 수치가 이후 다시 되돌려졌는지는 포춘의 보도 시점까지도 확인이 진행 중이었다.
이 밖에 ARC-AGI-3 점수는 엠바고(사전 배포) 버전에서 98.6%였으나 정식 공개 버전에서는 99.99%로 표기됐다. 코딩 항목에도 작은 수정이 있어 57.7%가 57.9%로 바뀌었다.
이에 대해 OpenAI 대변인은 이렇게 답했다. "We care deeply about getting evaluations right. Most evaluations have noise within a few percentage points..."(평가를 제대로 하는 것을 매우 중요하게 여기며, 대부분의 평가에는 원래 몇 퍼센트포인트 정도의 오차가 존재한다는 취지).
외부 연구자들의 시각은 엇갈린다. 앙카 로이엘(Anka Reuel)과 마이크 하디(Mike Hardy)는 "This can be done in a very tight timeframe, and it's better for their marketing."(이런 조정은 매우 짧은 시간 안에 이뤄질 수 있으며, 마케팅 측면에서도 유리하다는 취지)라고 말했다. 스노클 AI(Snorkel AI)의 빈센트 선 첸(Vincent Sunn Chen)은 보다 절차적인 설명 쪽에 무게를 실었다. "It's usually a function of final launch logistics."(대개는 발표 막바지 진행 과정에서 비롯된 결과라는 취지).
이 점수는 어떤 조건에서 나온 것인가
블로그 하단에는 "Evaluation scores are the maximum at any effort"(평가 점수는 각 연산 투입 수준에서 얻을 수 있는 최고치라는 취지)라는 문구가 작은 글씨로 적혀 있다. 이 한 문장의 무게는 표 안의 어떤 수정보다도 무겁다.
ARC-AGI-3 항목은 그 차이가 얼마나 클 수 있는지를 보여준다. Arc Prize Foundation이 자체적으로 테스트한 결과, 강력한 하니스(harness)를 갖췄을 때 점수는 99.9%에 달했지만, 표준 하니스로는 63%에 그쳤다. 같은 모델, 같은 문제 세트에서 36퍼센트포인트나 차이가 났고, 그 차이는 바깥쪽의 스케줄링 코드에서 비롯된다.
중화권 독자들에게는 이런 세부 정보가 확산 과정에서 대부분 사라지는 것이 일반적이다. 이 평가표가 중국 내로 전해질 때쯤이면 대개 숫자와 순위 스크린샷만 남고, 하니스 설정이나 effort 단계, 평가 버전 번호는 함께 전달되지 않는다. 반면 일반 사용자가 실제로 접하는 것은 제품화된 ChatGPT나 API의 기본 설정으로, 이는 "어떤 투입 수준에서든 최댓값"이라는 조건과는 여러 겹 떨어져 있다.
포춘은 또 OpenAI의 시스템 카드에 상세한 평가 방법론 문서가 빠져 있어 외부의 재현 실험을 어렵게 만든다고 지적했다. 이번 여러 차례의 수정을 구체적으로 누가 주도했고 어떤 근거에서 이뤄졌는지는 공개 자료에 설명이 없으며, OpenAI의 답변에서도 이 부분은 다뤄지지 않았다.
확인할 수 있는 것은 아카이브뿐
이번 일에서 유일하게 확실한 증거는 인터넷 아카이브에 남은 여섯 개의 스냅숏이다. 이는 수치가 바뀌었다는 사실, 언제 바뀌었는지, 무엇으로 바뀌었는지는 증명할 수 있지만, 수정의 동기까지는 증명하지 못한다.
발표 당일의 평가표를 뉴스의 사실로 인용하는 것은 업계에서 흔히 통용되는 관행이다. 이번 Astra의 기록은 인용할 때 수집 시점을 함께 표기하는 편이 낫다는 점을 보여준다.
참고 출처: 포춘(Fortune), CocoLoop, Arc Prize Foundation, OpenAI 공식 블로그. 포춘 보도를 통해 각 스냅숏의 시점과 환각률, FrontierMath, ExploitBench, ARC-AGI-3 각 항목 점수의 전후 변화를 확인했고, OpenAI 블로그 페이지에서 점수 산정 기준에 관한 면책 조항 원문을 확인했다.