OpenAI는 10월 6일 내부 최첨단 모델이 작성한 수학 연구 성과를 GitHub에 공개했다. 저장소 이름은 'openai/math'로, Apache 2.0 라이선스로 공개됐다. 저장소에는 논문 722편이 담겨 있으며, 372개의 연구 '패밀리'로 분류돼 있다. 같은 문제에 대한 서로 다른 증명, 일반화, 수정판이 함께 묶여 있는 방식이다.
OpenAI에 따르면 연구 과정에서 모델에 주어진 문제는 모두 약 4000개에 달한다. 채택된 결과 하나당 평균적으로 ChatGPT Pro의 확장 사고 모드를 3시간 가동한 것과 맞먹는 컴퓨팅 자원이 들었다고 밝혔다.
어떤 분야를 다뤘나
논문은 수론, 계산 복잡도 이론, 수리물리학, 기하학, 이론 전산학에 걸쳐 있다. 외신이 언급한 예로는 원주율 π의 무리성 측도 관련 문제, 여러 NP-난해 문제, 말러 추측, 등차수열, 자유군 인자, 그리고 양자 하이젠베르크 강자성체와 상대론적 블라소프-맥스웰 방정식 등이 있다.
증명 다수에는 Lean 형식화 버전이 함께 제공된다. Lean은 컴퓨터가 증명의 논리를 한 단계씩 검증할 수 있게 해주는 프로그래밍 언어로, 형식화를 통과하면 추론 과정에 빈틈이 없다는 뜻이다. 다만 모든 논문에 Lean 파일이 딸려 있는 것은 아니며, OpenAI는 설명에서 이를 솔직하게 밝혔다.
"some of the unformalized results could have issues"
형식화되지 않은 결과에는 문제가 있을 수 있다는 뜻이다. 회사는 앞으로 발견되는 오류를 수정하고, 형식화된 증명을 점차 늘려가겠다고 약속했다. 저장소에는 논문 수정 절차와 인용 규칙도 함께 첨부돼, 연구자들이 특정 결과가 몇 번 수정됐는지, 인용 시 어느 버전을 참조해야 하는지 추적할 수 있다.
지금까지의 흐름
이번 발표는 OpenAI가 수학 분야에서 마지막으로 큰 소식을 낸 지 넉 달 넘게 지난 시점에 나왔다. 올해 5월 OpenAI의 모델은 약 80년간 미해결로 남아있던 에르되시 문제를 풀어냈는데, 당시는 단일 돌파구로 한 문제씩 보고되는 방식이었다. 10월에는 수백 편의 논문이 한꺼번에 저장소에 올라오는 방식으로 바뀌었고, 공개 방식 자체가 뉴스의 일부가 됐다.
형식에도 변화가 있었다. 이번 공개에 앞서 OpenAI는 프린스턴 고등연구소(IAS)가 소집한 독립 '수학 및 AI 자문단'의 의견을 구했다. 이 자문단은 9월 29일 수학계로부터 600건 이상의 피드백을 받아 작성한 권고안을 발표하며, AI가 생성한 수학 성과에 대해 모델 이름, 사용된 프롬프트, 추론 요약, 컴퓨팅 비용, 그리고 유사 문제에서의 모델 실패율을 공개하라고 요구했다.
이 목록에 비춰보면 OpenAI는 이번에 컴퓨팅 비용 기준(평균 Pro 사고 모드 3시간 분량), 문제 총수(약 4000개), 그리고 다량의 Lean 증명을 제시했다. 모델 자체는 여전히 공개되지 않았으며, 발표문은 이를 '내부 모델'이라고만 칭하고 책임감 있게 공개를 추진 중이라고 설명했다. 약 4000개 문제 중 몇 개가 풀리지 않았는지, 중간에 포기된 문제가 어느 것인지는 공개된 자료로는 알 수 없다.
수학계는 이런 생산량에 대해 이미 우려를 표해왔다. 테렌스 타오는 올해 8월과 9월 두 차례에 걸쳐 이 문제를 공개적으로 언급하며, AI로 인해 증명 생산량이 인간의 검토 능력을 크게 앞지르고 좋은 난제들도 빠르게 '채굴'당할 수 있다고 지적했다. 논문 722편이 한꺼번에 공개된 지금, 검토 부담이 결국 누구에게 돌아갈지에 대해 아직 아무도 답을 내놓지 못했다.
앞으로의 계획
OpenAI는 수학계가 AI가 생성한 결과를 이해하고 받아들이는 데 도움이 되도록 관련 워크숍과 전용 프로그램에 자금을 지원하겠다고 밝혔다. 이 논문들이 정식 학술지에 실릴 수 있을지, 저자 표시는 어떻게 처리할지에 대해서는 구체적인 방안을 내놓지 않았고, 외부 수학자들의 논문별 검증 결과도 아직 공개되지 않았다.
참고 출처: OpenAI 공식 블로그, Interesting Engineering, CocoLoop, Unite.AI; 논문 수, 문제 총수, 컴퓨팅 비용 기준은 OpenAI의 공개 설명을 따르며, 자문단 권고 내용은 IAS 자문단의 공개 문서를 따른다.