시카고대 수학자, AI 증명 급증에 6가지 개혁안

AI research illustration: a microscope over a red sample beside node diagrams

시카고대 수학자 프랭크 칼레가리(Frank Calegari)가 11월 1일 테렌스 타오 블로그에 초청 기고문을 올렸다. 제목은 "Mathematics has changed. Let's act like it"이다. 타오는 짧은 머리말만 덧붙여, 초청 기고문이며 원고는 다른 형식이었다가 AI의 도움을 받아 변환했다고 밝혔다. 나머지 내용은 모두 칼레가리의 글이다.

글의 출발점은 OpenAI가 10월 6일 공개한 700편이 넘는 연구 논문이다. 칼레가리는 이를 하나의 이정표로 보면서도, 이 논문들이 조악하게 쓰였고 저자 표기 관행을 존중하지 않았으며 일부 결론에는 오류가 있다고 비판한다. 통계물리학자 위고 뒤미닐코팽(Hugo Duminil-Copin)의 탄식도 인용한다. 자신이 공개적으로 언급했던 주요 미해결 문제가 이번에 모두 증명됐다고 선언됐다는 취지의 말이다.

"Everything has been claimed to be proved."(모든 것이 증명됐다고 주장되고 있다.)

그는 AI 기업의 행태에 실망했다고 말하면서도, 더 현실적인 길은 수학계가 스스로 통제할 수 있는 일에 집중하는 것이라고 본다. 누구를 뽑을지, 무엇을 발표할지, 학생을 어떻게 가르칠지다.

여섯 가지 제안, 대부분 평가 체계를 겨냥

첫째, 모든 연구를 AI가 관여했을 수 있다고 가정하고 평가한다. 원문 표현은 "Evaluate all work as if it is AI-assisted."이다. 심사 때 저자에게 그 연구의 수학적 의미, 어떤 문제를 낳는지, 분야와 어떻게 연결되는지를 설명하도록 요구한다. AI 보조 논문에 따라붙는 평판 문제는 언젠가 사라질 것이라고 그는 본다.

둘째, 채용은 면담을 중심으로 한다. 박사후연구원과 대학원생도 면접을 봐야 한다. 서류는 훌륭했는데 이야기를 나눠 보니 이해가 부족했던 지원자가 있었다는 사례를 든다.

셋째, 학술지에 기준 상향을 요구하고, 따르지 않는 곳은 포기한다. 학술지는 이미 오래전에 정확성을 보증하지 않게 됐고 품질 보증의 역할만 남았으며, arXiv에 있는 많은 논문은 굳이 출판할 필요가 없다고 그는 주장한다. Lean으로 검증한 AI 증명을 기록하는 hexagonmath 같은 플랫폼도 언급한다.

넷째, 대학원 교육은 폭을 넓히되 기술 훈련은 놓지 않는다. 학생은 분야 간 연결을 이해해야 하며, 나중에 기술적 세부 사항을 잊더라도 마찬가지다. 박사 학위자 상당수는 학계에 남지 않는다는 점도 상기시킨다.

다섯째, 세미나 발표를 잘한다. 발표는 배경, 막힌 지점, 기대하는 바를 먼저 말하고 새 결과는 마지막에 둔다.

여섯째, AI의 성과를 함께 자기 것으로 삼는다. 이 성과는 수천 년에 걸친 인류 수학 위에 세워진 것이므로 인류의 이름으로 주장해야 하며, 공을 실리콘밸리에 넘길 필요가 없다.

유한 단순군 분류를 비유로

칼레가리가 드는 역사적 사례는 유한 단순군의 분류다. 고렌스타인(Gorenstein)이 1972년 이 계획을 시작해 1983년 완료를 선언했지만, 준박군(quasithin) 부분은 이후 약 20년이 더 지나서야 아슈바허(Aschbacher)와 스미스(Smith)가 메웠다. 분류는 성공했고, 이 방향에 대한 열기는 식었다. 그는 이것이 가능한 미래 중 하나라고 보면서도, 콘웨이(Conway)가 던졌던 종류의 질문, 즉 몬스터군은 왜 존재하는가 하는 물음이 남는다고 말한다.

또 다른 비유는 원소 주기율표다. AI가 랭글랜즈 프로그램의 핵심 문제를 풀더라도 "정수론이 해결됐다"는 뜻은 아니다. 주기율표가 "화학을 해결"하지 못한 것과 같다. 그의 설명대로라면 문제 선택과 구조적 이해의 비중이 커질 것이다.

"Choosing worthwhile problems may end up mattering more than producing proofs."(가치 있는 문제를 고르는 일이 결국 증명을 만들어 내는 일보다 더 중요해질 수 있다.)

이 논쟁은 몇 달째 이어지고 있다

최근 논의 속에 이 글을 놓으면 흐름이 비교적 분명하다. 타오는 앞서 좋은 문제가 "재생 불가능한 방식으로 채굴"되고 있다고 말했고, 증명 과잉의 위기도 경고했다. 핵심은 판단력이다. 며칠 전에는 필즈상 수상자 덩위가 AI 기업을 비판했는데, 비판의 초점은 사고 과정(chain of thought)을 공개하지 않는 점이었다. 칼레가리의 글은 한 걸음 더 나아가 채용 절차, 학술지 정책, 대학원 교과과정 같은 구체적인 제도를 논하기 시작했다.

그의 방안에는 답하지 않은 부분도 있다. 면접으로 이해의 깊이는 가려낼 수 있지만, 면접 편향을 어떻게 통제할지는 글에서 다루지 않았다. 개선을 거부하는 학술지를 포기할 경우 젊은 학자의 이력을 어떻게 평가할지에 대해서도 대체 기준을 제시하지 않았다. OpenAI가 내놓은 논문들의 결론 중 어느 것이 성립하고 어느 것이 틀렸는지도 하나하나 짚지 않았다.

그는 수학 문화의 일부가 사라질 것임을 인정하며, 슬픔을 느끼는 것은 자연스러운 일이라고 말한다. 원로 동료들에게 남긴 말은 꽤 직설적이다. AI에 선수를 빼앗길까 걱정된다면 목표가 충분히 크지 않다는 뜻이라는 것이다.

참고 출처: 테렌스 타오 블로그 What's new 초청 기고문, CocoLoop, 글에 담긴 판단과 비유는 모두 칼레가리 개인의 견해.