Un matemático de Chicago propone seis cambios ante la oleada de pruebas con IA

AI research illustration: a microscope over a red sample beside node diagrams

El matemático Frank Calegari, de la Universidad de Chicago, publicó el 1 de noviembre un artículo invitado en el blog de Terence Tao con el título «Mathematics has changed. Let's act like it». Tao solo añadió una breve nota en la que explica que es un texto de un invitado, que el original estaba en otro formato y se convirtió con ayuda de IA; el resto es todo de Calegari.

El punto de partida del artículo son los más de 700 trabajos de investigación que OpenAI difundió el 6 de octubre. Calegari los considera un hito, pero critica que estén mal escritos, que no respeten las convenciones de autoría y que algunas conclusiones sean erróneas. También cita un comentario del físico estadístico Hugo Duminil-Copin, que venía a decir que los grandes problemas abiertos que él había mencionado en público han sido declarados probados esta vez:

«Everything has been claimed to be proved.» (Se ha afirmado que todo está demostrado.)

Se muestra decepcionado con la actitud de las empresas de IA, pero cree que lo más práctico es centrarse en lo que la propia comunidad matemática controla: a quién contrata, qué publica y cómo enseña a los estudiantes.

Seis propuestas, la mayoría dirigidas al sistema de evaluación

Primera: evaluar todo trabajo como si hubiera participado la IA. Sus palabras exactas son «Evaluate all work as if it is AI-assisted.» En las revisiones hay que pedir a los autores que expliquen el significado matemático del trabajo, qué preguntas abre y qué relación tiene con el campo. Considera que la mala fama de los artículos asistidos por IA acabará desapareciendo tarde o temprano.

Segunda: contratar basándose sobre todo en entrevistas. Incluso a posdoctorandos y estudiantes de doctorado habría que entrevistarlos. Pone como ejemplo candidatos con una documentación excelente a los que, tras conversar con ellos, se les notaba una comprensión insuficiente.

Tercera: exigir más a las revistas y, si no quieren cambiar, prescindir de ellas por ahora. A su juicio, las revistas hace tiempo que no garantizan la corrección y solo sirven de aval de calidad, y muchos artículos de arXiv no necesitan publicarse. También menciona plataformas como hexagonmath, que registran pruebas de IA verificadas con Lean.

Cuarta: ampliar la formación doctoral sin renunciar al entrenamiento técnico. Los estudiantes deben entender las conexiones entre disciplinas, aunque más adelante olviden los detalles técnicos. Recuerda además que muchos doctores no se quedarán en el ámbito académico.

Quinta: hacer buenos seminarios. Las charlas deben empezar por el contexto, los obstáculos y las esperanzas, dejando los resultados nuevos para el final.

Sexta: reclamar colectivamente los logros de la IA. Se apoyan en miles de años de matemática humana y deben reclamarse en nombre de la humanidad, sin ceder el mérito a Silicon Valley.

La analogía con la clasificación de los grupos simples finitos

El caso histórico que cita Calegari es la clasificación de los grupos simples finitos. Gorenstein puso en marcha el programa en 1972 y lo dio por concluido en 1983; la parte de los grupos casi delgados (quasithin) tardó unos veinte años más en completarse, a cargo de Aschbacher y Smith. La clasificación tuvo éxito y el interés por esa línea de trabajo se enfrió. Para él es un futuro posible, pero que deja preguntas del tipo que planteaba Conway: por qué existe el grupo Monstruo.

Su otra analogía es la tabla periódica de los elementos. Aunque la IA resolviera el problema central del programa de Langlands, eso no significaría «haber resuelto la teoría de números», igual que la tabla periódica no «resolvió la química». Según él, pesarán más la elección de problemas y la comprensión estructural:

«Choosing worthwhile problems may end up mattering more than producing proofs.» (Elegir problemas que valgan la pena puede acabar importando más que producir demostraciones.)

Un debate que lleva meses

Si se sitúa el artículo en las discusiones recientes, el hilo es bastante claro. Terence Tao había hablado antes de que los buenos problemas se están explotando de forma «no renovable» y advirtió de una crisis por exceso de demostraciones, con el acento puesto en el criterio. Hace unos días, el medallista Fields Yu Deng criticó a las empresas de IA, apuntando a que no hacen públicas las cadenas de razonamiento. El texto de Calegari da un paso más y empieza a hablar de instituciones concretas: procesos de contratación, políticas de las revistas y planes de estudio de posgrado.

Su propuesta también deja varias preguntas sin responder. Las entrevistas pueden revelar la profundidad de la comprensión, pero cómo controlar el sesgo en ellas no se desarrolla en el artículo. Si se abandonan las revistas que no quieren cambiar, cómo valorar el currículum de los investigadores jóvenes, tampoco lo dice ni ofrece un criterio alternativo. Y de los resultados de OpenAI, cuáles se sostienen y cuáles tienen errores, el texto no los enumera uno por uno.

Reconoce que una parte de la cultura matemática desaparecerá y que sentir tristeza es natural. A los colegas veteranos les deja un mensaje bastante directo: si te preocupa que la IA se te adelante, es que tu meta aún no es lo bastante grande.

Fuentes: artículo invitado en el blog What's new de Terence Tao; CocoLoop; los juicios y analogías del texto son opiniones personales de Calegari.