Deng Yu, medallista Fields y catedrático de matemáticas de la Universidad de Chicago, pronunció el 25 de octubre una conferencia inaugural en línea en el foro de “The Intellectual” (Zhishifenzi) y “Mr. Science” (Sai Xiansheng), en la que criticó públicamente la forma en que las empresas de IA publican resultados matemáticos. La transcripción fue republicada al día siguiente por Chao News. No se opone a usar IA; lo que rechaza es que una empresa presente solo el resultado sin explicar el proceso.
El ejemplo que puso fue un conjunto de resultados que una empresa de IA anunció el 6 de octubre, con más de 300 problemas y más de 700 artículos. Esa empresa se niega a publicar la cadena de pensamiento (chain of thought) con el argumento de evitar la destilación. Deng considera que esa razón no se sostiene: si la IA ha logrado una demostración importante, la costumbre académica exige explicar las ideas y el proceso.
La conferencia no mencionó a la empresa. El reportaje de Retraction Watch permite identificarla: el 6 de octubre OpenAI publicó en GitHub 722 preprints que abarcan 372 problemas matemáticos.
Qué pide
La crítica de Deng tiene dos planos. El primero es el de las normas académicas: si se trata a la IA como a un investigador, hay que explicar de dónde salen las ideas y garantizar que las demostraciones sean correctas. Señaló que estos artículos se publicaron directamente sin garantía de corrección y que más de uno fue retirado tras detectarse errores.
El segundo es la relación comercial. Los matemáticos pagan por el producto e introducen en él sus ideas, y ese contenido podría pasar al entrenamiento. Afirmó que las ideas de algunos investigadores aparecieron semanas después en nuevos lanzamientos de esa empresa, sin que los usuarios recibieran nada a cambio. Este punto es una afirmación personal suya y no puede verificarse caso por caso con información pública.
Planteó varios principios de uso: la IA es una herramienta que usan matemáticos y aficionados, y las empresas no deben hacer la investigación en lugar de los usuarios; los usuarios deciden si los datos que introducen se usan para entrenar; las contribuciones deben ser trazables, distinguiendo qué hizo la IA y qué hizo cada persona, para reducir las disputas de prioridad.
“Creo que la elección corresponde al usuario.”
También defiende que la comunidad matemática desarrolle modelos matemáticos de código abierto, sin depender de empresas comerciales, y reconoce que el nivel matemático de los modelos abiertos actuales queda bastante por detrás del mejor modelo comercial; esa brecha debe cerrarse con entrenamiento y mejoras.
Una línea que va del verano a hoy
Si se unen los hitos de los últimos meses, se ve que la relación entre los matemáticos y las empresas de IA ha cambiado con rapidez.
En julio, en una entrevista, Deng se mostró bastante amistoso. Contó que llevaba varios días atascado en un caso particular y que GPT le dio una demostración muy sencilla que, aunque no podía generalizarse, le aportó una pista.
A principios de septiembre, OpenAI anunció avances de la IA en el problema de Navier-Stokes, y poco después varios matemáticos criticaron que la publicación fue precipitada. Hacia el 11 de septiembre, una carta abierta firmada por 25 matemáticos generó cobertura; Deng y Terence Tao figuran entre los firmantes. La carta critica que las empresas de IA traten la resolución de problemas como una vara de medir capacidades, comprimiendo el proceso de redacción y verificación.
El 7 de octubre, un día después de publicarse los preprints, OpenAI retiró 3 artículos por un error de signo y revisó otros 14. Alex Townsend, de la Universidad Cornell, opina que la empresa debería haber publicado primero las partes verificadas formalmente en Lean; Andrew Sutherland, del MIT, considera que retirar y corregir es una conducta responsable, y menciona además que muchos matemáticos están descontentos con la forma de proceder anterior de OpenAI. Un portavoz de OpenAI dijo que los errores los detectó una auditoría interna y que se trata de un proceso iterativo.
Al día siguiente de la conferencia de Deng, OpenAI anunció otros tres resultados, entre ellos el de Yang-Mills, que no se formalizó en Lean.
La preocupación por la destilación no carece de fundamento
El temor de las empresas de IA tiene base real. OpenAI acusó en su día a cuentas vinculadas a Moonshot AI de destilar cadenas de razonamiento, y Anthropic también puso en marcha medidas específicas para bloquear la destilación del razonamiento. Hacer pública la cadena de pensamiento sí le da a la competencia un material de entrenamiento adicional.
La réplica de Deng se centra en el contexto: la interfaz de un producto puede protegerse contra la destilación, pero ante un artículo que afirma haber resuelto un problema difícil, el lector tiene derecho a comprobar cómo se obtuvo. Quizá ambas demandas puedan tratarse por separado, por ejemplo abriendo el registro de razonamiento solo a los revisores del artículo; es apenas una idea, y no se ha visto que ninguna empresa proponga algo así públicamente. Hasta el cierre de esta nota, tampoco encontramos una respuesta pública de OpenAI a la conferencia.
Fuentes: Chao News, The Intellectual, Retraction Watch, CocoLoop, ITHome; las cifras de preprints y retiradas siguen el cómputo de Retraction Watch.