Deng Yu, medalhista Fields e professor de matemática da Universidade de Chicago, fez em 25 de outubro uma palestra principal online no fórum de “The Intellectual” (Zhishifenzi) e “Mr. Science” (Sai Xiansheng), em que criticou publicamente a forma como as empresas de IA divulgam resultados matemáticos. A transcrição foi republicada no dia seguinte pelo Chao News. Ele não é contra usar IA; é contra uma empresa que apresenta apenas o resultado e não explica o processo.
O exemplo que deu foi um conjunto de resultados anunciado por uma empresa de IA em 6 de outubro, envolvendo mais de 300 problemas e mais de 700 artigos. A empresa se recusa a divulgar a cadeia de pensamento (chain of thought), alegando prevenção de destilação. Para Deng, o argumento não se sustenta: se a IA produziu uma demonstração importante, a praxe acadêmica exige que se explique o raciocínio e o processo.
A palestra não citou o nome da empresa. A reportagem do Retraction Watch permite fazer a correspondência: em 6 de outubro, a OpenAI publicou no GitHub 722 preprints, abrangendo 372 problemas matemáticos.
O que ele pede
A crítica de Deng tem dois níveis. O primeiro é o das normas acadêmicas: se a IA é tratada como pesquisadora, é preciso dizer de onde vieram as ideias e garantir que as demonstrações estejam corretas. Ele observou que esses artigos foram publicados diretamente, sem garantia de correção, e que mais de um deles foi retirado depois de apresentar erros.
O segundo é a relação comercial. Matemáticos pagam pelo produto e inserem nele suas ideias, e esse conteúdo pode entrar no treinamento. Ele afirmou que as ideias de alguns pesquisadores apareceram semanas depois em lançamentos da empresa, sem que os usuários recebessem nada em troca. Esse ponto é um relato pessoal dele e não pode ser verificado caso a caso com informações públicas.
Ele apresentou alguns princípios de uso: a IA é uma ferramenta, a ser usada por matemáticos e amadores, e as empresas não devem fazer pesquisa no lugar dos usuários; cabe ao usuário decidir se os dados inseridos serão usados no treinamento; as contribuições devem ser rastreáveis, distinguindo o que a IA e cada pessoa fizeram, para reduzir disputas de prioridade.
“Acho que a escolha pertence ao usuário.”
Ele também defende que a comunidade matemática desenvolva modelos matemáticos de código aberto, sem depender de empresas comerciais, e reconhece que o nível de matemática dos modelos abertos hoje ainda está bem aquém do melhor modelo comercial, distância que precisa ser reduzida com treinamento e aprimoramentos.
Uma linha do verão até agora
Ligando os marcos dos últimos meses, vê-se que a relação entre os matemáticos e as empresas de IA mudou depressa.
Em julho, numa entrevista, Deng se mostrou bastante receptivo. Contou que ficou dias preso num caso particular e que o GPT apresentou uma demonstração muito simples que, embora não se generalizasse, deu uma pista.
No início de setembro, a OpenAI anunciou avanços da IA no problema de Navier-Stokes, e logo depois matemáticos criticaram a divulgação por ser precipitada. Por volta de 11 de setembro, uma carta aberta assinada por 25 matemáticos gerou reportagens; Deng e Terence Tao estavam entre os signatários. A carta critica as empresas de IA por tratarem a resolução de problemas como parâmetro de capacidade, comprimindo o processo de redação e verificação.
Em 7 de outubro, um dia depois da publicação dos preprints, a OpenAI retirou 3 artigos por causa de um erro de sinal e revisou outros 14. Alex Townsend, da Universidade Cornell, acha que a empresa deveria ter divulgado primeiro as partes verificadas formalmente em Lean; Andrew Sutherland, do MIT, considera que retirar e corrigir é uma atitude responsável, e menciona que muitos matemáticos estão insatisfeitos com a conduta anterior da OpenAI. Um porta-voz da OpenAI disse que os erros foram encontrados por uma auditoria interna e que se trata de um processo iterativo.
No dia seguinte à palestra de Deng, a OpenAI divulgou mais três resultados, entre eles o de Yang-Mills, que não passou por formalização em Lean.
A preocupação com a destilação não é infundada
A inquietação das empresas de IA tem base nos fatos. A OpenAI já acusou contas ligadas à Moonshot AI de destilar cadeias de raciocínio, e a Anthropic também lançou medidas específicas contra a destilação de raciocínio. Tornar pública a cadeia de pensamento de fato dá aos concorrentes mais um material de treinamento.
A réplica de Deng se apoia no contexto: a interface de um produto pode ser protegida contra destilação, mas, diante de um artigo que afirma ter resolvido um problema difícil, o leitor tem o direito de verificar como ele foi obtido. As duas demandas talvez possam ser tratadas separadamente, por exemplo abrindo o registro de raciocínio apenas aos revisores do artigo; é só uma hipótese, e até agora não se viu nenhuma empresa propor algo parecido publicamente. Até o fechamento desta matéria, também não encontramos resposta pública da OpenAI à palestra.
Fontes: Chao News, The Intellectual, Retraction Watch, CocoLoop, ITHome; a quantidade de preprints e retratações segue a contagem do Retraction Watch.