Der Fields-Medaillengewinner und Mathematikprofessor der University of Chicago, Deng Yu, hat am 25. Oktober in einer Online-Grundsatzrede beim Forum von „The Intellectual“ (Zhishifenzi) und „Mr. Science“ (Sai Xiansheng) die Art kritisiert, wie KI-Unternehmen mathematische Ergebnisse veröffentlichen. Die Mitschrift wurde am Folgetag von Chao News übernommen. Er sei nicht gegen den Einsatz von KI, sagte er, sondern dagegen, dass ein Unternehmen nur das Ergebnis vorlegt und den Weg dorthin verschweigt.
Als Beispiel nannte er eine Reihe von Resultaten, die ein KI-Unternehmen am 6. Oktober bekannt gab: mehr als 300 Probleme, mehr als 700 Aufsätze. Die Firma weigere sich, die Denkkette (Chain of Thought) offenzulegen, und begründe das mit dem Schutz vor Destillation. Deng hält diese Begründung nicht für tragfähig: Wenn eine KI einen bedeutenden Beweis erbracht habe, gehöre es nach akademischer Konvention dazu, Gedankengang und Vorgehen darzulegen.
In der Rede fiel kein Firmenname. Ein Bericht von Retraction Watch lässt sich jedoch zuordnen: OpenAI veröffentlichte am 6. Oktober auf GitHub 722 Preprints zu 372 mathematischen Problemen.
Was er fordert
Dengs Kritik hat zwei Ebenen. Die erste betrifft die wissenschaftliche Praxis: Wer KI wie einen Forscher behandle, müsse erklären, woher die Ideen stammen, und die Korrektheit der Beweise sicherstellen. Er verwies darauf, dass die Aufsätze ohne Garantie ihrer Richtigkeit direkt veröffentlicht wurden und mehr als einer davon nach einem Fehler zurückgezogen wurde.
Die zweite Ebene ist das Geschäftsverhältnis. Mathematiker zahlen für das Produkt und geben ihre Ideen dort ein; diese Inhalte könnten ins Training einfließen. Nach seiner Darstellung tauchten die Ideen einzelner Forscher wenige Wochen später in neuen Veröffentlichungen des Unternehmens auf, ohne dass die Nutzer dafür etwas zurückbekamen. Das ist seine persönliche Schilderung und lässt sich mit öffentlichen Informationen nicht Fall für Fall überprüfen.
Er formulierte mehrere Grundsätze für die Nutzung: KI ist ein Werkzeug, das Mathematiker und Hobbymathematiker einsetzen, und Unternehmen sollten nicht anstelle der Nutzer forschen; ob eingegebene Daten für das Training verwendet werden, entscheiden die Nutzer; Beiträge müssen nachvollziehbar sein, sodass sich trennen lässt, was die KI und was die einzelnen Personen geleistet haben, um Prioritätsstreit zu verringern.
„Ich denke, die Wahl liegt beim Nutzer.“
Zudem sprach er sich dafür aus, dass die Mathematik quelloffene Mathematikmodelle entwickelt und sich nicht auf kommerzielle Firmen verlässt. Er räumte ein, dass der mathematische Leistungsstand quelloffener Modelle derzeit deutlich hinter dem stärksten kommerziellen Modell liegt; diese Lücke müsse durch Training und Verbesserung geschlossen werden.
Eine Linie vom Sommer bis heute
Verbindet man die Stationen der vergangenen Monate, zeigt sich, wie schnell sich das Verhältnis zwischen Mathematik und KI-Unternehmen gewandelt hat.
Im Juli äußerte sich Deng in einem Interview noch recht freundlich. Er habe mehrere Tage an einem Spezialfall festgesessen, und GPT habe einen sehr einfachen Beweis geliefert; der lasse sich zwar nicht verallgemeinern, habe aber einen Ansatz geboten.
Anfang September gab OpenAI bekannt, bei den Navier-Stokes-Gleichungen Fortschritte erzielt zu haben; kurz darauf kritisierten Mathematiker die Veröffentlichung als überstürzt. Um den 11. September sorgte ein offener Brief von 25 Mathematikern für Berichterstattung, unterzeichnet unter anderem von Deng und Terence Tao. Darin wird kritisiert, dass KI-Unternehmen das Lösen von Aufgaben als Leistungsmaßstab behandeln und dadurch den Prozess des Schreibens und Prüfens verkürzen.
Am 7. Oktober, einen Tag nach der Veröffentlichung der Preprints, zog OpenAI wegen eines Vorzeichenfehlers 3 Aufsätze zurück und überarbeitete 14 weitere. Alex Townsend von der Cornell University meint, das Unternehmen hätte zuerst die per Lean formal verifizierten Teile veröffentlichen sollen; Andrew Sutherland vom MIT hält Rückzüge und Korrekturen für verantwortungsvolles Handeln und erwähnt zugleich, dass viele Mathematiker mit OpenAIs bisherigem Vorgehen unzufrieden seien. Ein OpenAI-Sprecher erklärte, die Fehler seien bei einer internen Prüfung entdeckt worden, es handle sich um einen iterativen Prozess.
Am Tag nach Dengs Rede gab OpenAI drei weitere Ergebnisse bekannt, darunter das zu Yang-Mills, das nicht mit Lean formalisiert wurde.
Die Sorge vor Destillation ist nicht unbegründet
Die Bedenken der KI-Unternehmen haben eine sachliche Grundlage. OpenAI hat Konten im Umfeld von Moonshot AI beschuldigt, Reasoning-Ketten destilliert zu haben, und auch Anthropic hat eigens Maßnahmen gegen Reasoning-Destillation eingeführt. Eine offene Denkkette liefert Wettbewerbern tatsächlich zusätzliches Trainingsmaterial.
Dengs Gegenargument betrifft den Rahmen: Eine Produkt-Schnittstelle lasse sich gegen Destillation schützen, doch bei einem Aufsatz, der ein schwieriges Problem gelöst haben will, habe der Leser das Recht zu prüfen, wie er zustande kam. Beide Anliegen ließen sich womöglich getrennt behandeln, etwa indem das Reasoning-Protokoll nur den Gutachtern der Arbeit zugänglich gemacht wird. Das ist lediglich eine Denkmöglichkeit; ein Unternehmen, das einen solchen Vorschlag öffentlich gemacht hätte, ist bislang nicht bekannt. Bis Redaktionsschluss war auch keine öffentliche Reaktion von OpenAI auf die Rede zu finden.
Quellen: Chao News, The Intellectual, Retraction Watch, CocoLoop, ITHome; für die Zahl der Preprints und Rückzüge gilt die Zählung von Retraction Watch.