OpenAI hat am 6. Oktober auf GitHub eine Reihe mathematischer Forschungsergebnisse veröffentlicht, die von einem internen Spitzenmodell erzeugt wurden. Das Repository trägt den Namen openai/math und steht unter der Apache-2.0-Lizenz. Es enthält 722 Manuskripte, die in 372 Forschungs-„Familien" eingeteilt sind, in denen unterschiedliche Beweise, Verallgemeinerungen und Revisionen desselben Problems zusammengefasst sind.
Nach Angaben von OpenAI wurde dem Modell im Laufe der Forschung insgesamt rund 4000 Aufgaben gestellt. Für jedes akzeptierte Ergebnis wurde im Schnitt etwa so viel Rechenleistung verbraucht wie ChatGPT Pro für drei Stunden Denkzeit.
Welche Bereiche abgedeckt wurden
Die Manuskripte erstrecken sich über Zahlentheorie, Berechnungskomplexität, mathematische Physik, Geometrie und theoretische Informatik. In Medienberichten genannte Beispiele sind: Fragen zum Irrationalitätsmaß der Kreiszahl π, mehrere NP-schwere Probleme, die Mahler-Vermutung, arithmetische Folgen, Faktoren freier Gruppen sowie der quantenmechanische Heisenberg-Ferromagnet und die relativistischen Vlasov-Maxwell-Gleichungen.
Nicht wenige der Beweise liegen zusätzlich in einer mit Lean formalisierten Fassung vor. Lean ist eine Programmiersprache, mit der ein Computer die Beweislogik Schritt für Schritt prüfen kann; eine erfolgreiche Formalisierung zeigt, dass die Schlusskette keine Lücken enthält. Allerdings liegt nicht für jedes Manuskript eine entsprechende Lean-Datei vor, und OpenAI schreibt dazu unverblümt:
"some of the unformalized results could have issues"
Das heißt, bei den nicht formalisierten Ergebnissen könnte es Probleme geben. Das Unternehmen verspricht, entdeckte Fehler künftig zu korrigieren und schrittweise weitere formalisierte Beweise nachzureichen. Dem Repository liegen außerdem ein Verfahren für Papierrevisionen und Zitierrichtlinien bei, damit Forschende nachvollziehen können, wie oft ein Ergebnis geändert wurde und welche Version zitiert werden sollte.
Die Meilensteine im Zusammenhang
Zwischen dieser Veröffentlichung und OpenAIs letztem großen Auftritt in der Mathematik liegen mehr als vier Monate. Im Mai dieses Jahres löste ein Modell von OpenAI ein seit rund 80 Jahren offenes Erdős-Problem – damals ein einzelner Durchbruch, der Aufgabe für Aufgabe berichtet wurde. Im Oktober wurden daraus mehrere hundert Manuskripte, die geschlossen ins Repository wandern, und die Art der Veröffentlichung selbst wurde Teil der Nachricht.
Auch die Form hat sich geändert. Vor dieser Veröffentlichung hat OpenAI die unabhängige „Beratungsgruppe für Mathematik und Künstliche Intelligenz" des Princeton Institute for Advanced Study (IAS) konsultiert. Diese Gruppe hat am 29. September eine Empfehlung veröffentlicht, nachdem sie mehr als 600 Rückmeldungen aus der Mathematik-Community erhalten hatte; sie fordert, dass bei KI-generierten mathematischen Ergebnissen Modellname, Prompts, Zusammenfassungen des Schlussprozesses, Rechenkosten sowie die Fehlerquote des Modells bei ähnlichen Aufgaben offengelegt werden.
Gemessen an dieser Liste hat OpenAI diesmal die Rechenkosten (im Schnitt drei Stunden Pro-Denkzeit), die Gesamtzahl der Aufgaben (rund 4000) und eine große Zahl von Lean-Beweisen offengelegt; das Modell selbst bleibt dagegen weiterhin unbenannt, die Ankündigung spricht nur von einem „internen Modell" und davon, dass man auf eine verantwortungsvolle Offenlegung hinarbeite. Wie viele der rund 4000 Aufgaben ungelöst blieben und welche vorzeitig aufgegeben wurden, lässt sich aus dem öffentlichen Material derzeit nicht erkennen.
In der Mathematik-Community gibt es schon länger Sorgen wegen dieses Tempos. Terence Tao hat sich im August und September dieses Jahres zweimal öffentlich dazu geäußert, sinngemäß: KI werde die Zahl der Beweise weit über das hinaustreiben, was Menschen noch gegenlesen können, und auch gute, schwierige Probleme würden schnell „abgebaut". Wer die Last trägt, 722 Manuskripte auf einmal zu prüfen, dafür hat bislang niemand eine Lösung vorgelegt.
Wie es weitergeht
OpenAI erklärt, entsprechende Workshops und Sonderprojekte fördern zu wollen, um der Mathematik-Community zu helfen, die KI-generierten Ergebnisse zu verstehen und zu verarbeiten. Ob die Manuskripte im Repository in offizielle Fachzeitschriften aufgenommen werden können und wie mit der Autorenschaft umgegangen wird, dazu hat das Unternehmen noch keinen konkreten Plan vorgelegt; auch die Ergebnisse der Zeile-für-Zeile-Prüfung durch externe Mathematiker wurden noch nicht veröffentlicht.
Quellen: offizieller OpenAI-Blog, Interesting Engineering, Unite.AI, CocoLoop; Angaben zur Anzahl der Manuskripte, zur Gesamtzahl der Aufgaben und zu den Rechenkosten beruhen auf den öffentlichen Angaben von OpenAI, die Empfehlungen der Beratungsgruppe auf den öffentlichen Dokumenten der IAS-Beratungsgruppe.