Das ERNIE-Team von Baidu hat am 9. November in seinem technischen Blog das automatische Forschungssystem ERNIE Evolve vorgestellt. Laut Blog arbeiten dabei mehrere Agenten arbeitsteilig an einem Forschungsvorhaben: Sie wählen die Richtung, stellen Hypothesen auf, ändern den Code, führen Evaluierungen aus und prüfen die Ergebnisse. Das Team ließ das System vier öffentliche Optimierungsaufgaben bearbeiten, bei dreien davon wurden die bisherigen Bestwerte übertroffen. Außerdem wurden drei Optimierungen am Inferenz-Deployment des hauseigenen Modells ERNIE-5.5-Flash vorgenommen.
Fünf Rollen, zwei Schleifen
Das System gliedert sich in eine äußere und eine innere Schleife. Der Blog fasst es so zusammen:
„Die äußere Schleife entscheidet, was erforscht wird; die innere sorgt dafür, dass eine Richtung gut umgesetzt wird.“
Der Director in der äußeren Schleife wählt aus Erfahrungs- und Wissensbasis die nächste zu prüfende Richtung und legt fest, von welchem Code aus gestartet wird: vom Originalcode, der bisher besten Version, einer Zwischenversion oder dem neuesten Commit des Upstream-Repositorys. In der inneren Schleife wählt der Selector in jeder Runde eine Kandidatenversion als Ausgangspunkt und formuliert die Hypothese der Runde; er stützt sich dabei nicht nur auf den Score, sondern auch auf Codeänderungen, Fehlerursachen und frühere Ergebnisse. Der Executor ändert den Code in einer isolierten Umgebung.
Die beiden übrigen Rollen sind für die Kontrolle zuständig. Der Evaluator liegt außerhalb des optimierten Repositorys und ist für keinen Agenten sichtbar; eine Verbesserung wird nur akzeptiert, wenn sie die Rauschschwelle überschreitet. Der Reviewer prüft, ob eine Änderung von der Richtung der Runde abweicht und ob ein Ergebnis eine Lücke in der Evaluierung ausnutzt. Eine Version, die vom Kurs abkommt, kann nicht zur besten Version werden, eine, die eine Lücke ausnutzt, wird sofort verworfen. Das häufigste Problem automatischer Optimierungssysteme ist, dass sie lernen, dem Score zu gefallen, ohne dass der Code tatsächlich besser wird; genau darauf zielen diese beiden Hürden.
Ergebnisse bei den öffentlichen Aufgaben
| Aufgabe | Bisherige Bestmarke | ERNIE Evolve |
|---|---|---|
| NanoChat AutoResearch (BPB auf dem Validierungsset, niedriger ist besser) | 0,8878 | 0,8763 |
| NanoGPT Speedrun Track 1 (Trainingszeit bis zum Ziel) | 39,9 Sekunden | 38,9 Sekunden |
| NanoGPT Speedrun Track 3 (Trainingsschritte bis zum Ziel) | 2690 Schritte | 2590 Schritte |
| SOL-ExecBench (durchschnittlicher SOL-Score, höher ist besser) | 0,827 | 0,819 |
Bei SOL-ExecBench reichte es nicht für Platz eins, doch der Wert liegt über Recursive (0,676) und Hyra-1.0 (0,736). Die Optimierungsergebnisse der öffentlichen Aufgaben liegen im GitHub-Repository ernie-research/ERNIE-Evolve-Results; ob das System ERNIE Evolve selbst als Open Source veröffentlicht wird, erwähnt der Blog nicht.
Eine Rechnung zur Inferenzoptimierung
Bei den industriellen Aufgaben sind die Zahlen größer. Im Niedriglatenz-Szenario des Kunlunxin P800 durchlief das System vier Runden mit vier Forschungsrichtungen, erreichte eine Generierungsgeschwindigkeit von 623,6 % der Baseline und bestand alle Korrektheitsprüfungen. Als eine der zentralen Erkenntnisse nennt der Blog, dass der bisherige Kommunikationspfad die latenzarme DeepEP-Kommunikation gar nicht tatsächlich aktiviert hatte. Wie viel der mehr als sechsfachen Beschleunigung darauf entfällt, diese wirkungslose Konfiguration aufzuspüren, und wie viel auf neue Optimierungsmethoden, schlüsselt der Blog nicht auf.
Bei der deterministischen Inferenz stieg der Durchsatz um 33,7 %, die Generierungszeit pro Token sank um 26 %, die Latenz bis zum ersten Token um 12 %, und der Determinismus blieb erhalten; das Ganze dauerte etwa 3 Tage. Beim extremen GPU-Decoding schlug das System 7 Richtungen vor, 3 davon brachten Verbesserungen, die Decodiergeschwindigkeit stieg um 14,9 %, die Genauigkeit entspricht der Baseline.
Eine Überschlagsrechnung: Bei 33,7 % mehr Durchsatz braucht dieselbe Anfragelast nur noch rund 75 % der bisherigen Karten (1 ÷ 1,337). Ließe sich diese Optimierung insgesamt auf einen Produktivcluster übertragen, würde etwa ein Viertel der Inferenzrechenleistung eingespart. Wie viele GPU-Stunden jede der drei Aufgaben gekostet hat, legt der Blog nicht offen; die Rechnung lässt sich also bislang nur auf der Nutzenseite aufmachen, die Kostenseite bleibt leer.
Zur Schwierigkeit äußert sich der Blog ganz offen:
„Die Baseline enthält bereits spezielle Optimierungen von Ingenieuren für deterministische Inferenz; die verbleibenden Verbesserungen liegen oft nur bei 1 % – 2 % pro Maßnahme und damit im Bereich der Messschwankungen.“
Viele Hypothesen wurden durch Experimente widerlegt. So liegt etwa eine einzelne Kommunikation zwischen Karten bereits nahe an der Latenzuntergrenze, weshalb diese Richtung dort endete.
Am Ende des Beitrags weist das Team darauf hin, dass die Ausweitung der rekursiven Selbstverbesserung (RSI) kontrollierbar und pausierbar sein sowie Sicherheitsbewertungen und menschlicher Aufsicht unterliegen muss. Nach den veröffentlichten Aufgaben zu urteilen, ändert ERNIE Evolve derzeit Trainingsskripte und Inferenzcode, den Trainingsprozess des Modells selbst rührt es noch nicht an.
Quellen: technischer ERNIE-Blog von Baidu, Open-Source-Repository ERNIE-Evolve-Results, CocoLoop; geprüft wurden die Ergebnisse der vier öffentlichen Aufgaben und der Umfang der drei Inferenz-Optimierungen für ERNIE-5.5-Flash.