StepFun hat am 20. September sein neues Flaggschiff-Basismodell Step 5 Preview vorgestellt, das ab sofort in den eigenen Produkten und über die API verfügbar ist; die vollständigen Gewichte sollen am 15. Oktober als Open Source veröffentlicht werden.
Das Modell setzt auf eine dünnbesetzte MoE-Architektur mit insgesamt 600 Milliarden Parametern, von denen pro Token 27 Milliarden aktiviert werden, bei einem Kontextfenster von 1 Million Token und nativer Unterstützung für Text- und Bildeingaben. In der Ankündigung werden die Einsatzbereiche konkret benannt: KI-gestütztes Programmieren, Softwareentwicklung, professionelle Wissensarbeit und Finanzszenarien.
Benchmark-Ergebnisse und selbst entwickelte Tests
Im kombinierten Intelligenzindex von Artificial Analysis erzielt Step 5 Preview 44 Punkte und landet damit unter den drei besten Open-Source-Modellen weltweit. Bei weiteren öffentlichen Benchmarks lauten die Ergebnisse: GPQA Diamond 93,5 %, Terminal-Bench v2.1 85,0 %, BrowseComp 88,7 % sowie 76,0 % beim multimodalen MMMU-Pro. StepFun gibt zudem an, bei Benchmarks wie AA-LCR und CyberGym das beste oder zweitbeste Ergebnis erzielt zu haben.
Getrennt zu betrachten ist eine weitere Zahlengruppe. StepFun nennt zugleich Ergebnisse zu StepCodeBench und FinStepBench, zwei selbst entwickelten Benchmarks: StepCodeBench umfasst 553 Code-Repositories, 9 Aufgabentypen, 20 Anwendungsbereiche und 33 Programmiersprachen und misst reale Entwicklungsaufgaben wie Bugfixing, Feature-Entwicklung, Refactoring und Umgebungskonfiguration. Dass die Zielsetzung selbst entwickelter Benchmarks sich von öffentlichen Ranglisten unterscheidet und Ergebnisse aus unterschiedlichen Testumgebungen nicht direkt vergleichbar sind, schreibt StepFun selbst in seinen Materialien.
Bei den Agenten-Fähigkeiten gibt StepFun an, das Modell könne eigenständig durchgehende Aufgaben von mehr als 3 Stunden Dauer ausführen und unterstütze Code-Debugging, Zugriff auf serielle Schnittstellen, Screenshots, Kamerazugriff sowie simulierte Mausbedienung. Für diese Angaben fehlt bislang eine unabhängige Nachprüfung durch Dritte; überprüfbar sind von außen nur die genannten öffentlichen Benchmark-Werte.
Eine Rechnung – und ihre Grundlage
Der am häufigsten zitierte Satz der Ankündigung lautet: Die Kosten pro Aufgabe betragen nur ein Achtel von Anthropics Claude Opus 5. Diese Aussage stammt von StepFun selbst, und die öffentlichen Materialien nennen keine Berechnungsgrundlage – wie viele Aufgaben, welche Schwierigkeitsverteilung, gerechnet nach API-Listenpreis oder nach tatsächlicher Nutzung – nichts davon wird angegeben.
Überträgt man diesen Faktor auf ein konkretes Szenario: Gibt ein Team monatlich 100.000 Yuan für Inferenz auf Opus 5 aus, ergäbe ein Achtel davon bei Step 5 Preview rund 12.500 Yuan, was sich aufs Jahr gerechnet in den Millionenbereich summiert. Diese Zahl gilt nur, wenn die Aufgabenverteilung der bei StepFuns Messung entspricht – und genau das ist nicht öffentlich gemacht worden. Für Teams, die einen Wechsel erwägen, ist es nach der Veröffentlichung der Gewichte am 15. Oktober verlässlicher, einen eigenen gleichartigen Testlauf durchzuführen, als sich auf diesen Faktor zu berufen.
Auch die Wahl des Vergleichsmaßstabs sagt etwas über die Positionierung aus. StepFun hat sich nicht an einem anderen Open-Source-Modell orientiert, sondern das teuerste Modell der Spitzengruppe unter den Closed-Source-Modellen als Referenz gewählt.
Ein Fenster von einem Monat
Die Preview-Version erscheint zunächst über die API, die endgültigen Gewichte folgen erst einen Monat später – ein Rhythmus, den chinesische Anbieter in diesem Jahr zunehmend nutzen: erst Ranglisten und öffentliche Aufmerksamkeit besetzen, dann die Gewichte veröffentlichen. Das Risiko besteht darin, dass in diesem einen Monat jederzeit ein Open-Source-Flaggschiff vergleichbarer Größenordnung erscheinen kann; ob der Platz mit 44 Punkten bis zum 15. Oktober gehalten werden kann, dafür kann niemand garantieren.
Technisch betrachtet ist die Konfiguration mit 600 Milliarden Parametern insgesamt und 27 Milliarden aktivierten Parametern für Betreiber vergleichsweise günstig: Die Aktivierungsgröße von 27 Milliarden bedeutet, dass Inferenz auf mehreren GPUs in einem einzelnen Server machbar ist, ohne Ressourcen wie für ein dichtes 600-Milliarden-Modell vorhalten zu müssen. Das ist zugleich die Voraussetzung dafür, die Gewichte überhaupt zu veröffentlichen – bei weiter steigender Parameterzahl würde der praktische Nutzen von Open Source durch die Einstiegshürden beim Deployment zunehmend aufgezehrt.
Lizenzbedingungen und API-Preise hat StepFun diesmal nicht veröffentlicht. Beide Punkte entscheiden darüber, wie viele Nutzer das Modell nach dem 15. Oktober tatsächlich einsetzen werden.
Quellen: offizielle Ankündigung von StepFun, Phoenix New Media (Ifeng), CocoLoop, Sina Tech; Parametergröße, der Punktwert des AA-Gesamtintelligenzindex und der Open-Source-Termin wurden anhand offizieller Angaben geprüft, der Kostenfaktor sowie die Ergebnisse der selbst entwickelten Benchmarks stammen ausschließlich von StepFun.