Fireworks AI hat Benchmark-Daten zu DeepSeek-V4.1-Flash veröffentlicht, deren Kernaussage sich in einem Satz zusammenfassen lässt: Bei Agent-Coding-Aufgaben landet das Modell in derselben Genauigkeitsklasse wie GPT-6 Astra, während die Kosten pro Aufgabe um das 15-Fache auseinanderliegen.
Zunächst die Werte: Bei der pass@1-Metrik von DeepSWE erreicht DeepSeek-V4.1-Flash 74,34 %, GPT-6 Astra 74,12 %, Gemini 3.8 Flash 73,83 % und Claude Opus 5 73,65 %. Alle vier Modelle drängen sich in einer Spanne von nur 0,69 Prozentpunkten, sodass die Platz-1-Frage kaum noch aussagekräftig ist. Bei Terminal-Bench 2.1 liegt DeepSeek bei 86,5 %, Astra bei 87,5 % und damit etwas vorn.
So sieht die Rechnung aus
Die von Fireworks angegebenen Kosten pro Aufgabe: DeepSeek-V4.1-Flash 0,430 US-Dollar, Gemini 3.8 Flash 2,362 US-Dollar, GPT-6 Astra 6,524 US-Dollar, Claude Opus 5 11,838 US-Dollar. Bezogen auf DeepSeek als Basiswert sind die drei anderen 5,5-mal, 15-mal beziehungsweise 28-mal so teuer.
Eine grobe Überschlagsrechnung, was dieser Faktor im realen Budget bedeutet: Ein zehnköpfiges Engineering-Team, in dem jede Person täglich 20 Agent-Coding-Aufgaben ausführt, kommt bei 22 Arbeitstagen im Monat auf insgesamt 4.400 Aufgaben. Der Weg über DeepSeek kostet dabei rund 1.892 US-Dollar, der Weg über Astra rund 28.706 US-Dollar – ein Unterschied von etwa 26.800 US-Dollar im Monat und rund 320.000 US-Dollar im Jahr. Das ist eine Schätzung; die Token-Verteilung realer Aufgaben wird nicht exakt der des Benchmarks entsprechen, aber die Größenordnung dürfte in etwa stimmen.
Die Lücke bei HLE
Im selben Datensatz zeigt sich auch eine Lücke in die entgegengesetzte Richtung. Bei Humanity's Last Exam erreicht DeepSeek-V4.1-Flash 34,52 %, GPT-6 Astra 50,40 % – ein Abstand von 15,88 Prozentpunkten. Der Gleichstand bei Coding-Aufgaben überträgt sich nicht auf diese Art von anspruchsvollen, breit angelegten Reasoning-Aufgaben.
Fireworks liefert nebenbei noch eine Oracle-Router-Kennzahl: Kombiniert man beide Modelle, ergibt sich theoretisch ein Wert von 54,80 %. Das ist ein Obergrenzenwert, der voraussetzt, dass für jede Aufgabe im Voraus feststeht, welches Modell sie bearbeiten sollte. Ein reales Routing-System kann diesen Wert nicht erreichen – die Zahl zeigt eher, dass sich die Schwachstellen der beiden Modelle nicht überschneiden, als dass sie eine praktisch umsetzbare Lösung darstellt.
Die Architektur dahinter
Das Modell selbst ist ein MoE mit 552 Milliarden Parametern, bei dem die Aktivierung für Ein- und Ausgabe getrennt ausgelegt ist: 8 Milliarden aktive Parameter auf der Eingabeseite, 16 Milliarden auf der Ausgabeseite. Direkter wirkt sich die Änderung am KV-Cache aus: Der HBM-Verbrauch sinkt auf ein Viertel der Vorgängergeneration, der SSD-Bedarf auf ein Achtel.
Der Ursprung des Kostenvorteils passt zu dieser Ebene. Agent-Coding-Aufgaben zeichnen sich durch lange Kontexte und viele Runden aus, wodurch der Anteil der KV-Cache-Kosten deutlich höher ausfällt als bei einer einmaligen Anfrage. Wird der Speicher- und Festplattenbedarf des Caches auf ein Viertel beziehungsweise ein Achtel gedrückt, kann der Anbieter auf derselben Hardware deutlich mehr gleichzeitige Anfragen unterbringen, wodurch sich der Preis pro Aufgabe senken lässt. Die 0,43 US-Dollar sind also nicht allein das Ergebnis einer Preisstrategie.
Woher diese Zahlen stammen
Wichtig ist die Einordnung: Der Benchmark wurde von Fireworks AI selbst veröffentlicht, und DeepSeek-V4.1-Flash wird auf genau dieser Plattform verkauft – Testinstanz und Verkäufer sind identisch. DeepSeek selbst hat diese Zahlen nicht bestätigt, und eine unabhängige Reproduktion durch Dritte liegt bislang nicht vor.
Auch die Wahl der Benchmarks beeinflusst das Ergebnis. DeepSWE und Terminal-Bench sind stark auf ingenieurmäßige Coding-Aufgaben ausgerichtet und decken sich recht gut mit dem Alltag in der Entwicklung – ob sich die relative Positionierung der vier Modelle jedoch innerhalb von 0,69 Prozentpunkten hält, wenn man andere Benchmarks oder eine andere Aufgabenverteilung wählt, lässt sich aus diesen Daten nicht beantworten. Als Hinweis auf ein Kostenverhältnis taugt die Zahl, als endgültige Rangfolge der Modellfähigkeiten nicht.
Quellen: Fireworks-AI-Techblog, CocoLoop; die drei Werte zu DeepSWE, Terminal-Bench 2.1 und HLE sowie die Kosten pro Aufgabe und die Architekturparameter wurden einzeln mit dem Original-Blogbeitrag abgeglichen, die monatlichen Ausgaben eines zehnköpfigen Teams sind eine grobe Schätzung.