Im Dezember letzten Jahres veröffentlichte DeepSeek das V3-Modell. Was die Konkurrenz wirklich umtreibt, ist nicht die Leistung – sondern die Kosten.
Die Architektur
Das Kerndesign von V3 ist Mixture of Experts:
- Gesamtparameter: 671B
- Tatsächlich aktivierte Parameter pro Token: 37B
- 256 Experten pro Schicht, 8 werden pro Durchlauf ausgewählt
Stellen Sie sich vor, Sie hätten 256 Fachärzte, aber für jede Konsultation werden nur die 8 relevantesten hinzugezogen. Große Parameterzahl bei kontrollierbaren Rechenkosten – das ist die Essenz von MoE.
Benchmark-Ergebnisse
- MMLU: 87,1 % (GPT-4o-Niveau)
- MATH-500: 90,2 %
- Codeforces: 51,6. Perzentil
- GPQA Diamond: 59,1 %
Diese Ergebnisse gehören Ende 2025 zu den Spitzenwerten unter den Open-Source-Modellen.
5,5 Millionen Dollar für ein Spitzenmodell
Die Trainingskosten von V3 liegen bei etwa 5,5 Millionen US-Dollar. Im gleichen Zeitraum gaben US-Unternehmen für ähnlich große Modelle oft hunderte Millionen Dollar aus. Diese Zahl ließ die gesamte Branche innehalten: Ist DeepSeek einfach nur sparsam, oder verschwenden alle anderen zu viel?
Die Spargeheimnisse umfassen:
- FP8 Mixed-Precision-Training, das den Speicherbandbreitenbedarf halbiert
- Strategischer Einsatz von Spot-Instanzen, Rechenkosten um 70 % reduziert
- Die MoE-Architektur selbst ist ein natürlicher Rechensparer
Warum das wichtig ist
Einen Monat nach V3 veröffentlichte DeepSeek R1. Beide Modelle zusammen beweisen im Wesentlichen eines: Spitzenforschung in der KI muss nicht Milliarden verschlingen. Für die globale KI-Wettbewerbslandschaft ist dieses Signal wichtiger als jeder einzelne Benchmark.
Quellenangabe: CocoLoop, DeepSeek V3 Technical Report, BentoML Technical Guide