DeepSeek hat mit seiner Kostenkontrolle einen legendären Status in der Branche erreicht:
- V3 Trainingskosten: ca. 5,5 Millionen US-Dollar
- R1 GPU-Nutzungsgebühren: ca. 294.000 US-Dollar
Im gleichen Zeitraum lagen die Budgets US-amerikanischer Unternehmen für das Training ähnlich großer Modelle zwischen 100 Millionen und 1 Milliarde US-Dollar. Ein Unterschied von mindestens einer Größenordnung.
Spartricks
1. FP8 Mixed-Precision-Training
Durch die Reduzierung der Trainingsgenauigkeit von FP32/FP16 auf FP8 halbiert sich der Speicherbandbreitenbedarf. Die meisten Rechenengpässe liegen in der Speicherbandbreite, und dieser Schritt trifft genau den richtigen Punkt.
2. Strategischer Einsatz von Spot-Instanzen
Die Rechenkosten sinken um 70 %. Spot-Instanzen können jederzeit zurückgezogen werden, aber das Trainingsframework von DeepSeek verfügt über ausreichende Checkpoints und Fehlertoleranzmechanismen, um dieses Problem zu bewältigen.
3. MoE-Architektur spart von Natur aus Rechenleistung
Das Modell mit 671B Parametern aktiviert bei jeder Inferenz nur 37B. Die Parameteranzahl gewährleistet Kapazität und Leistungsfähigkeit, während die spärliche Aktivierung die Kosten kontrollierbar hält.
Neue Technologie: mHC
Im Januar dieses Jahres veröffentlichte DeepSeek eine weitere neue Methode – Manifold-Constrained Hyper-Connections (mHC). Das Kernpapier wurde von Gründer Liang Wenfeng mitverfasst.
Diese Methode erzeugt mehrere Informationsflüsse innerhalb des Modells, wobei jeder Mischschritt durch strenge mathematische Beschränkungen die Erhaltung der Gesamtinformationsmenge sicherstellt. Testergebnisse zeigen, dass mHC bei Parametergrößen von 3B bis 27B stabiles Training ermöglicht, während die Version ohne Beschränkungen oft instabil ist. Die Trainingskosten steigen nur um 6-7 %, was für große Modelle nahezu vernachlässigbar ist.
Einige Analysten bezeichnen das mHC-Papier als "erstaunlichen Durchbruch", der zur Basistechnologie für DeepSeeks nächste Hauptmodellgeneration werden könnte.
Der CEO von OpenAI selbst hat eingeräumt, dass die Betriebskosten von DeepSeeks R1 20- bis 50-mal günstiger sind als die von OpenAIs gleichwertigem Modell.
Quellenangabe: CocoLoop, Computerworld-Bericht, South China Morning Post-Analyse