DeepSeek hat am 20. Oktober das intern genutzte Inferenz-Framework für große Lasten, DeepInfer, auf GitHub als Open Source veröffentlicht. Die Lizenz ist Apache 2.0. Auf der Startseite des Repositorys heißt es, es handle sich um ein Hochleistungs-Inferenz-Framework für DeepSeek-Modelle; die offene Version biete die Kernfunktionen für Offline-Inferenz und den Betrieb in großem Maßstab. Unterstützt wird derzeit nur ein einziges Modell: DeepSeek-V4.1-Flash.
Wie öffentliche Berichte weiter erwähnen, hat DeepSeek zeitgleich eine Token-Kodierungs- und Dekodierungskomponente namens deepseek-recipe freigegeben und gibt an, dass ein einzelner Cluster mit V4.1 Flash auf Basis dieses Frameworks einen Durchsatz von 155 Billionen Tokens pro Tag erreiche. Diese Durchsatzzahl stammt von der Firma selbst: Im Leistungsteil der README findet sich lediglich eine Kurve für Durchsatz und Latenz, aber kein konkreter Zahlenwert, und eine unabhängige Nachmessung durch Dritte gibt es bislang nicht.
Was im Repository steckt
Die in der README aufgeführten Fähigkeiten lassen sich grob in vier Blöcke einteilen.
Der erste Block umfasst Kernel und Laufzeitumgebung. Integriert sind FlashMLA, DeepGEMM, DeepEP, TileKernels und DeepSelect sowie eine Reihe eigener Kernel, die in TileLang geschrieben wurden. Die ersten Namen hat DeepSeek bereits in der Open-Source-Woche des vergangenen Jahres und in einigen späteren Veröffentlichungen nach und nach freigegeben; nun werden sie in eine Hülle verpackt, mit der sich direkt ein Dienst starten lässt.
Der zweite Block sind die Parallelisierungsstrategien: Für die Attention kommen Datenparallelität und ausbalancierte Kontextparallelität zum Einsatz, für den MoE-Teil Expertenparallelität mit Lastausgleich (EPLB).
Der dritte Block ist spekulatives Decoding. Es knüpft an DSpark an, das DeepSeek Ende Juni gemeinsam mit der Peking-Universität als Open Source veröffentlicht hat, und ergänzt es um einen konfidenzbasiert gesteuerten Verifikationsmechanismus; die Standardlänge des Entwurfs beträgt 5.
Der vierte Block besteht aus einigen technischen Details: Das Batch-Scheduling auf der CPU-Seite überlappt mit der Ausführung auf dem Gerät und ist standardmäßig aktiviert; die Sliding-Window-Attention wiederholt nur ein begrenztes Suffix, wodurch ein Teil der Prefill-Berechnung entfällt; strukturierte Ausgaben unterstützen Einschränkungen per regulärem Ausdruck, JSON Schema und EBNF-Grammatik.
Die Testumgebung ist sehr konkret beschrieben: Für das Prefill kommen 4 SM100-GPUs zum Einsatz, für das Decoding 64, alle in derselben Scale-up-Domäne. Die Skripte zur Reproduktion wurden gleich mit veröffentlicht.
Zwei Hardware-Plattformen, ungleiche Fähigkeiten
Als Hardware werden zwei Varianten genannt: GPUs der Nvidia-SM100-Reihe und Huaweis Ascend-950-NPUs. Die Anforderungen an die Umgebung sind CUDA 13 beziehungsweise CANN 9.2, ein Compiler ab GCC 13 und Python 3.12.
Zwei Fähigkeiten sind allerdings mit „nur NVIDIA“ gekennzeichnet. Die eine ist batch-invariante Inferenz: Eine Anfrage liefert dasselbe Ergebnis, ganz gleich, mit welchen anderen Anfragen sie im selben Batch gebündelt wird. Die andere ist deterministisches Sampling: Gleiche Eingabe und gleiche Sampling-Parameter ergeben dasselbe Resultat. Beides ist für Teams nützlich, die Evaluierungen und Regressionstests durchführen, steht aktuell aber nur auf Nvidia-Karten zur Verfügung.
Die README benennt auch offen, was fehlt: ein KV-Cache-System, die dreistufige Trennung von Vision-Encoding, Prefill und Decoding sowie der Lastausgleich zwischen datenparallelen Replikaten sind in dieser Version nicht enthalten. Laut Repository sind die meisten für den getrennten Betrieb nötigen Engine-Funktionen bereits implementiert, wer jedoch einen Dienst wie bei DeepSeek im Produktivbetrieb aufbauen will, muss diese Schichten selbst ergänzen.
Die bisherigen Open-Source-Schritte im Zusammenhang
DeepSeek gibt seine Infrastruktur Stück für Stück frei. Im April des Vorjahres veröffentlichte das Unternehmen im Repository open-infra-index ein Dokument, in dem es hieß, man werde die vollständige Code-Basis der internen Inferenz-Engine nicht direkt als Open Source freigeben, sondern wolle Designverbesserungen und eigenständig nutzbare Komponenten an die Community beitragen, etwa an bestehende Projekte wie vLLM.
Der weitere Verlauf folgte im Wesentlichen diesem Gedanken: Zuerst wurden die Kernel-Bibliotheken einzeln herausgegeben, Ende Juni folgte mit DSpark das Framework für spekulatives Decoding, und im September machte DeepSeek auf arXiv DSec öffentlich, die Sandbox-Grundlage für das Training von Agenten. DeepInfer ist das erste Mal, dass diese Bausteine zu einem eigenständig einsetzbaren Framework zusammengefügt werden. Verglichen mit der Aussage von vor mehr als einem Jahr, man gebe nur Komponenten heraus, ist die Tür damit ein Stück weiter aufgegangen.
Für chinesische Unternehmen, die V4.1 Flash privat betreiben, gibt es nun eine offizielle Referenzimplementierung. Bei Community-Frameworks wie vLLM und SGLang könnten die Kernel-Optimierungen von DeepSeek künftig eher zuerst im eigenen Framework landen und erst danach von der Community portiert werden. Am Tag der Veröffentlichung hatte das Repository bereits mehr als dreitausend Sterne. Die späteren Issues und externe Benchmarks dürften besser als die offizielle Kurve zeigen, wie es in den Rechenzentren anderer Betreiber tatsächlich läuft.
Quellen: README des DeepInfer-Repositorys von DeepSeek auf GitHub (zur Prüfung von unterstütztem Modell, Hardware, Nur-NVIDIA-Funktionen, Anzahl der Testkarten und Lizenz), CocoLoop, Erläuterungsdokument des DeepSeek-Repositorys open-infra-index; die Durchsatzzahl pro Cluster ist eine Firmenangabe und wurde nicht von Dritten nachgemessen.