DeepSeekは10月20日、社内で使用してきた大規模推論フレームワークDeepInferをGitHubでオープンソース化した。ライセンスはApache 2.0。リポジトリのトップページには、DeepSeekモデル向けの高性能推論フレームワークであり、オープンソース版はオフライン推論と大規模サービングに必要なコア機能を提供すると記されている。現時点で対応するモデルはDeepSeek-V4.1-Flashの1つだけだ。
報道によれば、DeepSeekはあわせてdeepseek-recipeというトークンのエンコード・デコード用コンポーネントも公開した。また、このフレームワークを使ったV4.1 Flashの単一クラスターのスループットは、1日あたり155兆トークンに達するという。ただしこの数値は同社の説明によるもので、リポジトリのREADMEの性能セクションにはスループットとレイテンシーの曲線グラフがあるだけで具体的な数値はなく、第三者による再現検証もまだ出ていない。
リポジトリの中身
READMEに挙げられた機能は、大きく4つに分かれる。
1つ目はカーネルとランタイムだ。FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelectを統合し、さらにTileLangで書かれた独自カーネル群を加えている。前半の名前は、DeepSeekが昨年のオープンソース週間とその後のいくつかのリリースで順次公開してきたもので、今回はそれらをそのままサービスを起動できる形にまとめたことになる。
2つ目は並列化戦略である。アテンション部分ではデータ並列と均衡型のコンテキスト並列を組み合わせ、MoE部分ではエキスパート並列と負荷分散(EPLB)を用いる。
3つ目は投機的デコーディングで、DeepSeekが6月末に北京大学と共同で公開したDSparkを組み込み、さらに信頼度に基づいて検証を振り分ける仕組みを加えた。ドラフト長のデフォルトは5。
4つ目は実装上の工夫だ。CPU側のバッチスケジューリングとデバイス実行のオーバーラップはデフォルトで有効。スライディングウィンドウ・アテンションでは有限の末尾部分だけを再生することで、プリフィルの計算の一部を省く。構造化出力は、正規表現、JSON Schema、EBNF文法による制約に対応する。
テスト環境の記載も具体的で、プリフィルにはSM100 GPUを4基、デコードには64基を使い、いずれも同一のスケールアップドメイン内に置いている。再現用のスクリプトも併せて公開されている。
2種類のハードウェア、対等ではない機能
対応ハードウェアとして挙げられているのは、NVIDIA SM100シリーズのGPUと、HuaweiのAscend(昇騰)950 NPUの2つ。必要な環境はそれぞれCUDA 13とCANN 9.2で、コンパイラはGCC 13以上、Pythonは3.12が求められる。
ただし、2つの機能には「NVIDIAのみ」と明記されている。1つはバッチ不変推論で、同じリクエストが他のどのリクエストと同じバッチにまとめられても、出力が変わらない。もう1つは決定論的サンプリングで、同じ入力とサンプリングパラメーターなら同じ結果が得られる。評価やリグレッションテストを行うチームには実用的な機能だが、現在使えるのはNVIDIAのカードだけだ。
READMEは足りない部分についても率直に書いている。KVキャッシュシステム、ビジョンエンコード・プリフィル・デコードの3段階分離、データ並列レプリカ間の負荷分散は、このバージョンには含まれていない。分離デプロイに必要なエンジン機能の大半は実装済みだとリポジトリは説明しているが、DeepSeekの本番と同じサービスを組むには、利用者がこれらの層を自分で補う必要がある。
これまでのオープンソース公開をつなげて見る
DeepSeekのインフラ関連のオープンソース化は、少しずつ進められてきた。昨年4月、同社はopen-infra-indexリポジトリで、社内の推論エンジンの完全なコードは公開せず、設計上の改善や単体で使えるコンポーネントを、vLLMのような既存プロジェクトなどを通じてコミュニティに還元する方針だと説明していた。
その後の動きはおおむねこの方針どおりだ。カーネルライブラリが先に単独で公開され、6月末には投機的デコーディングのフレームワークDSpark、9月にはエージェント訓練用のサンドボックス基盤DSecがarXivで公開された。DeepInferは、こうした部品を初めて単体でデプロイできるフレームワークとして組み上げて出したもので、1年余り前の「コンポーネントのみ」という説明からは、門戸が一段広がったといえる。
中国国内でV4.1 Flashをオンプレミス導入する企業にとっては、公式の参照実装が1つ増えた。一方、vLLMやSGLangといったコミュニティのフレームワークにとっては、DeepSeekのカーネル最適化がまず自社のフレームワークに入り、そのあとコミュニティが移植する流れが増えるかもしれない。リポジトリは公開当日にスターが3000を超えた。今後のIssueや外部ベンチマークは、公式の曲線グラフよりも、他者のデータセンターでどう動くかをよく示すことになるだろう。
参考資料:DeepSeekのGitHubリポジトリにあるDeepInferのREADME(対応モデル、ハードウェア、NVIDIA限定機能、テストGPU数、ライセンスを確認)、CocoLoop、DeepSeekのopen-infra-index説明文書。単一クラスターのスループット値は同社の説明であり、第三者による再現検証は行われていない。