DeepSeek 於 10 月 20 日在 GitHub 上開源了內部使用的大規模推理框架 DeepInfer，授權為 Apache 2.0。儲存庫首頁寫明，這是一個面向 DeepSeek 模型的高效能推理框架，開源版本提供離線推理與大規模服務所需的核心功能，目前支援的模型只有一個：DeepSeek-V4.1-Flash。
公開報導還提到，DeepSeek 同步開源了名為 deepseek-recipe 的 Token 編解碼元件，並稱基於這套框架，V4.1 Flash 的單一叢集吞吐量達到每天 155 兆 Tokens。這個吞吐量數字出自公司自己的說法，儲存庫 README 的效能部分只放了吞吐量與延遲的曲線圖，沒有給出具體數值，目前也還沒有第三方重新測試。
儲存庫裡有什麼
README 列出的功能大致分為四塊。
第一塊是核心與執行環境，整合了 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，再加上一批以 TileLang 撰寫的自訂核心。前面幾個名字，DeepSeek 在去年的開源週與之後的幾次發表中陸續釋出過，這次等於把它們裝進一個能直接啟動服務的外殼。
第二塊是平行策略：注意力部分採用資料平行加上均衡的上下文平行，MoE 部分採用專家平行搭配負載平衡（EPLB）。
第三塊是推測解碼，接的是 DeepSeek 6 月底與北京大學一起開源的 DSpark，再加上一套依信心度調度的驗證機制，預設草稿長度為 5。
第四塊是一些工程細節：CPU 端的批次調度與裝置執行重疊，預設開啟；滑動視窗注意力只重播有界後綴，省下一部分預填充運算；結構化輸出支援正規表達式、JSON Schema 與 EBNF 語法約束。
測試環境寫得很具體：預填充使用 4 張 SM100 GPU，解碼使用 64 張，都在同一個 scale-up 域內，重現腳本也一併公開。
兩套硬體，能力並不對等
硬體支援列了兩項：輝達 SM100 系列 GPU，以及華為昇騰 950 NPU。環境需求分別是 CUDA 13 與 CANN 9.2，編譯器需要 GCC 13 以上，Python 3.12。
不過有兩項功能標註為「僅限 NVIDIA」：一是批次不變推論，同一筆請求不論和哪些請求合併在同一個批次裡，輸出都保持一致；二是確定性取樣，相同的輸入與取樣參數會得到相同的結果。這兩項對做評測、做回歸測試的團隊很實用，目前只能在輝達顯示卡上取得。
README 也坦白寫出缺少的部分：KV Cache 系統、視覺編碼與預填充、解碼三段分離，以及資料平行副本之間的負載平衡，都不在這個版本裡。儲存庫稱分離部署所需的引擎功能大部分已經實作，但若要搭建一套和 DeepSeek 線上相同的服務，使用者還得自行補上這幾層。
把幾次開源串起來看
DeepSeek 在基礎設施上的開源是一塊一塊往外釋出的。去年 4 月，它在 open-infra-index 儲存庫中發過一份說明，稱不會直接開源內部推理引擎的完整程式碼，打算把設計改進與可獨立使用的元件貢獻給社群，例如 vLLM 這類現有專案。
之後的節奏大致照這個思路走：核心函式庫先單獨釋出，6 月底釋出推測解碼框架 DSpark，9 月在 arXiv 上公開了智慧體訓練用的沙箱底座 DSec。DeepInfer 是第一次把這些零件組成一個可獨立部署的框架拿出來，和一年多前「只給元件」的說法相比，口子開大了一截。
對中國國內以 V4.1 Flash 做私有化部署的公司，這次多了一個官方參考實作；對 vLLM、SGLang 這些社群框架，DeepSeek 的核心最佳化以後可能更多先進入自家框架，再由社群移植。儲存庫上線當天星標已超過三千，後續的議題區與外部基準測試，會比官方曲線圖更能說明它在別人機房裡跑得如何。
參考來源：DeepSeek GitHub 儲存庫 DeepInfer 的 README（核實支援模型、硬體、僅限 NVIDIA 的功能、測試卡數與授權）、CocoLoop、DeepSeek open-infra-index 說明文件；單一叢集吞吐量數字為公司說法，未經第三方重新測試。