No dia 20 de outubro, a DeepSeek abriu no GitHub o código do framework de inferência em larga escala que usa internamente, o DeepInfer, sob a licença Apache 2.0. A página inicial do repositório o descreve como um framework de inferência de alto desempenho voltado para os modelos da DeepSeek; a versão aberta oferece as funções centrais para inferência offline e para serviços em grande escala. Por enquanto, há um único modelo compatível: o DeepSeek-V4.1-Flash.
Segundo reportagens públicas, a DeepSeek também abriu ao mesmo tempo um componente de codificação e decodificação de Tokens chamado deepseek-recipe, e afirma que, com esse framework, um único cluster do V4.1 Flash chega a uma vazão de 155 trilhões de Tokens por dia. Esse número de vazão vem da própria empresa: a seção de desempenho do README traz apenas curvas de vazão e latência, sem valores concretos, e até agora não houve reteste por terceiros.
O que há no repositório
As capacidades listadas no README se dividem, em linhas gerais, em quatro blocos.
O primeiro é o de kernels e runtime, que integra FlashMLA, DeepGEMM, DeepEP, TileKernels e DeepSelect, além de uma série de kernels personalizados escritos em TileLang. Os primeiros nomes foram sendo liberados pela DeepSeek na semana de código aberto do ano passado e em alguns lançamentos posteriores; agora eles passam a vir embalados numa estrutura que já permite subir um serviço diretamente.
O segundo bloco traz as estratégias de paralelismo: na atenção, paralelismo de dados combinado com paralelismo de contexto balanceado; na parte MoE, paralelismo de especialistas com balanceamento de carga (EPLB).
O terceiro é a decodificação especulativa, que se apoia no DSpark, aberto pela DeepSeek no fim de junho em parceria com a Universidade de Pequim, acrescida de um mecanismo de verificação agendado por confiança, com tamanho de rascunho padrão igual a 5.
O quarto reúne alguns detalhes de engenharia: o agendamento de lotes na CPU se sobrepõe à execução no dispositivo e vem ativado por padrão; a atenção com janela deslizante reexecuta apenas um sufixo limitado, o que poupa parte do cálculo de preenchimento; e a saída estruturada aceita restrições por expressão regular, JSON Schema e gramática EBNF.
O ambiente de teste é descrito com bastante precisão: 4 GPUs SM100 para o preenchimento e 64 para a decodificação, todas no mesmo domínio scale-up. Os scripts de reprodução foram publicados junto.
Duas plataformas de hardware, capacidades desiguais
O suporte de hardware lista duas opções: as GPUs Nvidia da série SM100 e as NPUs Ascend 950 da Huawei. Os requisitos de ambiente são CUDA 13 e CANN 9.2, respectivamente, compilador GCC 13 ou superior e Python 3.12.
No entanto, duas capacidades estão marcadas como “somente NVIDIA”. Uma é a inferência invariante ao lote: uma mesma requisição produz a mesma saída, independentemente de quais outras requisições sejam agrupadas com ela no lote. A outra é a amostragem determinística: a mesma entrada e os mesmos parâmetros de amostragem dão o mesmo resultado. Ambas são úteis para equipes que fazem avaliações e testes de regressão, mas por ora só estão disponíveis em placas Nvidia.
O README também admite com franqueza o que falta: o sistema de KV Cache, a separação em três estágios entre codificação visual, preenchimento e decodificação e o balanceamento de carga entre réplicas de paralelismo de dados não fazem parte desta versão. O repositório afirma que a maior parte das funções do motor necessárias para a implantação desagregada já foi implementada, mas quem quiser montar um serviço igual ao que a DeepSeek mantém no ar terá de completar essas camadas por conta própria.
As aberturas de código vistas em conjunto
Na infraestrutura, a DeepSeek vem liberando o código peça por peça. Em abril do ano passado, publicou no repositório open-infra-index um comunicado dizendo que não abriria diretamente o código completo do motor de inferência interno, mas pretendia contribuir com a comunidade com melhorias de design e componentes que pudessem ser usados de forma independente, por exemplo em projetos já existentes como o vLLM.
O ritmo posterior seguiu basicamente essa linha: as bibliotecas de kernels foram liberadas primeiro, separadamente; no fim de junho veio o framework de decodificação especulativa DSpark; e em setembro a empresa divulgou no arXiv o DSec, a base de sandbox usada no treinamento de agentes. O DeepInfer é a primeira vez em que essas peças são reunidas num framework que pode ser implantado de forma independente. Em comparação com a afirmação de mais de um ano atrás, de que só entregaria componentes, a porta ficou um pouco mais aberta.
Para as empresas chinesas que implantam o V4.1 Flash de forma privada, passa a existir uma implementação de referência oficial. Já para frameworks da comunidade como vLLM e SGLang, as otimizações de kernels da DeepSeek tendem a chegar primeiro ao framework da própria empresa e só depois ser portadas pela comunidade. No dia em que foi ao ar, o repositório já passava de três mil estrelas; a área de issues e os benchmarks externos que vierem depois dirão mais do que a curva oficial sobre como ele se comporta nos data centers dos outros.
Fontes: README do repositório DeepInfer da DeepSeek no GitHub (para conferir modelo compatível, hardware, recursos exclusivos da NVIDIA, número de placas nos testes e licença), CocoLoop, documento explicativo do open-infra-index da DeepSeek; a vazão por cluster é um dado informado pela empresa e não foi retestado por terceiros.