El 20 de octubre, DeepSeek publicó en GitHub, con código abierto, el framework de inferencia a gran escala que usa internamente, DeepInfer, bajo licencia Apache 2.0. La portada del repositorio lo describe como un framework de inferencia de alto rendimiento para los modelos de DeepSeek; la versión abierta ofrece las funciones centrales para inferencia sin conexión y para servicio a gran escala. Por ahora solo admite un modelo: DeepSeek-V4.1-Flash.
Según informaciones públicas, DeepSeek liberó al mismo tiempo un componente de codificación y decodificación de Tokens llamado deepseek-recipe, y asegura que, sobre este framework, un único clúster de V4.1 Flash alcanza un rendimiento de 155 billones de Tokens al día. Esa cifra de rendimiento procede de la propia compañía: la sección de rendimiento del README solo incluye curvas de rendimiento y latencia, sin valores concretos, y por ahora no hay una nueva medición de terceros.
Qué hay en el repositorio
Las capacidades que enumera el README se agrupan, a grandes rasgos, en cuatro bloques.
El primero es el de kernels y entorno de ejecución, que integra FlashMLA, DeepGEMM, DeepEP, TileKernels y DeepSelect, además de una serie de kernels propios escritos en TileLang. DeepSeek fue liberando los primeros nombres durante su semana de código abierto del año pasado y en algunos lanzamientos posteriores; ahora quedan reunidos en una envoltura que permite levantar un servicio directamente.
El segundo bloque son las estrategias de paralelismo: en la atención, paralelismo de datos junto con paralelismo de contexto equilibrado; en la parte MoE, paralelismo de expertos con balanceo de carga (EPLB).
El tercero es la decodificación especulativa, que se apoya en DSpark, liberado por DeepSeek a finales de junio junto con la Universidad de Pekín, más un mecanismo de verificación programado según la confianza, con una longitud de borrador por defecto de 5.
El cuarto reúne algunos detalles de ingeniería: la planificación de lotes en la CPU se solapa con la ejecución en el dispositivo y viene activada por defecto; la atención de ventana deslizante solo reproduce un sufijo acotado, lo que ahorra parte del cómputo de prefill; y la salida estructurada admite restricciones mediante expresiones regulares, JSON Schema y gramática EBNF.
El entorno de pruebas está descrito con mucho detalle: 4 GPU SM100 para el prefill y 64 para la decodificación, todas dentro del mismo dominio scale-up. Los scripts de reproducción se publicaron junto con el resto.
Dos plataformas de hardware, capacidades desiguales
El soporte de hardware incluye dos opciones: las GPU Nvidia de la serie SM100 y las NPU Ascend 950 de Huawei. Los requisitos de entorno son CUDA 13 y CANN 9.2, respectivamente, un compilador GCC 13 o superior y Python 3.12.
Sin embargo, dos capacidades llevan la etiqueta «solo NVIDIA». Una es la inferencia invariante al lote: una misma solicitud produce la misma salida sin importar con qué otras solicitudes se agrupe en el lote. La otra es el muestreo determinista: la misma entrada y los mismos parámetros de muestreo dan el mismo resultado. Ambas resultan muy útiles para los equipos que hacen evaluaciones y pruebas de regresión, pero por ahora solo se obtienen en tarjetas Nvidia.
El README también reconoce con franqueza lo que falta: el sistema de KV Cache, la separación en tres etapas entre codificación visual, prefill y decodificación, y el balanceo de carga entre réplicas de paralelismo de datos no forman parte de esta versión. El repositorio afirma que la mayoría de las funciones del motor necesarias para el despliegue desagregado ya están implementadas, pero quien quiera montar un servicio como el que DeepSeek tiene en línea tendrá que completar esas capas por su cuenta.
Las aperturas de código, vistas en conjunto
DeepSeek ha ido abriendo su infraestructura pieza a pieza. En abril del año pasado publicó en el repositorio open-infra-index un documento en el que decía que no liberaría directamente el código completo de su motor de inferencia interno, sino que pensaba aportar a la comunidad mejoras de diseño y componentes que pudieran usarse de forma independiente, por ejemplo en proyectos ya existentes como vLLM.
El ritmo posterior siguió básicamente esa idea: primero se liberaron por separado las bibliotecas de kernels, a finales de junio llegó el framework de decodificación especulativa DSpark y en septiembre se publicó en arXiv DSec, la base de sandbox para entrenar agentes. DeepInfer es la primera vez que estas piezas se ensamblan en un framework que puede desplegarse por sí solo. Frente a lo que se decía hace más de un año, que solo se entregarían componentes, la puerta se ha abierto un poco más.
Para las empresas chinas que usan V4.1 Flash en despliegues privados, ahora hay una implementación de referencia oficial. En cuanto a los frameworks de la comunidad como vLLM y SGLang, es posible que las optimizaciones de kernels de DeepSeek lleguen primero a su propio framework y que la comunidad las porte después. El día de su lanzamiento, el repositorio ya superaba las tres mil estrellas; la sección de issues y los benchmarks externos que vengan después dirán más que la curva oficial sobre cómo se comporta en las salas de máquinas de otros.
Fuentes: README del repositorio DeepInfer de DeepSeek en GitHub (para verificar el modelo compatible, el hardware, las funciones solo para NVIDIA, el número de tarjetas de prueba y la licencia), CocoLoop, documento explicativo de open-infra-index de DeepSeek; la cifra de rendimiento por clúster es la que da la compañía y no ha sido medida de nuevo por terceros.