DeepSeek는 10월 20일 내부에서 사용해 온 대규모 추론 프레임워크 DeepInfer를 GitHub에 오픈소스로 공개했다. 라이선스는 Apache 2.0이다. 저장소 첫 화면에는 DeepSeek 모델용 고성능 추론 프레임워크라고 적혀 있으며, 오픈소스 버전은 오프라인 추론과 대규모 서빙에 필요한 핵심 기능을 제공한다. 현재 지원하는 모델은 DeepSeek-V4.1-Flash 하나뿐이다.
언론 보도에 따르면 DeepSeek는 deepseek-recipe라는 토큰 인코딩·디코딩 컴포넌트도 함께 공개했으며, 이 프레임워크를 바탕으로 V4.1 Flash의 단일 클러스터 처리량이 하루 155조 토큰에 이른다고 밝혔다. 다만 이 수치는 회사 측 설명이다. 저장소 README의 성능 항목에는 처리량과 지연 시간 곡선 그래프만 있을 뿐 구체적인 수치가 없고, 제3자의 재현 검증도 아직 나오지 않았다.
저장소에 담긴 것
README에 나열된 기능은 크게 네 가지로 나뉜다.
첫째는 커널과 런타임이다. FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect를 통합했고, TileLang으로 작성한 커스텀 커널도 다수 더했다. 앞쪽 이름들은 DeepSeek가 지난해 오픈소스 주간과 이후 몇 차례 발표에서 차례로 공개한 것으로, 이번에 이를 곧바로 서비스를 띄울 수 있는 형태로 묶은 셈이다.
둘째는 병렬화 전략이다. 어텐션 부분에는 데이터 병렬과 균형 잡힌 컨텍스트 병렬을 쓰고, MoE 부분에는 전문가 병렬과 부하 분산(EPLB)을 적용했다.
셋째는 추측 디코딩이다. DeepSeek가 6월 말 베이징대와 함께 공개한 DSpark를 연결했고, 신뢰도에 따라 검증을 배분하는 장치를 더했다. 기본 드래프트 길이는 5다.
넷째는 엔지니어링 세부 사항이다. CPU 쪽 배치 스케줄링과 장치 실행을 겹치는 기능은 기본으로 켜져 있다. 슬라이딩 윈도 어텐션은 제한된 길이의 뒷부분만 다시 처리해 프리필 연산 일부를 줄인다. 구조화 출력은 정규식, JSON Schema, EBNF 문법 제약을 지원한다.
테스트 환경도 구체적으로 적혀 있다. 프리필에는 SM100 GPU 4장, 디코드에는 64장을 썼고, 모두 같은 스케일업 도메인 안에 있다. 재현용 스크립트도 함께 공개됐다.
두 하드웨어, 같지 않은 기능
지원 하드웨어는 엔비디아 SM100 시리즈 GPU와 화웨이 어센드(Ascend) 950 NPU 두 가지다. 환경 요건은 각각 CUDA 13과 CANN 9.2이고, 컴파일러는 GCC 13 이상, Python은 3.12가 필요하다.
그런데 두 가지 기능에는 "NVIDIA 전용"이라는 표시가 붙어 있다. 하나는 배치 불변 추론으로, 같은 요청이 어떤 요청들과 한 배치로 묶이든 출력이 동일하게 유지된다. 다른 하나는 결정론적 샘플링으로, 같은 입력과 샘플링 파라미터에는 같은 결과가 나온다. 평가나 회귀 테스트를 하는 팀에 유용한 기능이지만, 지금은 엔비디아 카드에서만 쓸 수 있다.
README는 빠진 부분도 솔직하게 적었다. KV 캐시 시스템, 비전 인코딩·프리필·디코드의 3단 분리, 데이터 병렬 복제본 간 부하 분산은 이번 버전에 들어 있지 않다. 분리 배포에 필요한 엔진 기능은 대부분 구현돼 있다고 저장소는 밝혔지만, DeepSeek의 실제 서비스와 같은 구성을 만들려면 사용자가 이 계층들을 직접 채워 넣어야 한다.
이어진 오픈소스 공개를 함께 보면
DeepSeek의 인프라 오픈소스는 한 조각씩 나오는 방식이었다. 지난해 4월 open-infra-index 저장소에 올린 설명에서 회사는 내부 추론 엔진의 전체 코드를 그대로 공개하지는 않고, 설계 개선과 독립적으로 쓸 수 있는 컴포넌트를 vLLM 같은 기존 프로젝트 등을 통해 커뮤니티에 기여하겠다고 밝혔다.
이후의 흐름도 대체로 이 방침을 따랐다. 커널 라이브러리를 먼저 따로 내놓았고, 6월 말에는 추측 디코딩 프레임워크 DSpark, 9월에는 에이전트 학습용 샌드박스 기반 DSec를 arXiv에 공개했다. DeepInfer는 이런 부품을 처음으로 독립 배포가 가능한 프레임워크로 조립해 내놓은 것으로, 1년여 전 "컴포넌트만 공개"하겠다던 입장보다 문이 한 뼘 더 열린 셈이다.
V4.1 Flash를 사내 구축형으로 운영하는 중국 기업에는 공식 참조 구현이 하나 생겼다. vLLM, SGLang 같은 커뮤니티 프레임워크 입장에서는 DeepSeek의 커널 최적화가 앞으로 자체 프레임워크에 먼저 반영되고, 이를 커뮤니티가 이식하는 경우가 늘어날 수 있다. 저장소는 공개 당일 별이 3000개를 넘었다. 앞으로 올라올 이슈와 외부 벤치마크가 공식 곡선 그래프보다 다른 곳의 데이터센터에서 얼마나 잘 도는지를 더 잘 보여줄 것이다.
참고 출처: DeepSeek GitHub 저장소의 DeepInfer README(지원 모델, 하드웨어, 엔비디아 전용 기능, 테스트 GPU 수, 라이선스 확인), CocoLoop, DeepSeek open-infra-index 설명 문서. 단일 클러스터 처리량 수치는 회사 측 발표이며 제3자의 재현 검증은 이뤄지지 않았다.