LMSYS 팀이 DeepSeek-V4-Pro의 서빙 최적화 데이터를 공개했다. 테스트 플랫폼은 H20이며, 비교 대상은 엔비디아의 플래그십 칩 B300이다. 작업은 Tianyu Zhang, Yusong Gao, Yun Zhang이 맡았고, 모든 작업은 오픈소스 프레임워크 SGLang 위에서 이뤄졌다.
먼저 핵심 수치 두 가지를 보자. 프리필 단계에서 PP2-CP8-TP8 구성은 4K 컨텍스트에서 초당 1만 6900토큰을 기록했다. 512K의 긴 컨텍스트로 전환한 PP4-CP8-TP8 구성은 오히려 처리량이 올라 초당 2만 5860토큰을 기록했고, 100만 토큰 처리에 43.7초가 걸렸다. 저지연을 노린 디코딩 시나리오에서는 H20의 단일 배치 기준 초당 271토큰, B300은 383.7토큰으로 두 값의 비율은 1.42배다.
고처리량 시나리오에는 별도 구성이 쓰인다. DP32-EP32는 4K 컨텍스트, 32way 동시성에서 GPU당 초당 703.15토큰을 기록했고, DP16-EP16은 조금 더 높은 759.73토큰을 기록했다. 컨텍스트를 100만 토큰까지 늘려도 GPU당 초당 66~67토큰은 유지된다.
1.42배는 어느 정도의 의미인가
H20은 엔비디아가 중국 시장을 위해 만든 규제 준수 버전으로, 스펙상 연산 성능은 B300과 한 단계 이상 차이가 난다. 단일 배치 디코딩 격차를 1.42배까지 좁혔다는 것은, 병목이 최대 연산 성능이 아니라 메모리 대역폭, 통신 오버헤드, 스케줄링 유휴 시간에 있었다는 뜻이다.
최적화 항목의 구성도 이를 뒷받침한다. 가장 큰 효과를 낸 항목들은 모두 연산 정밀도와 무관하다. 양자화 핫패스 융합—SwiGLU 활성화와 양자화를 함께 처리하고 중간 버퍼를 없앰—으로 단일 항목 처리량이 44.0% 늘었다. 어휘 가중치의 내적 연산을 전치 GEMM으로 바꿔 높은 동시성에서의 중복 읽기를 줄여 처리량이 추가로 22.8% 늘었다. 실측된 전문가(expert) 선호도에 따라 부하 배치를 다시 짜서 13.5%를 더 얻었다.
프리필 쪽도 같은 방식이다. 7개의 연산자를 3개의 실행 그룹으로 합쳐 첫 토큰 지연을 3.5% 줄였다. 실제 운영 환경의 라우팅 히스토그램에서 고빈도 형태를 추출해 두 전문가 가중치 그룹을 각각 표적 최적화함으로써 첫 토큰 지연을 추가로 11.35% 줄였다. 이 마지막 방식은 특히 실용적인데, 요청 분포가 균일하다고 가정하지 않고 실제 운영 트래픽이 가진 편향 그대로에 맞춰 조정했다.
구조적인 교체도 하나 있다. 프리필 단계에서는 MoE 레이어를 나눌 때 전문가 병렬 대신 텐서 병렬을 사용했다. 전문가 부하가 고르지 않으면 롱테일이 생기므로, 통신 비용을 조금 더 들이더라도 그 꼬리를 잘라내는 쪽을 택했다는 논리다.
용량은 맞바꿔서 얻는 것
속도보다 더 빡빡한 제약은 용량이다. 이번 작업 중 두 항목이 메모리를 직접 겨냥한다. Humming MXFP4AFP8은 전문가 가중치를 MXFP4로 저장하고 온라인 FP8 활성화를 함께 써서 기준 대비 1.71~4.47배의 용량을 확보했다. 온라인 C128 KV 압축은 인덱스 단위 상태 대신 압축된 집계 상태를 유지해 2.268배를 기여한다. 두 가지를 겹치면 그 범위는 3.88~10.14배에 이른다.
배포하는 쪽 입장에서는 이 항목이 가장 계산하기 쉽다. 동일한 8장 구성 서버에서 수용 가능한 동시 처리 수나 컨텍스트 길이가 몇 배로 늘면, 토큰당 비용도 거의 같은 비율로 내려간다. 칩 수량을 더 확보할 수 없는 상황에서는 용량 배수야말로 스스로 조절할 수 있는 유일한 변수가 된다.
DSpark의 기여는 별도로 집계됐다. 파이프라인 단계를 넘나들며 타깃 실행과 검증 단계를 조율함으로써 토큰당 출력 시간이 74.8~78.0% 개선됐다.
이를 비용으로 환산하면 더 구체적으로 와닿는다. 8장 구성 H20 서버 한 대의 월 보유 비용이 고정돼 있다고 가정하면, 용량 배수가 4배가 될 때 같은 청구액으로 기존의 4배에 달하는 동시 처리량을 감당할 수 있어, 토큰당 장비 비용은 대략 4분의 1 수준까지 낮아진다(이는 긴 컨텍스트에 따른 추가 연산량과 라우팅 변동을 무시한 대략적인 계산이다). 토큰 단위로 과금되고 가격 경쟁으로 이미 마진이 얇아진 서비스 사업자에게는, 이런 여유가 차세대 칩으로의 교체를 기다리는 것보다 현실적인 경우가 많다. 게다가 차세대 칩을 확보할 수 있다는 보장도 없다.
결과물은 하나의 구성표
이 작업이 최종적으로 내놓은 것은 단일한 최적해가 아니라, 시나리오별로 정리된 구성표다. 프리필은 32K 이하면 PP2, 128K 이상이면 PP4로 전환한다. 디코딩은 저지연을 노릴 때는 PP2-TP8, 처리량을 노릴 때는 DP32-EP32를 쓰고, DP16-EP16은 효율 참조용으로 남겨둔다.
이런 제시 방식 자체가 하나의 신호다. 리더보드가 원하는 것은 숫자 하나지만, 운영 환경이 원하는 것은 자신의 트래픽이 어떤 모양인지, 어느 행에 해당하는지를 아는 것이다. 손에 H20만 있고 그럼에도 1조 6000억 파라미터 모델을 서빙해야 하는 팀에게는, 이 표가 어떤 최고 기록보다 더 바로 쓸 수 있다.
참고 출처: LMSYS 기술 블로그, CocoLoop, SGLang 프로젝트 문서. 처리량, 지연 시간, 용량 배수 수치는 모두 해당 블로그가 제시한 실측 구성표에서 가져왔으며, B300 비교 데이터도 같은 출처다.