지난해 9월 말, DeepSeek는 조용히 V3.2를 공개했다. 대대적인 발표는 없었지만, 이 버전에는 흥미로운 아키텍처 변경이 포함되어 있다.
V3.2의 핵심 변경 사항은 파라미터 규모가 아니라 어텐션 메커니즘이다. 그들은 DeepSeek Sparse Attention(DSA)이라는 것을 구축하여 기존의 밀집 어텐션을 희소 버전으로 전환했다.
희소 어텐션이 실제로 절약하는 부분
기존 어텐션 메커니즘은 O(L²) 복잡도를 가진다. 시퀀스 길이가 두 배가 되면 계산량은 네 배가 된다. 컨텍스트 윈도우가 128K 토큰에 도달하면 이 오버헤드는 매우 커진다.
DSA의 작동 방식은 다음과 같다:
- 먼저 Lightning Indexer(FP8 정밀도)를 사용하여 각 쿼리와 과거 토큰 간의 관련성 점수를 빠르게 계산
- 그런 다음 가장 관련성이 높은 Top-k 토큰만 선택하여 어텐션 계산 수행
- 복잡도가 O(L²)에서 O(Lk)로 감소. k는 고정된 작은 숫자
간단히 말해 "모든 단어가 다른 모든 단어를 볼 필요는 없으며, 가장 중요한 것만 보면 된다"는 것이다. 이 아이디어 자체는 새롭지 않지만, DeepSeek는 이를 실제로 작동하게 만들고 프로덕션에 투입했다.
성능: 크게 오르지도, 크게 내리지도 않음
솔직히 말하면, V3.2의 벤치마크는 V3.1과 대체로 비슷하다. "더 강력한" 릴리스가 아니다.
| 태스크 | V3.2 결과 |
|---|---|
| MMLU-Pro | 85.0 |
| AIME 2025 | 89.3 |
| Codeforces 레이팅 | 2121 (2046에서 상승) |
| GPQA/HLE 추론 | 소폭 하락 |
코딩 능력은 확실히 향상되어 Codeforces 레이팅이 2046에서 2121로 상승했다. 이는 주목할 만한 상승 폭이다. 그러나 추론 벤치마크는 "생성된 추론 토큰이 감소했기 때문에" 소폭 하락했다. 이는 희소 어텐션의 대가 중 하나로, 생성되는 사고 사슬이 짧아지기 때문이다.
따라서 V3.2는 효율성과 능력 간의 트레이드오프이지, 전반적인 개선이 아니다.
저렴함이 판매 포인트
가격: 입력 $0.28/M, 출력 $0.42/M.
캐시 히트: $0.028/M, 캐시 미스보다 90% 저렴.
비교:
| 모델 | 입력 (/M) | 출력 (/M) |
|---|---|---|
| GPT-5 | $1.25 | $10 |
| Claude Sonnet 4 | $3 | $15 |
| DeepSeek V3.2 | $0.28 | $0.42 |
GPT-5와 비교하면 비용 차이가 거의 5배에 달한다. 이것은 가장 강력한 모델은 아니지만, 대량 호출과 비용에 민감한 애플리케이션 시나리오에서 V3.2의 가성비는 따라올 모델이 거의 없다.
컨텍스트 윈도우는 128K 토큰이다. 가중치는 Hugging Face에 MIT 라이선스로 공개되어 있으며, 상업적 사용이 자유롭다.
아키텍처 세부 사항
DSA는 Transformer 베이스에 내장되어 있으며, MLA의 MQA 모드에서 실행된다. 추론은 주로 H800 GPU 클러스터에 최적화되어 있으며, 다른 하드웨어에서는 실제 성능이 다를 수 있다. DeepSeek는 더 광범위한 검증을 진행 중이라고 밝혔다.
훈련은 통합된 GRPO 강화 학습을 사용하여 추론 정렬, 명령 수행, 에이전트 작업을 하나의 훈련 프로세스로 통합했다.
관점
V3.2는 "더 똑똑한" 모델이 아니라 "더 저렴한" 모델이다.
희소 어텐션 메커니즘은 엔지니어링상의 트레이드오프다. 약간의 추론 능력 손실을 감수하고 상당한 계산 비용을 절감한 다음, 그 절감분을 API 가격에 직접 반영한 것이다.
애플리케이션 개발자에게 이 접근 방식은 벤치마크에 집착하는 것보다 더 실용적이다. 모든 시나리오에 가장 강력한 모델이 필요한 것은 아니지만, 모든 스타트업이 API 비용을 신경 쓰고 있다.
DeepSeek의 이 접근 방식은 OpenAI 및 Anthropic과 다르다. 후자는 먼저 가장 강력한 모델을 출시하고 나중에 비용을 최적화하는 경향이 있다. DeepSeek는 먼저 비용을 낮추고 사용자 수를 늘린 다음, 그 위에서 차별화를 꾀한다.
이 전략은 중국 기술 업계에서는 흔히 볼 수 있지만, 대규모 모델 분야에서 성공할 수 있을지는 여전히 주목할 만하다.
출처: CocoLoop, DeepSeek V3.2-Exp Release: Pricing, API Costs, Context Window & Benchmarks (llm-stats.com); DeepSeek V3.2 Exp Model Specs, Costs & Benchmarks (Galaxy.ai); Top 10 Cheapest Providers for DeepSeek V3.2 in 2026 (DEV Community)