대규모 모델의 성능은 계속해서 향상되고 있지만, 배포 비용도 함께 증가하고 있다. 양자화와 증류는 현재 "모델을 더 작고 빠르게 만드는" 가장 주류인 두 가지 기술 경로이다.
양자화: 정밀도 낮추기
핵심 아이디어는 모델 가중치를 고정밀도 형식(FP32/FP16)에서 저정밀도 형식(INT8/INT4 또는 그 이하)으로 압축하는 것이다.
학습 후 양자화(PTQ)
가장 간단하고 직접적인 방법으로, 모델 학습이 끝난 후 바로 정밀도를 낮춘다. 일반적으로 모델 크기를 75-80% 압축할 수 있으며, 정확도 손실은 허용 가능한 수준이다. 신속한 배포에 적합하다.
양자화 인식 학습(QAT)
학습 과정에서 모델이 저정밀도 환경에 적응하도록 한다. PTQ보다 효과가 좋지만 재학습이 필요하다.
양자화 인식 증류(QAD)
NVIDIA가 최근 개발한 새로운 방법으로, 학생 모델이 양자화 오류에 적응하는 것과 고정밀도 교사 모델에 정렬하는 두 가지를 동시에 학습한다. 이들의 NVFP4-QAD 연구는 FP4 정밀도에서도 정확도를 회복할 수 있음을 입증했다.
증류: 지식 전이
작은 모델(학생)이 큰 모델(교사)의 행동을 모방한다. 학생 모델은 일반적으로 교사 모델 성능의 90-95%를 달성하면서도 크기는 훨씬 작다.
DeepSeek R1의 증류 버전이 대표적인 사례로, 32B 증류 모델이 o1-mini와 동등한 성능을 보였다.
가지치기: 파라미터 직접 제거
중요하지 않은 파라미터(가중치, 뉴런 또는 전체 레이어)를 식별하고 제거한다. 일반적으로 성능 변화 없이 30-50%의 파라미터를 제거할 수 있다.
추측 디코딩: 병렬 검증
작은 "초안 모델"이 여러 후보 토큰을 빠르게 생성하고, 대규모 모델이 이를 병렬로 검증한다. 원리는 "먼저 대략 그리고 나서 정교하게 다듬는" 것과 유사하며, 지연 시간을 크게 줄인다.
트렌드
NVIDIA는 2026년이 "프론티어 모델 대 효율적 모델의 두 경로가 분화되는 해"가 될 것으로 전망한다. 여러 최적화 기술을 혼합하여 사용하는 것이 주류가 되고 있으며, 하나를 선택하는 것이 아니라 양자화+증류+가지치기를 조합하여 사용하는 추세이다.
하드웨어 측면에서는 ASIC 가속기, 칩렛 설계, 아날로그 추론 칩이 모두 성숙해지고 있으며, GPU는 더 이상 유일한 추론 옵션이 아니다.
출처: CocoLoop, NVIDIA 기술 블로그