大規模モデルの性能は向上し続けているが、デプロイコストも高まっている。量子化と蒸留は、現在「モデルを小さく、高速化する」ための最も主流な二つの技術アプローチである。
量子化：精度の低減
核となる考え方は、モデルの重みを高精度フォーマット（FP32/FP16）から低精度フォーマット（INT8/INT4、あるいはそれ以下）に圧縮することである。
学習後量子化（PTQ）
最もシンプルで直接的な方法。モデル学習後にそのまま精度を下げる。通常、モデルサイズを75～80%圧縮でき、精度低下は許容範囲内に収まる。迅速なデプロイに適している。
量子化認識学習（QAT）
学習プロセス中にモデルを低精度環境に適応させる。PTQよりも効果が高いが、再学習が必要となる。
量子化認識蒸留（QAD）
NVIDIAが最近開発した新しい手法。生徒モデルが、量子化誤差への適応と、高精度の教師モデルへのアライメントという二つのタスクを同時に学習する。同社のNVFP4-QAD研究は、FP4精度でも精度が回復可能であることを実証した。
蒸留：知識の転移
小規模モデル（生徒）が大規模モデル（教師）の振る舞いを模倣する。生徒モデルは通常、教師モデルの90～95%の性能を達成しながら、サイズははるかに小さい。
DeepSeek R1の蒸留版はその典型例であり、32Bの蒸留モデルがo1-miniに匹敵する性能を示した。
枝刈り：パラメータの直接削減
重要でないパラメータ（重み、ニューロン、または層全体）を特定して除去する。通常、30～50%のパラメータを性能をほぼ変えずに削除できる。
投機的デコード：並列検証
小型の「ドラフトモデル」が複数の候補トークンを高速生成し、大規模モデルがそれらを並列検証する。原理は「まず大まかに描き、後で精密に仕上げる」ことに似ており、レイテンシを大幅に低減する。
トレンド
NVIDIAは、2026年が「フロンティアモデルと効率的モデルの二つの路線が分岐する年」になると予測している。複数の最適化技術を組み合わせることが主流になりつつあり、一つを選ぶのではなく、量子化＋蒸留＋枝刈りを併用する方向にある。
ハードウェア面では、ASICアクセラレータ、チップレット設計、アナログ推論チップが成熟しており、GPUはもはや唯一の推論オプションではなくなっている。
出典：CocoLoop、NVIDIA技術ブログ