Große Modelle werden immer leistungsfähiger, aber ihre Bereitstellungskosten steigen ebenfalls. Quantisierung und Destillation sind derzeit die beiden gängigsten technologischen Ansätze, um Modelle "kleiner und schneller" zu machen.
Quantisierung: Genauigkeit reduzieren
Kernidee: Die Modellgewichte von einem hochpräzisen Format (FP32/FP16) auf ein niedrigpräzises Format (INT8/INT4 oder niedriger) komprimieren.
Post-Training Quantization (PTQ)
Der einfachste und direkteste Ansatz – die Genauigkeit wird direkt nach Abschluss des Modelltrainings reduziert. Typischerweise kann die Modellgröße um 75-80 % komprimiert werden, wobei der Genauigkeitsverlust im akzeptablen Bereich liegt. Geeignet für schnelle Bereitstellungen.
Quantization-Aware Training (QAT)
Das Modell wird bereits während des Trainings an die Umgebung mit niedriger Präzision angepasst. Die Ergebnisse sind besser als bei PTQ, erfordern aber ein erneutes Training.
Quantization-Aware Distillation (QAD)
Eine neue Methode, die kürzlich von NVIDIA entwickelt wurde – das Schülermodell lernt gleichzeitig zwei Dinge: sich an Quantisierungsfehler anzupassen und sich am vollpräzisen Lehrermodell auszurichten. Ihre NVFP4-QAD-Forschung hat gezeigt, dass die Genauigkeit selbst bei FP4-Präzision wiederhergestellt werden kann.
Destillation: Wissenstransfer
Ein kleines Modell (Schüler) ahmt das Verhalten eines großen Modells (Lehrer) nach. Das Schülermodell erreicht typischerweise 90-95 % der Leistung des Lehrermodells, ist aber wesentlich kleiner.
Die destillierte Version von DeepSeek R1 ist ein typisches Beispiel – das destillierte 32B-Modell war mit o1-mini gleichauf.
Pruning: Parameter direkt entfernen
Unwichtige Parameter (Gewichte, Neuronen oder ganze Schichten) werden identifiziert und entfernt. Typischerweise können 30-50 % der Parameter entfernt werden, während die Leistung nahezu unverändert bleibt.
Spekulative Dekodierung: Parallele Verifikation
Ein kleines "Entwurfsmodell" generiert schnell mehrere Kandidaten-Token, die dann parallel vom großen Modell verifiziert werden. Das Prinzip ähnelt dem "erst grob zeichnen, dann verfeinern" und reduziert die Latenz erheblich.
Trends
NVIDIA prognostiziert, dass 2026 das Jahr der Divergenz zwischen den beiden Pfaden "Spitzenmodelle vs. effiziente Modelle" sein wird. Die Kombination mehrerer Optimierungstechniken wird zum Mainstream – nicht die Auswahl einer, sondern die Kombination von Quantisierung + Destillation + Pruning.
Auf der Hardwareseite reifen ASIC-Beschleuniger, Chiplet-Designs und analoge Inferenzchips; GPUs sind nicht mehr die einzige Inferenzoption.
Quellenangabe: CocoLoop, NVIDIA Technical Blog