4 geprüfte Beiträge zu Technologie, Produkten und Branchenentwicklungen.
Quantisierung und Destillation sind die beiden wichtigsten technologischen Ansätze, um große KI-Modelle kleiner und schneller zu machen. Techniken wie PTQ, QAT, QAD, Wissensdestillation, Pruning und spekulative Dekodierung werden zunehmend kombiniert, um eine effiziente Bereitstellung auf begrenzter Hardware zu ermöglichen.
Vor zwei Jahren lagen die Kontextfenster der führenden Modelle noch bei 4K bis 8K Token, heute sind Millionen-Token bereits Standard für Flaggschiff-Modelle.
MiniMax-01 nutzt Lightning Attention, eine Variante der linearen Aufmerksamkeit, um die Rechenkomplexität von O(n²) auf nahezu O(n) zu reduzieren und so bei langen Kontexten deutliche Geschwindigkeitsvorteile zu erzielen.
DeepSeek ist zur Legende in der Branche geworden, was Kostenkontrolle betrifft: Die Trainingskosten für V3 liegen bei etwa 5,5 Millionen US-Dollar, die GPU-Gebühren für R1 bei etwa 294.000 US-Dollar – weit unter den Budgets von 100 Millionen bis 1 Milliarde US-Dollar, die US-Unternehmen für vergleichbare Modelle veranschlagen.