LLM-Effizienz: News und Analysen

2 geprüfte Beiträge zu LLM-Effizienz, Produkten und Branchenentwicklungen.

On-Device-KI 2026-08-19

Liquid AI rettet Q4_0 mit Distillation auf 97 % Genauigkeit

Liquid AI veröffentlicht neue LFM2.5-Checkpoints im GGUF-Q4_0-Format, die dank der QAD-Methode bis zu 97 % der BF16-Basisgenauigkeit erreichen.

#Open Source #KI-Inferenzoptimierung #LLM-Effizienz

Google 2026-04-20

Google TurboQuant komprimiert KI-Inferenzspeicher um das 6-Fache

Google Research stellt TurboQuant vor, das mit den beiden Algorithmen PolarQuant und QJL den KV-Cache-Speicher bei der Inferenz großer Modelle um mindestens das Sechsfache komprimiert, ohne dass ein erneutes Training erforderlich ist, und auf H100-GPUs eine bis zu 8-fache Beschleunigung erreicht.

#KI-Inferenzoptimierung #LLM-Effizienz #Technologiedurchbruch