Liquid AI utilise la distillation pour ramener Q4_0 à 97 % de précision
Liquid AI publie de nouveaux checkpoints de la série LFM2.5 au format GGUF Q4_0, entraînés avec la méthode QAD, retrouvant jusqu'à 97 % de la précision de référence en BF16.
2 articles vérifiés sur Efficacité des grands modèles, les produits et le secteur.
Liquid AI publie de nouveaux checkpoints de la série LFM2.5 au format GGUF Q4_0, entraînés avec la méthode QAD, retrouvant jusqu'à 97 % de la précision de référence en BF16.
Google Research dévoile TurboQuant, qui combine les algorithmes PolarQuant et QJL pour compresser la mémoire du cache KV lors de l'inférence de grands modèles d'au moins 6 fois sans réentraînement, atteignant jusqu'à 8 fois plus de vitesse sur GPU H100.