Liquid AI usa destilación para recuperar el 97% de precisión de Q4_0
Liquid AI publica nuevos checkpoints de la serie LFM2.5 en formato GGUF Q4_0, entrenados con el método QAD, recuperando hasta el 97% de la precisión original en BF16.
2 artículos verificados sobre eficiencia de modelos grandes, productos y movimientos del sector.
Liquid AI publica nuevos checkpoints de la serie LFM2.5 en formato GGUF Q4_0, entrenados con el método QAD, recuperando hasta el 97% de la precisión original en BF16.
Google Research presenta TurboQuant, que combina los algoritmos PolarQuant y QJL para comprimir la memoria del KV Cache durante la inferencia de modelos grandes al menos 6 veces sin necesidad de reentrenamiento, logrando hasta 8 veces más velocidad en GPU H100.