Los modelos grandes son cada vez más potentes, pero sus costos de implementación también aumentan. La cuantización y la destilación son actualmente los dos enfoques tecnológicos más populares para "hacer los modelos más pequeños y rápidos".
Cuantización: Reducción de precisión
Idea central: Comprimir los pesos del modelo desde un formato de alta precisión (FP32/FP16) a un formato de baja precisión (INT8/INT4 o inferior).
Cuantización posterior al entrenamiento (PTQ)
La más simple y directa: la precisión se reduce inmediatamente después de entrenar el modelo. Normalmente, el tamaño del modelo se puede comprimir entre un 75-80%, con una pérdida de precisión dentro de un rango aceptable. Adecuada para implementación rápida.
Entrenamiento consciente de la cuantización (QAT)
El modelo se adapta al entorno de baja precisión durante el entrenamiento. Los resultados son mejores que PTQ, pero requieren un reentrenamiento.
Destilación consciente de la cuantización (QAD)
Un nuevo método desarrollado recientemente por NVIDIA: el modelo estudiante aprende dos cosas simultáneamente: adaptarse al error de cuantización y alinearse con el modelo profesor de precisión completa. Su investigación NVFP4-QAD demostró que la precisión se puede recuperar incluso con precisión FP4.
Destilación: Transferencia de conocimiento
Un modelo pequeño (estudiante) imita el comportamiento de un modelo grande (profesor). El modelo estudiante suele alcanzar entre el 90-95% del rendimiento del modelo profesor, pero es mucho más pequeño.
La versión destilada de DeepSeek R1 es un ejemplo típico: el modelo destilado de 32B igualó a o1-mini.
Poda: Eliminación directa de parámetros
Se identifican y eliminan parámetros no importantes (pesos, neuronas o capas enteras). Normalmente se pueden eliminar entre el 30-50% de los parámetros con un rendimiento casi sin cambios.
Decodificación especulativa: Verificación paralela
Un pequeño "modelo borrador" genera rápidamente múltiples tokens candidatos, que luego son verificados en paralelo por el modelo grande. El principio es similar a "dibujar primero, refinar después", lo que reduce significativamente la latencia.
Tendencias
NVIDIA considera que 2026 será el año de divergencia entre las dos rutas: "modelos de vanguardia vs. modelos eficientes". La combinación de múltiples técnicas de optimización se está convirtiendo en la corriente principal: no elegir una, sino combinar cuantización + destilación + poda.
En el lado del hardware, los aceleradores ASIC, los diseños chiplet y los chips de inferencia analógica están madurando; las GPU ya no son la única opción de inferencia.
Fuente de referencia: CocoLoop, Blog técnico de NVIDIA