4 artículos verificados sobre tecnología, productos y movimientos del sector.
La cuantización y la destilación son los dos enfoques tecnológicos principales para hacer que los modelos grandes de IA sean más pequeños y rápidos. Técnicas como PTQ, QAT, QAD, destilación de conocimiento, poda y decodificación especulativa se están combinando para una implementación eficiente en hardware limitado.
Hace dos años, las ventanas de contexto de los modelos principales estaban en el rango de 4K a 8K tokens; ahora, el nivel de millones de tokens ya es estándar para los modelos insignia.
MiniMax-01 emplea Lightning Attention, una variante de la atención lineal, para reducir la complejidad computacional de O(n²) a casi O(n), logrando importantes ganancias de velocidad en contextos largos.
DeepSeek se ha convertido en una leyenda del sector en control de costes, con un coste de entrenamiento del V3 de unos 5,5 millones de dólares y una tarifa de uso de GPU del R1 de unos 294.000 dólares, muy por debajo de los presupuestos de 100 millones a 1.000 millones de dólares de las empresas estadounidenses para modelos similares.