4 articles vérifiés sur Technologie, les produits et le secteur.
La quantification et la distillation sont les deux principales approches technologiques pour rendre les grands modèles d'IA plus petits et plus rapides. Des techniques telles que PTQ, QAT, QAD, la distillation de connaissances, l'élagage et le décodage spéculatif sont combinées pour un déploiement efficace sur du matériel limité.
Il y a deux ans, les fenêtres de contexte des modèles dominants étaient encore de l'ordre de 4K à 8K tokens ; désormais, le niveau du million de tokens est devenu la norme pour les modèles phares.
MiniMax-01 utilise Lightning Attention, une variante de l'attention linéaire, pour réduire la complexité de calcul de O(n²) à presque O(n), offrant des gains de vitesse significatifs dans les contextes longs.
DeepSeek est devenu une légende du secteur en matière de contrôle des coûts, avec un coût d'entraînement du V3 d'environ 5,5 millions de dollars et des frais d'utilisation GPU du R1 d'environ 294 000 dollars, bien en deçà des budgets de 100 millions à 1 milliard de dollars des entreprises américaines pour des modèles similaires.