4 artigos verificados sobre tecnologia, produtos e movimentos do setor.
Quantização e destilação são as duas principais abordagens tecnológicas para tornar modelos grandes de IA menores e mais rápidos. Técnicas como PTQ, QAT, QAD, destilação de conhecimento, poda e decodificação especulativa estão sendo combinadas para implantação eficiente em hardware limitado.
Há dois anos, as janelas de contexto dos modelos principais ainda estavam na faixa de 4K a 8K tokens; agora, o nível de milhões de tokens já é padrão para modelos flagship.
MiniMax-01 utiliza Lightning Attention, uma variante da atenção linear, para reduzir a complexidade computacional de O(n²) para perto de O(n), proporcionando ganhos significativos de velocidade em contextos longos.
DeepSeek se tornou uma lenda no setor em controle de custos, com custo de treinamento do V3 de cerca de US$ 5,5 milhões e taxa de uso de GPU do R1 de cerca de US$ 294 mil, muito abaixo dos orçamentos de US$ 100 milhões a US$ 1 bilhão de empresas americanas para modelos similares.