Quanta eletricidade é necessária para treinar um grande modelo de IA?

O consumo de energia dos grandes modelos de IA está se tornando um problema que não pode ser ignorado.

Custos de treinamento

O consumo de eletricidade para treinar grandes modelos é extremamente impressionante. Tomando como referência um modelo de nível GPT-4:

  • O consumo de eletricidade para um único treinamento equivale ao consumo anual de várias centenas de famílias americanas
  • A construção de data centers de IA pela Microsoft, Google e Meta está elevando a participação global do consumo de energia dos data centers

Mais preocupante é a fase de inferência. O treinamento é único, mas a inferência é contínua. Centenas de milhões de chamadas de IA por dia em todo o mundo acumulam um consumo de energia de inferência que pode já ter superado o do treinamento.

Respostas das empresas

A Microsoft assinou um grande número de acordos de compra de energia renovável e está até explorando pequenos reatores nucleares para alimentar data centers.

O Google prometeu que suas operações relacionadas à IA usarão 100% de energia livre de carbono, mas na prática há uma grande diferença entre "neutralidade de carbono" e "verdadeiramente livre de carbono".

A abordagem da DeepSeek oferece uma perspectiva diferente – em vez de usar mais GPUs para treinamento por força bruta, use métodos mais inteligentes (MoE, FP8, arquiteturas mais eficientes) para reduzir a própria carga computacional. A prática de treinar um modelo de ponta por US$ 5,5 milhões, do ponto de vista energético, também é a mais ecológica.

Contradição

Existe uma contradição fundamental entre o problema do consumo de energia da IA e a velocidade de desenvolvimento da IA:

  • Quanto maior e mais capaz o modelo, maior o consumo de energia
  • Quanto mais os usuários dependem da IA, mais solicitações de inferência são feitas
  • A velocidade de construção de data centers não acompanha a taxa de crescimento da demanda por poder computacional de IA

Alguns pesquisadores preveem que, até 2030, o consumo de eletricidade relacionado à IA poderá representar 3-5% do consumo total global de eletricidade. Esse número parece pequeno, mas o valor absoluto é muito significativo.

A otimização da eficiência (quantização, destilação, MoE, etc.) é atualmente a solução mais realista. Depender inteiramente de energia renovável para cobrir o consumo de energia da IA não é realista no curto e médio prazo.

Fontes de referência: Relatório de consumo de energia de data centers da IEA, CocoLoop, relatórios de sustentabilidade das empresas