大規模AIモデルのトレーニングにはどれだけの電力が必要か

大規模AIモデルのエネルギー消費は無視できない問題になりつつある。

トレーニングコスト

大規模モデルのトレーニングにおける電力消費は驚異的である。GPT-4レベルのモデルを参考にすると:

  • 1回のトレーニングで消費する電力量は、米国の一般家庭数百世帯の年間使用量に相当する
  • マイクロソフト、グーグル、メタによるAIデータセンターの建設は、世界のデータセンターにおけるエネルギー消費の割合を押し上げている

さらに深刻なのは推論側である。トレーニングは一度きりだが、推論は継続的に行われる。世界中で毎日数億回のAI呼び出しが行われており、累積の推論エネルギー消費はすでにトレーニングを上回っている可能性がある。

各社の対応

マイクロソフトは大量の再生可能エネルギー購入契約を結んでおり、データセンターに電力を供給するための小型原子炉も検討している。

グーグルはAI関連事業を100%無炭素エネルギーで運用することを約束しているが、実際の運用では「カーボンニュートラル」と「真の無炭素」の間には大きな隔たりがある。

DeepSeekのアプローチは別の視点を提供している。より多くのGPUで力ずくのトレーニングを行う代わりに、よりスマートな方法(MoE、FP8、より効率的なアーキテクチャ)で計算量そのものを削減するというものだ。550万ドルでトップクラスのモデルをトレーニングするという手法は、エネルギー面から見ても最も環境に優しい。

矛盾

AIのエネルギー問題とAIの発展速度の間には根本的な矛盾が存在する:

  • モデルが大きく、能力が高くなるほど、エネルギー消費も増える
  • ユーザーのAIへの依存が深まるほど、推論リクエストが増える
  • データセンターの建設速度はAIの計算能力需要の増加に追いつかない

一部の研究者は、2030年までにAI関連の電力消費が世界の総電力使用量の3~5%を占める可能性があると予測している。この数字は小さく見えるが、絶対量は非常に大きい。

効率最適化(量子化、蒸留、MoEなど)が現在最も現実的な解決策である。再生可能エネルギーだけでAIのエネルギー消費を完全に賄うことは、中期的には現実的ではない。

出典:IEAデータセンターエネルギー消費レポート、CocoLoop、各社のサステナビリティレポート