Eén LLM heeft in de toekomst tussen de één en vijf gigawatt nodig om de training te voltooien.
CEO van AWS Matt Garman voorspelt dat de training van LLM’s binnenkort evenveel stroom zal verbruiken dan een grote stad. Dat staat gelijk aan een vermogen tussen de één en vijf gigawatt. Om aan die vraag te kunnen voldoen, investeert AWS nu volop in stroomprojecten.
Nood aan (veel) meer vermogen
De ontwikkeling van LLM’s gaat hard. Meta lanceerde zijn eerste versie van Llama in februari 2023, gevolgd door Llama 2 in juni. Llama 3 werd in april van dit jaar gelanceerd. OpenAI heeft er daarentegen drie jaar over gedaan om GPT-4 te lanceren, maar bracht ook wel het meer verfijnd GPT-3.5 in 2022. De ontwikkeling van een nieuwe generatie LLM lijkt dus één tot twee jaar te duren.
De toenemende complexiteit van LLM’s vereist enorme hoeveelheden GPU’s, soms meer dan 100.000 Nvidia H100 GPU’s per model. OpenAI heeft de lancering van ChatGPT-5 zelfs uitgesteld tot 2025 door een tekort aan rekenkracht. Aan het huidige tempo zal de vijf gigawatt stroomverbruik over ongeveer vijf jaar realiteit worden.
Grote spelers zoals Google en Microsoft investeren in duurzame energiebronnen en kernenergie om de energievoorziening van datacenters veilig te stellen. Oracle overweegt de bouw van kleine kernreactoren. De hyperscalers kunnen bijna niet anders, want nieuwe energie-infrastructuur opbouwen en in gebruik stellen kost tijd, en traditionele energiebronnen zijn niet duurzaam op lange termijn.
lees ook