En analys publicerad i Towards Data Science i juli 2023 av Kasper Groes Albin Ludvigsen estimerar koldioxidavtrycket från träning av OpenAI:s GPT-4, baserat på uppgifter om hårdvara och energiförbrukning. Resultaten visar att val av datacenterregion kan minska koldioxidutsläppen med en faktor 13. För projektledare som upphandlar eller planerar AI-infrastruktur är koldioxidpåverkan från modellträning en alltmer relevant parameter i hållbarhetsrapportering och leverantörsbedömning.
Koldioxidavtrycket från GPT-4-träning – huvudpunkter
- Enligt overifierade uppgifter om läckt information tränade OpenAI GPT-4 på cirka 25 000 Nvidia A100-GPU:er under 90–100 dagar. Dessa uppgifter är inte bekräftade av OpenAI och används i artikeln som beräkningsunderlag (källa: Towards Data Science, 2023-07-18).
- Med antaganden om att servrarna kördes vid full kapacitet och med ett PUE-värde på 1,18 — Microsofts Azure-datacentersnitt — estimerar artikeln att träningen kan ha förbrukat mellan 51 772 500 och 62 318 750 kWh el (källa: Towards Data Science, 2023-07-18).
- Om träningen skedde i Azure-regionen West US i Kalifornien, med en koldioxidintensitet på 240,6 gram CO2e per kWh, estimeras utsläppen till mellan 12 456 och 14 994 ton CO2e (källa: Towards Data Science, 2023-07-18).
- Om träningen i stället skedde i Azure-regionen Canada East, med en koldioxidintensitet på 20 gram CO2e per kWh, estimeras utsläppen till mellan 1 035 och 1 246 ton CO2e — en minskning med en faktor 13 (källa: Towards Data Science, 2023-07-18).
- GPT-4:s estimerade elförbrukning är 40–48 gånger högre än den estimerade förbrukningen för träning av GPT-3, som uppskattades till 1 287 000 kWh, trots att GPT-4 uppges ha ungefär tio gånger fler parametrar än GPT-3 (källa: Towards Data Science, 2023-07-18).
- Artikeln framhåller att träningsutsläppen är marginella jämfört med utsläppen från hårdvarutillverkning och från drift av modellen i stor skala mot en stor användarbas — den så kallade inferensfasen.
Vad detta betyder för projektledare
- Datacenterregion är en hållbarhetsparameter: Analysen visar att koldioxinutsläppen från AI-träning kan skilja med en faktor 13 beroende på var beräkningarna utförs. Projektledare som upphandlar molntjänster för AI-träning bör inkludera koldioxidintensitet per region som ett utvärderingskriterium, vid sidan av pris och prestanda.
- Inferens dominerar livscykelns klimatpåverkan: Träningsutsläppen är en engångskostnad. Drift av en modell i stor skala — inferensfasen — genererar löpande utsläpp som över tid överskrider träningsutsläppen. Projektledare bör beakta inferensvolym och energimix i sin hållbarhetsbedömning av AI-tjänster.
- PUE som upphandlingskrav: Power Usage Effectiveness är ett etablerat nyckeltal för datacentereffektivitet. Projektledare som ställer krav på hållbarhet i AI-infrastruktur bör efterfråga PUE-data från leverantören — det är ett konkret, jämförbart mått som påverkar den faktiska energiförbrukningen.
- Transparens om AI-modellers klimatpåverkan saknas: Artikeln bygger på overifierade uppgifter eftersom OpenAI inte redovisar träningsdata offentligt. Det illustrerar ett generellt problem: organisationer som vill beräkna sin AI-relaterade klimatpåverkan saknar ofta nödvändig data från leverantörerna. Det är ett argument för att ställa transparenskrav i leverantörsavtal.
Begrepp i artikeln
- PUE (Power Usage Effectiveness): Nyckeltal för ett datacenters energieffektivitet — förhållandet mellan total energiförbrukning och den energi som når beräkningshårdvaran. Lägre PUE är bättre; 1,0 är teoretiskt maximum.
- koldioxidintensitet (carbon intensity): Mängden koldioxidekvivalenter som emitteras per kWh producerad el, uttryckt i gram CO2e/kWh. Varierar kraftigt beroende på energimix i regionen.
- CO2e (koldioxidekvivalenter): Samlingsmått för växthusgaser, omräknat till den mängd koldioxid som skulle ha samma uppvärmningseffekt.
- TDP (Thermal Design Power): Den maximala effektförbrukning en hårdvarukomponent är designad att hantera under full belastning, uttryckt i watt.
- Inferens: Att köra en färdigtränad AI-modell för att generera svar — till skillnad från träning, som sker en gång. Inferens sker kontinuerligt och är den dominerande energikostnaden i drift.
Vanliga frågor
Hur mycket el förbrukade träningen av GPT-4? Baserat på overifierade uppgifter om att GPT-4 tränade på cirka 25 000 Nvidia A100-GPU:er under 90–100 dagar estimerar Kasper Groes Albin Ludvigsen i Towards Data Science (2023-07-18) att träningen kan ha förbrukat mellan 51,8 och 62,3 miljoner kWh el. Siffrorna är uppskattningar och inte bekräftade av OpenAI.
Hur stora var koldioxidutsläppen från träning av GPT-4? Estimaten varierar kraftigt beroende på antagen datacenterregion. I ett California-scenario estimeras utsläppen till 12 456–14 994 ton CO2e. I ett Canada East-scenario, med betydligt grönare el, estimeras utsläppen till 1 035–1 246 ton CO2e — en skillnad med en faktor 13 (källa: Towards Data Science, 2023-07-18).
Är träningsutsläppen den största klimatpåverkan från GPT-4? Nej, enligt artikeln. Träningsutsläppen är en engångskostnad. Hårdvarutillverkning och löpande drift av modellen i stor skala — inferensfasen — genererar utsläpp som på sikt är större än träningsutsläppen.
Hur kan val av molnregion minska AI-modellers koldioxidavtryck? Koldioxidintensiteten varierar kraftigt mellan molnregioner beroende på energimix. Azure-regionen Canada East har en intensitet på 20 gram CO2e per kWh, jämfört med 240,6 gram i West US. Att välja en region med lägre koldioxidintensitet kan minska träningsutsläppen med upp till 93 procent enligt analysen (källa: Towards Data Science, 2023-07-18).
Källa: The carbon footprint of GPT-4 / Towards Data Science, Kasper Groes Albin Ludvigsen, publicerad 2023-07-18.
Läs även
- Oracle köper Nvidia-chips för 40 miljarder dollar till OpenAI:s datacenter i Texas
- Svenskt AI-konsortium bygger AI-fabrik med NVIDIA
- Bortom effektivitet: Etiska överväganden för AI-driven projektledning