Training van groot neuraal netwerk genereert 284.000 kg CO₂ – equivalent aan 5 auto's levensduuruitstoot

• Het ontwikkelen en optimaliseren van een groot neuraal netwerk kan zoveel als 284.000 kilogram koolstofdioxide uitstoten.
• Dit is equivalent aan 5 keer de levensduuruitstoot van een gemiddelde auto.

Recente vooruitgang in het veld van kunstmatige intelligentie (AI) heeft een nieuw tijdperk van grote netwerken getraind op massive data ingeluid. Deze netwerken hebben drastische nauwkeurigheidsverbeteringen over verschillende basale natuurlijke taalverwerking (NLP) taken.

De meest resource-hongerige modellen hebben met name de hoogste scores behaald. Het trainen van zulke modellen vereist echter een enorme hoeveelheid computationele bronnen, wat significante energie vereist.

Onlangs publiceerden onderzoekers van de University of Massachusetts Amherst een paper waarin ze koolstofdioxide-uitstoot van AI-modellen beschreven, door een levenscyclusanalyse uit te voeren voor het trainen van grote neurale netwerken.

Een decennium geleden konden NLP-modellen ontwikkeld en getraind worden op een conventionele server of laptop, maar dat is niet meer het geval. Vandaag de dag vereisen hoog-nauwkeurige modellen meerdere instanties van TPU's (tensor processing units) of GPU's. Onderzoek en experimenten met modelarchitecturen en hyperparameters hebben de hardwarekosten verder verhoogd.

Het aansturen van dergelijke hardware voor weken laat een substantiële impact op het milieu achter. Hoewel een deel van deze energie afkomstig is van hernieuwbare bronnen, is het beperkt tot de technologie die we momenteel hebben om het te genereren en op te slaan. Feitelijk hebben de meeste locaties niet genoeg faciliteiten om energie af te leiden van koolstof-neutrale bronnen.

Koolstofuitstoot van training NLP-modellen

In deze studie karakteriseerden onderzoekers de koolstofuitstoot en kosten die voortvloeien uit het trainen van grote neurale netwerken. Ze schatten hoeveel kilowatt aan energie het kost om populaire NLP-modellen te ontwikkelen en af te stemmen. Ze converteerden dit vervolgens naar benaderende elektriciteitskosten en koolstofuitstoot.

Geschatte CO2-uitstoot van NLP-modellen vs andere bekende consumptie

De bevindingen tonen aan dat het ontwikkelen en optimaliseren van een grote NLP-pijplijn 284.000 kilogram koolstofdioxide kan uitstoten, wat equivalent is aan 5 keer de levensduuruitstoot van een gemiddelde auto (inclusief het productieproces).

Referentie: arXiv:1906.02243

Zowel financiële als milieukosten stijgen evenredig met de grootte van AI-modellen. Maar zodra u afstemfuncties toevoegt om de nauwkeurigheid van het model verder te verbeteren, exploderen de bijbehorende kosten.

Specifiek leidt de afstemfunctie (ook wel neurale architectuurzoeking genoemd) — die het ontwerp van het netwerk iteratief aanpast door intensieve trial-and-error — tot extrem hoge kosten voor kleine prestatieverbeteringen.

Gegeven de lopende trends in het AI-veld, is het belang van dit onderzoek enorm. Veel AI-onderzoeksfaciliteiten verwaarlozen efficiëntie omdat netwerkmodellen getraind op overvloedige data nuttig zijn gebleken in verschillende taken.

Hoewel computationeel efficiënte algoritmes bestaan, worden ze zelden in de praktijk gebruikt voor het optimaliseren van NLP-modellen, vanwege hun incompatibiliteit met de meeste gangbare diep leer frameworks zoals TensorFlow en PyTorch.

Volgens onderzoekers zou dit type onderzoek uitgevoerd moeten worden om bewustzijn te creëren over het uitgebreide gebruik van bronnen en bewuste praktijk en beleid te bevorderen.