Training van een groot neuraal netwerk kan 284.000 kilo CO2 uitstoten

• Het ontwikkelen en optimaliseren van een groot neuraal netwerk kan maar liefst 284.000 kilogram koolstofdioxide uitstoten.
• Dit komt overeen met 5 keer de levensduuremissie van een gemiddelde auto.

Recente ontwikkelingen op het gebied van kunstmatige intelligentie (AI) hebben een nieuw tijdperk ingeluid van grote netwerken die zijn getraind op enorme hoeveelheden gegevens. Deze netwerken hebben drastische verbeteringen in nauwkeurigheid bij verschillende basistaken voor natuurlijke taalverwerking (NLP).

Vooral de meest resource-hongerige modellen hebben de hoogste scores behaald. Het trainen van dergelijke modellen vereist echter een enorme hoeveelheid rekenkracht, die veel energie vergen.

Onlangs publiceerden onderzoekers van de University of Massachusetts Amherst een paper waarin ze de CO2-uitstoot van AI-modellen beschreven door een levenscyclusanalyse uit te voeren voor het trainen van grote neurale netwerken.

Tien jaar geleden konden NLP-modellen worden ontwikkeld en getraind op een conventionele server of laptop, maar dat is niet meer het geval. Tegenwoordig vereisen zeer nauwkeurige modellen meerdere instanties van TPU's (tensorverwerkingseenheden) of GPU's. Onderzoek en experimenten met modelarchitecturen en hyperparameters hebben de hardwarekosten verder verhoogd.

Het wekenlang aandrijven van dergelijke hardware heeft een aanzienlijke impact op het milieu. Hoewel een deel van deze energie uit hernieuwbare bronnen komt, beperkt het zich tot de technologie die we nu hebben om het op te wekken en op te slaan. In feite hebben de meeste locaties voldoende faciliteiten om energie uit CO2-neutrale bronnen te halen.

Koolstofemissie van training NLP-modellen

In deze studie karakteriseerden onderzoekers de koolstofemissies en kosten die het gevolg zijn van het trainen van grote neurale netwerken. Ze schatten hoeveel kilowatt aan energie het kost om populaire NLP-modellen te ontwikkelen en af ​​te stemmen. Ze hebben het vervolgens omgezet in geschatte elektriciteitskosten en koolstofemissies.

Geschatte CO2-uitstoot van NLP-modellen versus ander vertrouwd verbruik 

De bevindingen tonen aan dat het ontwikkelen en optimaliseren van een grote NLP-pijpleiding 284.000 kilogram koolstofdioxide zou kunnen uitstoten, wat overeenkomt met 5 keer de uitstoot van een gemiddelde auto (inclusief het productieproces).

Referentie:arXiv:1906.02243

Zowel de financiële als de milieukosten nemen evenredig toe met de omvang van AI-modellen. Maar zodra u afstemmingsfuncties toevoegt om de nauwkeurigheid van het model verder te verbeteren, exploderen de bijbehorende kosten.

Meer specifiek leidt de afstemmingsfunctie (ook wel neurale architectuurzoekopdracht genoemd) - iteratief tweaken van het netwerkontwerp door intensief vallen en opstaan ​​- tot extreem hoge kosten voor kleine prestatieverbeteringen.

Gezien de voortdurende trends op het gebied van AI, is het belang van dit onderzoek enorm. Veel AI-onderzoeksfaciliteiten verwaarlozen efficiëntie omdat netwerkmodellen die zijn getraind op overvloedige gegevens nuttig zijn gebleken bij verschillende taken.

Lezen:Kunstmatige bladeren kunnen koolstofdioxide uit de atmosfeer verminderen

Hoewel er computationeel efficiënte algoritmen bestaan, worden ze in de praktijk nauwelijks gebruikt voor het optimaliseren van NLP-modellen, vanwege hun incompatibiliteit met de meest voorkomende deep learning-frameworks zoals TensorFlow en PyTorch.

Volgens onderzoekers moet dit soort onderzoek worden uitgevoerd om het bewustzijn over het uitgebreide gebruik van middelen te vergroten en om bewust oefenen en beleid te bevorderen.