Revolutionaire AI-chip overschrijdt de transistorlimieten en levert enorme rekenkracht

Elektronica en sensoren INSIDER

Onderzoekers van Princeton hebben de fysica van computers volledig opnieuw bedacht om een chip te bouwen voor moderne AI-workloads. En met nieuwe steun van de Amerikaanse overheid zullen ze zien hoe snel, compact en energiezuinig deze chip kan worden. Een vroeg prototype is hierboven afgebeeld. (Afbeelding:Hongyang Jia/Princeton Universiteit)

De grootste onderzoeksorganisatie van het ministerie van Defensie werkt samen met een door Princeton University geleid initiatief om geavanceerde microchips voor kunstmatige intelligentie te ontwikkelen.

De nieuwe hardware herinterpreteert chips voor moderne workloads die krachtige AI-systemen kunnen laten draaien met veel minder energie dan de meest geavanceerde halfgeleiders van vandaag, aldus Naveen Verma, hoogleraar elektrotechniek en computertechniek. Verma, die het project zal leiden, zegt dat de vooruitgang belangrijke barrières doorbreekt die chips voor AI hebben belemmerd, waaronder omvang, efficiëntie en schaalbaarheid.

Chips die minder energie nodig hebben, kunnen worden ingezet om AI te laten draaien in meer dynamische omgevingen, van laptops en telefoons tot ziekenhuizen en snelwegen tot een lage baan om de aarde en daarbuiten. Het soort chips dat de meest geavanceerde modellen van vandaag aanstuurt, is te omvangrijk en inefficiënt om op kleine apparaten te draaien, en daarom zijn ze vooral beperkt tot serverracks en grote datacenters.

Nu heeft het Defense Advanced Research Projects Agency (DARPA) aangekondigd dat het Verma’s werk, gebaseerd op een reeks belangrijke uitvindingen uit zijn laboratorium, zal ondersteunen met een subsidie van 18,6 miljoen dollar. De DARPA-financiering zal een onderzoek stimuleren naar hoe snel, compact en energiezuinig de nieuwe chip kan worden.

“Er is een behoorlijk belangrijke beperking als de beste AI beschikbaar is, alleen al in het datacenter”, zegt Verma. “Je ontgrendelt het daaruit en de manieren waarop we waarde uit AI kunnen halen exploderen.”

De aankondiging kwam als onderdeel van een bredere inspanning van DARPA om “revolutionaire vooruitgang in wetenschap, apparaten en systemen” voor de volgende generatie AI-computers te financieren. Het programma, genaamd OPTIMA, omvat projecten bij meerdere universiteiten en bedrijven. De oproep tot het indienen van voorstellen van het programma schatte de totale financiering op 78 miljoen dollar, hoewel DARPA niet de volledige lijst van instellingen heeft bekendgemaakt, noch het totale bedrag aan financiering dat het programma tot nu toe heeft toegekend.

In het door Princeton geleide project zullen onderzoekers samenwerken met Verma’s startup EnCharge AI. EnCharge AI, gevestigd in Santa Clara, CA, commercialiseert technologieën op basis van ontdekkingen uit Verma's laboratorium, waaronder een aantal belangrijke artikelen die hij samen met afgestudeerde elektrotechniekstudenten schreef, teruggaand tot 2016.

Verma was in 2022 medeoprichter van EnCharge AI, samen met Kailash Gopalakrishnan, een voormalige IBM Fellow, en Echere Iroaga, een leider in het ontwerpen van halfgeleidersystemen.

Gopalakrishnan zei dat de innovatie binnen bestaande computerarchitecturen, evenals de verbeteringen in de siliciumtechnologie, begonnen te vertragen precies op het moment dat AI enorme nieuwe eisen aan rekenkracht en efficiëntie begon te creëren. Zelfs de beste grafische verwerkingseenheid (GPU), die wordt gebruikt om de huidige AI-systemen aan te sturen, kan de knelpunten op het gebied van geheugen en computerenergie waarmee de industrie wordt geconfronteerd, niet verzachten. “Hoewel GPU’s vandaag de dag de beste beschikbare tool zijn,” zei hij, “concludeerden we dat er een nieuw type chip nodig zal zijn om het potentieel van AI te ontsluiten.”

Tussen 2012 en 2022 is de hoeveelheid rekenkracht die nodig is voor AI-modellen met ongeveer een miljoen procent gegroeid, aldus Verma, die tevens directeur is van het Keller Center for Innovation in Engineering Education aan de Princeton University. Om aan de vraag te voldoen, zijn de nieuwste chips verpakt in tientallen miljarden transistors, elk gescheiden door de breedte van een klein virus. En toch hebben de chips nog steeds niet voldoende rekenkracht voor moderne behoeften.

De huidige toonaangevende modellen, die grote taalmodellen combineren met computervisie en andere benaderingen van machinaal leren, zijn ontwikkeld met behulp van elk meer dan een biljoen variabelen. De door Nvidia ontworpen GPU's die de AI-boom hebben aangewakkerd, zijn zo waardevol geworden dat grote bedrijven ze naar verluidt via gepantserde auto's vervoeren. De achterstanden bij het kopen of leasen van deze chips strekken zich uit tot het verdwijnende punt.

Toen Nvidia pas het derde bedrijf ooit werd dat een waardering van $2 biljoen bereikte, meldde de Wall Street Journal dat een snel toenemend deel van de stijgende inkomsten van het bedrijf niet voortkwam uit de ontwikkeling van de modellen, die training worden genoemd, maar uit chips die het gebruik van AI-systemen mogelijk maken zodra deze al zijn getraind. Technologen noemen deze implementatiefase gevolgtrekking. En de gevolgtrekking is waar Verma zegt dat zijn onderzoek op de korte tot middellange termijn de meeste impact zal hebben.

“Dit gaat allemaal over het decentraliseren van AI, het vrijgeven ervan vanuit het datacenter”, zei hij. “Het moet uit het datacenter verhuizen naar plekken waar wij en de processen die voor ons belangrijk zijn de meeste toegang hebben tot computers, en dat zijn telefoons, laptops, fabrieken en dat soort dingen.”

Om chips te maken die moderne AI-workloads aankunnen in compacte of energiebeperkte omgevingen, moesten de onderzoekers de fysica van computergebruik volledig opnieuw vormgeven, terwijl ze hardware moesten ontwerpen en verpakken die met bestaande fabricagetechnieken kon worden vervaardigd en die goed zou werken met bestaande computertechnologieën, zoals een centrale verwerkingseenheid.

“AI-modellen zijn in omvang geëxplodeerd”, zei Verma, “en dat betekent twee dingen.” AI-chips moeten veel efficiënter worden in het uitvoeren van wiskunde en veel efficiënter in het beheren en verplaatsen van gegevens.

Hun aanpak bestaat uit drie belangrijke onderdelen.

De kernarchitectuur van vrijwel elke digitale computer heeft een bedrieglijk eenvoudig patroon gevolgd, dat voor het eerst werd ontwikkeld in de jaren veertig:gegevens op de ene plaats opslaan, berekeningen op een andere plaats uitvoeren. Dat betekent het pendelen van informatie tussen geheugencellen en de processor. De afgelopen tien jaar heeft Verma baanbrekend onderzoek verricht naar een vernieuwde aanpak waarbij de berekeningen rechtstreeks in geheugencellen worden uitgevoerd, genaamd in-memory computing. Dat is deel één. De belofte is dat in-memory computing de tijd en energie zal verminderen die het kost om grote hoeveelheden gegevens te verplaatsen en te verwerken.

Maar tot nu toe zijn de digitale benaderingen van in-memory computing zeer beperkt geweest. Verma en zijn team kozen voor een alternatieve aanpak:analoge berekeningen. Dat is deel twee.

“In het speciale geval van in-memory computing moet je niet alleen efficiënt rekenen”, zegt Verma, “je moet het ook doen met een zeer hoge dichtheid, omdat het nu in deze zeer kleine geheugencellen moet passen.” In plaats van informatie te coderen in een reeks nullen en enen, en die informatie te verwerken met behulp van traditionele logische circuits, maken analoge computers gebruik van de rijkere fysica van de apparaten. De kromming van een tandwiel. Het vermogen van een draad om elektrische lading vast te houden.

Digitale signalen begonnen in de jaren veertig de analoge signalen te vervangen, voornamelijk omdat binaire code beter schaalde met de exponentiële groei van computers. Maar digitale signalen maken geen diepgaande analyse van de fysica van apparaten, en als gevolg daarvan kunnen ze meer gegevensopslag en -beheer vereisen. Op die manier zijn ze minder efficiënt. Analog haalt zijn efficiëntie uit het verwerken van fijnere signalen met behulp van de intrinsieke fysica van de apparaten. Maar dat kan gepaard gaan met een compromis qua nauwkeurigheid.

“De sleutel ligt in het vinden van de juiste fysica voor de taak in een apparaat dat buitengewoon goed kan worden bestuurd en op grote schaal kan worden vervaardigd”, aldus Verma.

Zijn team vond een manier om zeer nauwkeurige berekeningen uit te voeren met behulp van het analoge signaal dat wordt gegenereerd door condensatoren die speciaal zijn ontworpen om met uiterste precisie aan en uit te schakelen. Dat is deel drie. In tegenstelling tot halfgeleiderapparaten zoals transistors, is de elektrische energie die door condensatoren beweegt niet afhankelijk van variabele omstandigheden zoals temperatuur en elektronenmobiliteit in een materiaal. "Ze zijn alleen afhankelijk van de geometrie", zei Verma. “Ze zijn afhankelijk van de ruimte tussen de ene metaaldraad en de andere metaaldraad.” En geometrie is iets dat de meest geavanceerde productietechnieken voor halfgeleiders van vandaag de dag buitengewoon goed kunnen beheersen.

Bron