Revolutionaire AI-chip doorbreekt transistorlimieten, levert massive rekenkracht

Electronics & Sensors INSIDER

Princeton-onderzoekers hebben de fysica van computing volledig opnieuw bedacht om een chip te bouwen voor moderne AI-workloads. En met nieuwe Amerikaanse overheidssteun zullen ze zien hoe snel, compact en energie-efficiënt deze chip kan worden. Een vroeg prototype is hierboven afgebeeld. (Afbeelding: Hongyang Jia/Princeton University)

Het grootste onderzoekorganisatie van het Ministerie van Defensie heeft een partnerschaft aangegaan met een door Princeton University geleide inspanning om geavanceerde microchips voor kunstmatige intelligentie te ontwikkelen.

De nieuwe hardware herdenkt chips voor moderne workloads die krachtige AI-systemen kunnen draaien met veel minder energie dan de meest geavanceerde semiconductors van vandaag, volgens Naveen Verma, professor elektrische en computer engineering. Verma, die het project zal leiden, zei dat de vooruitgang doorbreekt door sleutelbarrières die chips voor AI hebben gehinderd, inclusief grootte, efficiëntie en schaalbaarheid.

Chips die minder energie vereisen, kunnen ingezet worden om AI te draaien in meer dynamische omgevingen, van laptops en telefoons tot ziekenhuizen en snelwegen tot lage-aardse baan en verder. De soort chips die de meest geavanceerde modellen van vandaag aandrijven, zijn te groot en inefficiënt om op kleine apparaten te draaien, dus ze zijn primair beperkt tot server-racks en grote datacenters.

Nu heeft de Defense Advanced Research Projects Agency (DARPA) aangekondigd dat het Verma's werk zal ondersteunen, gebaseerd op een suite van sleuteluitvindingen uit zijn lab, met een subsidie van $18,6 miljoen. De DARPA-financiering zal een exploratie drijven in hoe snel, compact en energie-efficiënt de nieuwe chip kan worden.

"Er is een redelijk belangrijke beperking met de beste AI alleen in het datacenter," zei Verma. "U ontgrendelt het daarvandaan en de manieren waarop we waarde uit AI kunnen halen, exploderen."

De aankondiging kwam als onderdeel van een bredere inspanning door DARPA om "revolutionaire vooruitgang in wetenschap, apparaten en systemen" te financieren voor de volgende generatie AI-computing. Het programma, OPTIMA genoemd, omvat projecten over meerdere universiteiten en bedrijven. De programma's oproep voor voorstellen schatte totale financiering op $78 miljoen, hoewel DARPA de volledige lijst met instellingen of het totale bedrag aan financiering dat het programma tot nu toe heeft toegewezen, niet heeft onthuld.

In het door Princeton geleide project zullen onderzoekers samenwerken met Verma's startup, EnCharge AI. Gevestigd in Santa Clara, CA, commercialiseert EnCharge AI technologieën gebaseerd ontdekkingen uit Verma's lab, inclusief diverse sleutelpapers die hij co-schreef met electrical engineering graduate studenten teruggaand tot 2016.

Verma co-fondeerde EnCharge AI in 2022 met Kailash Gopalakrishnan, een voormalig IBM Fellow, en Echere Iroaga, een leider in semiconductor systeemontwerp.

Gopalakrishnan zei dat innovatie binnen bestaande computing-architecturen, alsook verbeteringen in siliciumtechnologie, precies op het moment begon te vertragen wanneer AI massive nieuwe eisen voor rekenkracht en efficiëntie creëerde. Zelfs de beste graphics processing unit (GPU), gebruikt om de AI-systemen van vandaag te draaien, kan de knelpunten in geheugen en rekenenergie die de industrie confronteert, niet mitigeren. "Terwijl GPU's het beste beschikbare hulpmiddel zijn vandaag," zei hij, "concludeerden we dat een nieuw type chip nodig zal zijn om het potentieel van AI te ontgrendelen."

Tussen 2012 en 2022 groeide de hoeveelheid rekenkracht die vereist werd door AI-modellen met ongeveer één miljoen procent, volgens Verma, die ook directeur is van de Keller Center for Innovation in Engineering Education aan Princeton University. Om aan de vraag te voldoen, pakken de nieuwste chips tientallen miljarden transistors, elk gescheiden door de breedte van een klein virus. En toch zijn de chips nog niet dicht genoeg in hun rekenkracht voor moderne behoeften.

De leidende modellen van vandaag, die grote taalmodellen combineren met computer vision en andere benaderingen van machine learning, zijn ontwikkeld met meer dan een triljoen variabelen elk. De door Nvidia ontworpen GPU's die de AI-boom hebben aangebrand, zijn zo waardevol geworden dat grote bedrijven ze volgens berichten via gepantserde auto's vervoeren. De wachtlijsten om deze chips te kopen of te huren strekken tot het verdwijnpunt.

Toen Nvidia slechts het derde bedrijf ooit werd om een $2 triljoen waardering te bereiken, rapporteerde de Wall Street Journal dat een snel toenemend aandeel van het stijgende inkomen van het bedrijf niet kwam door de ontwikkeling van de modellen, training genoemd, maar in chips die het gebruik van AI-systemen mogelijk maken zodra ze al getraind zijn. Technologen verwijzen naar deze implementatiefase als inferentie. En inferentie is waar Verma zegt dat zijn onderzoek de meeste impact zal hebben in de nabije tot mittellange termijn.

"Dit gaat allemaal over het gedecentraliseren van AI, het ontgrendelen ervan uit het datacenter," zei hij. "Het moet uit het datacenter naar plaatsen waar wij en de processen die voor ons belangrijk zijn, het meest toegang hebben tot computing, en dat zijn telefoons, laptops, fabrieken, die soort dingen."

Om chips te creëren die moderne AI-workloads in compacte of energie-beperkte omgevingen kunnen hanteren, moesten de onderzoekers de fysica van computing volledig opnieuw bedenken terwijl ze hardware ontwierpen en verpakte die geproduceerd kon worden met bestaande fabricagetechnieken en die goed zou werken met bestaande computing-technologieën, zoals een centrale verwerkingseenheid.

"AI-modellen zijn geëxplodeerd in hun grootte," zei Verma, "en dat betekent twee dingen." AI-chips moeten veel efficiënter worden in wiskunde doen en veel efficiënter in data beheren en verplaatsen.

Hun benadering heeft drie sleutelonderdelen.

De kernarchitectuur van virtual elke digitale computer heeft een schijnbaar simpel patroon gevolgd, eerst ontwikkeld in de jaren 1940: data op één plek opslaan, berekening op een andere plek doen. Dat betekent informatie shuttelen tussen geheugencellen en de processor. De afgelopen decennium heeft Verma gepioneerd in onderzoek naar een bijgewerkte benadering waar de berekening direct in geheugencellen wordt gedaan, in-memory computing genoemd. Dat is deel één. De belofte is dat in-memory computing de tijd en energie zal verminderen die het kost om grote hoeveelheden data te verplaatsen en verwerken.

Maar tot nu toe zijn digitale benaderingen van in-memory computing sterk beperkt. Verma en zijn team keerden zich toe naar een alternatieve benadering: analoge berekening. Dat is deel twee.

"In het speciale geval van in-memory computing, heb je niet alleen efficiënt hoeven te berekenen," zei Verma, "je moet het ook met zeer hoge dichtheid doen want nu moet het in deze heel kleine geheugencellen passen." In plaats van informatie te coderen in een reeks 0'en en 1'en, en die informatie te verwerken met traditionele logische circuits, benutten analoge computers de rijker fysica van de apparaten. De kromming van een tandwiel. Het vermogen van een draad om elektrische lading vast te houden.

Ditsignalen begonnen analoge signalen in de jaren 1940 te vervangen voornamelijk omdat binaire code beter schaalde met de exponentiële groei van computing. Maar digitale signalen graven niet diep in de fysica van apparaten, en als gevolg kunnen ze meer dataopslag en -beheer vereisen. Ze zijn minder efficiënt op die manier. Analog krijgt zijn efficiëntie door fijner signalen te verwerken met de intrinsieke fysica van de apparaten. Maar dat kan komen met een afweging in precisie.

"De sleutel ligt in het vinden van de juiste fysica voor de job in een apparaat dat uiterst goed gecontroleerd kan worden en op schaal geproduceerd," zei Verma.

Zijn team vond een manier om uiterst nauwkeurige berekening te doen met het analoge signaal gegenereerd door condensators specifiek ontworpen om met exacte precisie in- en uit te schakelen. Dat is deel drie. In tegenstelling tot semiconductorapparaten zoals transistors, hangt de elektrische energie die door condensators beweegt niet af van variabele condities zoals temperatuur en elektronenmobiliteit in een materiaal. "Ze hangen alleen af van geometrie," zei Verma. "Ze hangen af van de ruimte tussen de ene metalen draad en de andere metalen draad." En geometrie is één ding dat de meest geavanceerde semiconductorfabricagetechnieken van vandaag uiterst goed kunnen controleren.

Bron