Pleidooi voor neuromorfe chips voor AI-computing

Toen Apple CEO Tim Cook de iPhone X introduceerde, beweerde hij dat het "de weg zou banen voor technologie voor het volgende decennium". Hoewel het nog te vroeg is om te zeggen, was de neurale motor die werd gebruikt voor gezichtsherkenning de eerste in zijn soort. Tegenwoordig zijn diepe neurale netwerken een realiteit en lijkt neuromorfisch het enige praktische pad te zijn om voortdurende vooruitgang te boeken op het gebied van AI.

Geconfronteerd met beperkingen op het gebied van gegevensbandbreedte en steeds hogere computervereisten, moeten detectie en computing zichzelf opnieuw uitvinden door neurobiologische architecturen na te bootsen, aldus een recent gepubliceerd rapport van Yole Développement (Lyon, Frankrijk).

In een interview met EE Times Pierre Cambou, hoofdanalist voor beeldvorming bij Yole, legde uit dat neuromorfische waarneming en computergebruik de meeste huidige problemen van AI kunnen oplossen en tegelijkertijd nieuwe toepassingsperspectieven kunnen openen in de komende decennia. "Neuromorphic engineering is de volgende stap in de richting van biomimicry en stimuleert de vooruitgang naar AI."

Waarom nu?

Zeventig jaar zijn verstreken sinds wiskundige Alan Turing de vraag stelde "Kunnen machines denken?", en dertig jaar sinds Carver Mead, een elektrotechnisch ingenieur aan het California Institute of Technology, het concept van neuromorfische engineering introduceerde. In het volgende decennium ondervonden onderzoekers echter weinig praktisch succes bij het bouwen van machines met hersenachtig vermogen om te leren en zich aan te passen. De hoop herleefde toen Georgia Tech in 2006 zijn veldprogrammeerbare neurale array presenteerde en MIT-onderzoekers een computerchip onthulden die nabootst hoe de neuronen van de hersenen zich aanpassen als reactie op nieuwe informatie in 2011.

Het keerpunt was de publicatie van het artikel "ImageNet Classification with Deep Convolutional Neural Networks" door een groep wetenschappers van de Universiteit van Toronto. De AlexNet-architectuur, bestaande uit een 8-laags convolutief neuraal netwerk, maakte het mogelijk om de 1,2 miljoen afbeeldingen met hoge resolutie in de ImageNet-wedstrijd te classificeren in een van de 1000 categorieën (bijvoorbeeld katten, honden). "Pas met de ontwikkeling van AlexNet bleek de deep learning-aanpak krachtiger te zijn en begon het momentum te krijgen in de AI-ruimte."

De meeste huidige implementatietechnieken voor deep learning zijn gebaseerd op de wet van Moore en "het werkt prima". Maar naarmate deep learning evolueert, zal er steeds meer vraag zijn naar chips die hoge rekentaken kunnen uitvoeren. De wet van Moore is de laatste tijd aan het vertragen en heeft velen in de branche, waaronder Yole Développement, ertoe gebracht te geloven dat het de voortgang van diepgaand leren niet zal kunnen ondersteunen. Cambou is een van degenen die geloven dat deep learning "zal mislukken" als het wordt geïmplementeerd zoals het nu is.

Om zijn standpunt uit te leggen, noemde Cambou drie belangrijke hindernissen. De eerste is de economie van de wet van Moore. "Er zijn maar heel weinig spelers die kunnen spelen en we zullen eindigen met een of twee fabs in de wereld die verder gaan dan 7nm. We denken dat het schadelijk is voor innovatie als alleen Google iets kan doen.”

Ten tweede neemt de gegevensbelasting sneller toe dan de wet van Moore, en de gegevensoverloop maakt de huidige geheugentechnologieën een beperkende factor. En ten derde heeft de exponentiële toename van de benodigde rekenkracht voor elke toepassing een warmtemuur gecreëerd. “Met 7nm-chips hebben we ruwweg een efficiëntie van één teraflop per watt. Om een ​​Waymo van stroom te voorzien, hebben we waarschijnlijk één kilowatt nodig, wat betekent dat we duizend teraflops nodig hebben", zegt Cambou. Het huidige technologieparadigma kan de belofte niet waarmaken en de oplossing zou kunnen zijn om deep learning toe te passen op neuromorfe hardware en te profiteren van de veel betere energie-efficiëntie.

Als we de huidige situatie breder bekijken, zei Cambou dat het tijd is voor een disruptieve aanpak die gebruikmaakt van de voordelen van opkomende geheugentechnologieën en de databandbreedte en energie-efficiëntie verbetert. Dat is de neuromorfische benadering. "Het AI-verhaal zal doorgaan en we geloven dat de volgende stap in de neuromorfe richting is."

In de afgelopen jaren zijn er veel inspanningen geleverd om neuromorfe hardware te bouwen die cognitieve vaardigheden overbrengt door neuronen in silicium te implementeren. Voor Cambou is dit de juiste weg omdat "de neuromorfische benadering alle juiste vakjes aanvinkt" en veel grotere efficiëntie mogelijk maakt. “Hardware heeft neurale netwerken en deep learning mogelijk gemaakt en we denken dat het de volgende stap in neuromorfische AI ​​mogelijk zal maken. Dan kunnen we weer dromen over AI en dromen over op AI gebaseerde toepassingen.”

Neuronen en synapsen

Neuromorfe hardware verlaat het onderzoekslaboratorium met een convergentie van interesses en doelen uit de waarnemings-, computer- en geheugenvelden. Er worden joint ventures gevormd, strategische allianties worden ondertekend en decennialange onderzoeksinitiatieven zoals het Human Brain Project van de Europese Unie worden gelanceerd.

Hoewel er voor 2024 geen significante business wordt verwacht, kan de omvang van de kans daarna nog tientallen jaren aanzienlijk zijn. Als alle technische vragen in de komende jaren zijn opgelost, zou de markt voor neuromorfische computers volgens Yole kunnen stijgen van $ 69 miljoen in 2024 tot $ 5 miljard in 2029 en $ 21,3 miljard in 2034. Het ecosysteem is groot en divers met prominente spelers zoals Samsung, Intel en SK Hynix, evenals startups zoals Brainchip, Nepes, Vicarious en General Vision.

Neuromorfe chips zijn niet langer een theorie, maar een feit. In 2017 introduceerde Intel Loihi, de eerste neuromorfische onderzoekschip bestaande uit 130.000 neuronen. In juli bereikte de Santa Clara-groep een nieuwe mijlpaal met zijn 8 miljoen neuron-neuromorfe systeem, codenaam Pohoiki Beach, bestaande uit 64 Loihi-onderzoekschips. Evenzo heeft IBM's TrueNorth-hersengeïnspireerde computerchip 1 miljoen neuronen en 256 miljoen synapsen en Brainchip's Akida neuromorfische systeem-op-chip heeft 1,2 miljoen neuronen en 10 miljard synapsen.

"Er is een race gaande om hardware te leveren die de lat hoger zou leggen op het gebied van neuronen en synapsen. Synapsen zijn waarschijnlijk belangrijker dan neuronen', zegt Cambou. “Bij Yole zien we twee stappen voor ons. Ten eerste de applicaties die zullen worden gebouwd op de huidige aanpak, deels asynchroon en deels van Von Neumann.” Goede voorbeelden zijn Akida van Brainchip en Loihi van Intel. "Dan, waarschijnlijk binnen de komende 10 tot 15 jaar, zullen we er RRAM [resistive random-access memory] bovenop krijgen. Dat zal het mogelijk maken om meer synapsen te creëren.”

Neuromorfe computerinspanningen komen van geheugenspelers zoals Micron, Western Digital en SK Hynix, maar velen zijn op zoek naar meer kortetermijninkomsten en worden uiteindelijk misschien geen sterke spelers in het neuromorfische onderzoek. "We moeten kijken naar kleine spelers die neuromorfie als hun kerntechnologie hebben gekozen," zei Cambou.

Verstorende geheugenstartups zoals Weebit, Robosensing, Knowm, Memry en Symetrix combineren niet-vluchtige geheugentechnologie met ontwerpen van neuromorfe computerchips. Ze zijn ontstaan ​​naast pure-play memory-startups zoals Crossbar en Adesto, maar hun memristor-aanpak (geheugenweerstand) wordt vaak gezien als meer op de lange termijn dan inspanningen van pureplay-computerbedrijven. "Veel geheugenspelers werken aan RRAM- en phase-change-geheugens om de synaps na te bootsen", zegt Cambou. Ook "maakt het MRAM [magnetoresistief random access memory] deel uit van de opkomende herinneringen die de neuromorfische benadering zullen helpen slagen."

Tegoed:Yole

Naast computergebruik is er een neuromorfisch sensing-ecosysteem ontstaan, met zijn wortels voortgekomen uit de uitvinding van een Silicon Neuron door Misha Mahowald aan het Institute of Neuroinformatics en ETH Zürich in 1991. De huidige concurrentie is laag, met minder dan tien spelers wereldwijd. Onder hen Prophesee, Samsung, Insightness, Inivation en Celepixel leveren kant-en-klare producten zoals event-based beeldsensoren en camera's. De op frames gebaseerde benadering, zoals gebruikt in de cinematografie, is niet in staat om beweging vast te leggen.

"Bioscoop bedriegt ons brein, maar we kunnen een computer niet bedriegen", zegt Cambou. "De enige juiste manier om dit te doen, is door dezelfde informatie te geven die de ogen geven. Op gebeurtenissen gebaseerde camera's zijn erg sterk voor het begrijpen van bewegingen en patronen in realtime." Meer in het algemeen hebben auditieve, beeldvormende en gedragssensoren "een impact op elk niveau van wat we algemene intelligentie noemen."

Op het niveau van verpakte halfgeleiders zei Yole dat het verwacht dat neuromorfe detectie zal groeien van $ 43 miljoen in 2024 tot $ 2 miljard in 2029 en $ 4,7 miljard in 2034.

Automobiel, maar niet alleen

Automotive is waarschijnlijk de meest voor de hand liggende markt, zei Cambou. De initiële markten zijn echter industrieel en mobiel, voornamelijk voor robotica en realtime perceptie.

Op de korte termijn zullen neuromorfische detectie en computergebruik worden gebruikt voor continue bewaking van industriële machines. Het zal ook een grote rol spelen in logistiek, voedselautomatisering en landbouw. "Terwijl deep learning enorme datasets nodig heeft, leert neuromorphic extreem snel van slechts een paar afbeeldingen of een paar woorden en begrijpt het tijd", zegt Cambou.

Binnen het volgende decennium zou de beschikbaarheid van hybride in-memory computerchips de automarkt moeten ontsluiten, in afwachting van een massamarkt autonome rijtechnologie. "We leven in een wereld van interacties, en neuromorf zal zeer sterk zijn in het geven van computers inzicht in ongestructureerde omgevingen."