Intel biedt Loihi 2 neuromorfische chip en softwareframework

Intel heeft zijn tweede generatie neuromorfische computerchip, Loihi 2, onthuld, de eerste chip die is gebouwd op zijn Intel 4-procestechnologie. Loihi 2 is ontworpen voor onderzoek naar geavanceerde neuromorfe neurale netwerken en brengt een reeks verbeteringen met zich mee. Ze bevatten een nieuwe instructieset voor neuronen die meer programmeerbaarheid biedt, waardoor spikes gehele waarden kunnen hebben die groter zijn dan 1 en 0, en de mogelijkheid om te schalen naar driedimensionale mazen van chips voor grotere systemen.

De chipmaker onthulde ook Lava, een open-source softwareraamwerk voor het ontwikkelen van neuro-geïnspireerde toepassingen. Intel hoopt neuromorfe onderzoekers te betrekken bij de ontwikkeling van Lava, waardoor onderzoeksteams, wanneer ze aan de gang zijn, op elkaars werk kunnen voortbouwen.

Loihi is Intel's versie van hoe neuromorfe hardware, ontworpen voor hersengeïnspireerde spiking neurale netwerken (SNN's), eruit zou moeten zien. SNN's worden gebruikt in event-based computing, waarbij de timing van invoerpieken de informatie codeert. Over het algemeen hebben pieken die eerder aankomen meer rekenkracht dan pieken die later aankomen.

Een van de belangrijkste verschillen tussen neuromorfe hardware en standaard-CPU's is de fijnmazige distributie van geheugen, wat betekent dat Loihi's geheugen is ingebed in afzonderlijke kernen. Omdat de pieken van Loihi afhankelijk zijn van timing, is de architectuur asynchroon.

"In neuromorphic computing komt de berekening tot stand door de interactie tussen deze dynamische elementen", legt Mike Davies, directeur van Intel's Neuromorphic Computing Lab, uit. "In dit geval zijn het neuronen die deze dynamische eigenschap hebben om zich online aan te passen aan de invoer die het ontvangt, en de programmeur kent misschien niet het precieze traject van stappen die de chip zal doorlopen om tot een antwoord te komen.

“Het gaat door een dynamisch proces van zelforganisatie van zijn toestanden en het vestigt zich in een nieuwe toestand. Dat laatste vaste punt zoals we het noemen, of evenwichtstoestand, is wat het antwoord codeert op het probleem dat je wilt oplossen, "voegde Davies eraan toe. "Dus het is heel fundamenteel anders dan hoe we zelfs denken over computergebruik in andere architecturen."

Loihi-chips van de eerste generatie zijn tot nu toe aangetoond in een verscheidenheid aan onderzoekstoepassingen, waaronder adaptieve robotarmbesturing, waarbij de beweging zich aanpast aan veranderingen in het systeem, waardoor wrijving en slijtage aan de arm worden verminderd. Loihi kan zijn besturingsalgoritme aanpassen om fouten of onvoorspelbaar gedrag te compenseren, waardoor robots met de gewenste nauwkeurigheid kunnen werken. Loihi is ook gebruikt in een systeem dat verschillende geuren herkent. In dit scenario kan het nieuwe geuren veel efficiënter leren en detecteren dan een op deep learning gebaseerd equivalent. Een project met Deutsche Bahn gebruikte Loihi ook voor treinplanning. Het systeem reageerde snel op veranderingen zoals spoorafsluitingen of stilstaande treinen.

Functies van de tweede generatie

Loihi 2 is gebouwd op een pre-productieversie van het Intel 4-proces en heeft tot doel de programmeerbaarheid en prestaties te verbeteren zonder afbreuk te doen aan de energie-efficiëntie. Net als zijn voorganger verbruikt hij doorgaans ongeveer 100 mW (tot 1 W).

Een toename van de resourcedichtheid is een van de belangrijkste veranderingen; terwijl de chip nog steeds 128 kernen bevat, springt het aantal neuronen met een factor acht omhoog.

"Het verkrijgen van een grotere hoeveelheid opslag, neuronen en synapsen in een enkele chip is essentieel voor de commerciële levensvatbaarheid... en ze te commercialiseren op een manier die zinvol is voor klanttoepassingen", zegt Davies.

klik voor afbeelding op volledige grootte

Loihi 2-functies. (Bron:Intel)

Met Loihi 1 werden workloads vaak op niet-optimale manieren op de architectuur geprojecteerd. Het aantal neuronen zou bijvoorbeeld vaak maximaal zijn terwijl er nog vrij geheugen beschikbaar was. De hoeveelheid geheugen in Loihi 2 is in totaal vergelijkbaar, maar is opgedeeld in geheugenbanken die flexibeler zijn. Er is extra compressie toegevoegd aan netwerkparameters om de hoeveelheid geheugen die nodig is voor grotere modellen te minimaliseren. Dit maakt geheugen vrij dat opnieuw kan worden toegewezen aan neuronen.

Het resultaat is dat Loihi 2 grotere problemen aankan met dezelfde hoeveelheid geheugen, wat een ongeveer 15-voudige toename van de neurale netwerkcapaciteit per millimeter oplevert ² van het spaanoppervlak - rekening houdend met het feit dat het matrijsoppervlak in totaal wordt gehalveerd door nieuwe procestechnologie.

Neuron programmeerbaarheid

Programmeerbaarheid is een andere belangrijke architecturale wijziging. Neuronen die voorheen een vaste functie hadden, hoewel configureerbaar, krijgen in Loihi 1 een volledige instructieset in Loihi 2. De instructieset bevat algemene rekenkundige, vergelijkings- en programmabesturingsstroominstructies. Dat niveau van programmeerbaarheid zou het mogelijk maken om verschillende SNN-types efficiënter uit te voeren.

"Dit is een soort microcode waarmee we bijna willekeurige neuronmodellen kunnen programmeren," zei Davies. "Dit dekt de limieten van Loihi [1], en waar we over het algemeen meer toepassingswaarde vinden, zou kunnen worden ontgrendeld met nog complexere en rijkere neuronmodellen, wat niet was wat we aan het begin van Loihi verwachtten. Maar nu kunnen we die volledige omvang van neuronmodellen omvatten die onze partners proberen te onderzoeken, en wat het computationele neurowetenschappelijke domein [is] voorstelt en karakteriseert.”

Voor Loihi 2 is het idee van spikes ook veralgemeend. Loihi 1 gebruikte strikte binaire pieken om te weerspiegelen wat in de biologie wordt gezien, waar pieken geen grootte hebben. Alle informatie wordt weergegeven door piektiming en eerdere pieken zouden een groter rekenkundig effect hebben dan latere pieken. In Loihi 2 dragen spikes een configureerbare integer-payload die beschikbaar is voor het programmeerbare neuronmodel. Hoewel biologische hersenen dit niet doen, zei Davies dat het relatief eenvoudig was voor Intel om aan de siliciumarchitectuur toe te voegen zonder afbreuk te doen aan de prestaties.

"Dit is een geval waarin we afwijken van de strikte biologische trouw, met name omdat we begrijpen wat het belang is, het tijdcoderende aspect ervan," zei hij. "Maar [we realiseerden ons] dat we het beter kunnen doen, en we kunnen dezelfde problemen oplossen met minder middelen als we deze extra omvang hebben die samen met deze piek kan worden verzonden."

Gegeneraliseerde event-based messaging is de sleutel tot Loihi 2's ondersteuning van een diep neuraal netwerk genaamd het sigma-delta neurale netwerk (SDNN), dat veel sneller is dan de timingbenadering die wordt gebruikt op Loihi 1. SDNN's berekenen graduele activeringswaarden op dezelfde manier dat conventionele DNN's doen, maar alleen significante veranderingen communiceren als ze plaatsvinden op een schaarse, gebeurtenisgestuurde manier.

3D-schalen

Loihi 2 wordt gefactureerd als tot 10 keer sneller dan zijn voorganger op circuitniveau. In combinatie met functionele verbeteringen kan het ontwerp tot 10x snellere snelheidswinst opleveren, beweerde Davies. Loihi 2 ondersteunt minimale chipbrede tijdstappen onder 200ns; het kan ook neuromorfe netwerken tot 5000 keer sneller verwerken dan biologische neuronen.

De nieuwe chip beschikt ook over schaalbaarheidspoorten waarmee Intel neurale netwerken naar de derde dimensie kan schalen. Zonder extern geheugen waarop grotere neurale netwerken konden worden uitgevoerd, had Loihi 1 meerdere apparaten nodig (zoals in het 768-Loihi-chipsysteem van Intel, Pohoiki Springs). Planaire meshes van Loihi 1-chips worden 3D-meshs in Loihi 2. Ondertussen is de chip-to-chip-bandbreedte met een factor vier verbeterd, waarbij compressie en nieuwe protocollen een tiende van het redundante piekverkeer tussen chips bieden. Davies zei dat de gecombineerde capaciteitsboost ongeveer 60 keer zo groot is voor de meeste workloads, waardoor knelpunten worden vermeden die worden veroorzaakt door inter-chipverbindingen.

Ook ondersteund wordt het leren met drie factoren, dat populair is in baanbrekend neuromorfisch algoritme-onderzoek. Dezelfde wijziging, die derde factoren toewijst aan specifieke synapsen, kan worden gebruikt om back-propagation, de trainingsmethode die wordt gebruikt bij deep learning, te benaderen. Dat creëert nieuwe manieren van leren via Loihi.

Loihi 2 zal beschikbaar zijn voor onderzoekers als een single-chip board voor het ontwikkelen van edge-applicaties (Oheo Gulch). Het zal ook worden aangeboden als een bord met acht chips, bedoeld om te schalen voor meer veeleisende toepassingen. (Bron:Intel)

Lava

Het Lava-softwareframework rondt de Loihi-verbeteringen af. Het open-sourceproject is beschikbaar voor de neuromorfische onderzoeksgemeenschap.

"Software blijft het veld tegenhouden", zei Davies. “Er is niet veel vooruitgang geboekt, niet in hetzelfde tempo als de hardware in de afgelopen jaren. En er is geen enkel softwareframework ontstaan, zoals we hebben gezien in de deep learning-wereld waar we TensorFlow en PyTorch een enorm momentum en een gebruikersbestand hebben laten verzamelen."

Hoewel Intel een portfolio van applicaties heeft gedemonstreerd voor Loihi, is het delen van code tussen ontwikkelteams beperkt geweest. Dat maakt het moeilijker voor ontwikkelaars om voort te bouwen op elders geboekte vooruitgang.

Gepromoot als een nieuw project, niet als een product, zei Davies dat Lava bedoeld is als een manier om een ​​raamwerk te bouwen dat Loihi-onderzoekers ondersteunt die aan een reeks algoritmen werken. Hoewel Lava gericht is op op gebeurtenissen gebaseerde asynchrone berichtoverdracht, ondersteunt het ook heterogene uitvoering. Dat stelt onderzoekers in staat applicaties te ontwikkelen die in eerste instantie op CPU's draaien. Met toegang tot Loihi-hardware kunnen onderzoekers vervolgens delen van de werklast op de neuromorfische chip in kaart brengen. De hoop is dat deze aanpak de toetredingsdrempel zou helpen verlagen.

"We zien hier een behoefte aan convergentie en een gemeenschappelijke ontwikkeling in de richting van dit grotere doel dat nodig zal zijn voor het commercialiseren van neuromorfische technologie," zei Davies.

Loihi 2 zal worden gebruikt door onderzoekers die geavanceerde neuromorfe algoritmen ontwikkelen. Oheo Gulch, een systeem met één chip voor laboratoriumtests, zal in eerste instantie beschikbaar zijn voor onderzoekers, gevolgd door Kapoho Point, een Loihi 2-versie met acht chips van Kapoho Bay. Kapoho Point bevat een Ethernet-interface die is ontworpen om kaarten te stapelen voor toepassingen zoals robotica die meer rekenkracht vereisen.

Lava kan worden gedownload op GitHub.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Tijden.

Verwante inhoud:

• Pleidooi voor neuromorfische chips voor AI-computing
• Spiking neurale netwerkdoelen Armchips
• Geavanceerde AI-chips om voort te bouwen op opkomende geheugentechnologieën
• Neuromorfe AI-chips voor het debuut van neurale netwerken
• Het benchmarking-raadsel van neuromorfisch computergebruik

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.