Neuromorphic computing dev kits debuut

BrainChip, de neuromorphic computing IP-leverancier, lanceerde tijdens de recente Linley Fall Processor Conference twee ontwikkelingskits voor zijn Akida neuromorfische processor. Beide kits bevatten de Akida neuromorphic SoC van het bedrijf:een x86 Shuttle pc-ontwikkelingskit en een Arm-gebaseerde Raspberry Pi-kit. BrainChip biedt de tools aan ontwikkelaars die werken met zijn krachtige neurale netwerkprocessor in de hoop zijn IP te licentiëren. Akida-silicium is ook beschikbaar.

De neuromorfische technologieën van BrainChip maken ultra-low power AI mogelijk voor het analyseren van gegevens in edge-systemen waar extreem energiezuinige, realtime verwerking van sensorgegevens wordt gezocht. Het bedrijf heeft een neurale verwerkingseenheid (NPU) ontwikkeld die is ontworpen om spiking neurale netwerken (SNN's) te verwerken, een op de hersenen geïnspireerd neuraal netwerk dat verschilt van de reguliere deep-learningbenaderingen. Net als de hersenen vertrouwt een SNN op "spikes" die informatie ruimtelijk en tijdelijk overbrengen. Dat wil zeggen, de hersenen herkennen zowel sequenties als de timing van pieken. Aangeduid als het 'gebeurtenisdomein', zijn pieken meestal het gevolg van veranderingen in sensorgegevens (bijvoorbeeld veranderingen in pixelkleuren in een op gebeurtenissen gebaseerde camera).

Samen met SNN's kunnen de NPU's van BrainChip ook convolutionele neurale netwerken (CNN's) verwerken, zoals die doorgaans worden gebruikt in computervisie en algoritmen voor het spotten van trefwoorden, met een lager vermogen dan andere edge-implementaties. Dit wordt gedaan door CNN's naar SNN's te converteren en inferentie in het gebeurtenisdomein uit te voeren. De aanpak maakt ook on-chip learning aan de rand mogelijk, een kwaliteit van SNN's die zou worden uitgebreid tot geconverteerde CNN's.

De ontwikkelborden van BrainChip zijn beschikbaar voor x86 shuttle-pc of Raspberry Pi. (Bron:BrainChip)

Akida "is klaar voor de neuromorfische technologie van morgen, maar het lost het huidige probleem op om neurale netwerkinferentie mogelijk te maken op edge- en IoT-apparaten", vertelde Anil Mankar, medeoprichter en chief development officer van BrainChip, aan EE Times .

Conversie van CNN naar het gebeurtenisdomein wordt uitgevoerd door BrainChip's softwaretoolflow, MetaTF. Gegevens kunnen worden omgezet in spikes en getrainde modellen kunnen worden omgezet om op BrainChip's NPU te draaien.

"Onze runtime-software neemt de angst weg van 'Wat is een SNN?' en 'Wat is het evenementendomein?'," zei Mankar. "We doen er alles aan om dat te verbergen.

"Mensen die bekend zijn met de TensorFlow- of Keras-API ... kunnen de applicatie die ze gebruiken op [andere hardware], hetzelfde netwerk, dezelfde dataset, met onze kwantisatiebewuste training gebruiken en deze op onze hardware uitvoeren en het vermogen zelf meten en kijk wat de nauwkeurigheid zal zijn.”

CNN's zijn bijzonder goed in het extraheren van functies uit grote datasets, legde Mankar uit, en conversie naar het gebeurtenisdomein behoudt dat voordeel. De convolutiebewerking wordt voor de meeste lagen bereikt in het gebeurtenisdomein, maar de laatste laag wordt vervangen. Door het te vervangen door een laag die inkomende pieken herkent, krijgt de anders gewone CNN de mogelijkheid om te leren via van spike-timing afhankelijke plasticiteit aan de rand, waardoor hertraining in de cloud wordt geëlimineerd.

Terwijl native SNN's (die helemaal opnieuw zijn geschreven voor het gebeurtenisdomein) precisie van één bit kunnen gebruiken, vereisen geconverteerde CNN's 1-, 2- of 4-bits spikes. De kwantiseringstool van BrainChip helpt ontwerpers om laag voor laag te bepalen hoe agressief ze moeten kwantiseren. Brainchip heeft MobileNet V1 gekwantiseerd voor classificatie van 10 objecten met een voorspellingsnauwkeurigheid van 93,1 procent na kwantisering tot 4 bits.

Een bijproduct van het converteren naar het gebeurtenisdomein is een aanzienlijke energiebesparing vanwege de schaarste. Activeringskaartwaarden die niet nul zijn, worden weergegeven als 1- tot 4-bits gebeurtenissen, en de NPU voert alleen berekeningen uit op gebeurtenissen in plaats van op de volledige activeringskaart.

Ontwikkelaars "kunnen naar de gewichten kijken en gewichten zien die niet nul zijn, en proberen te voorkomen dat ze vermenigvuldigen met gewichten van nul", zei Mankar. "Maar dat betekent dat je moet weten waar de nullen zijn, en er is berekening vereist" voor die bewerkingen.

Voor een typische CNN zou de activeringskaart met elk videoframe veranderen, aangezien ReLU-functies rond nul zijn gecentreerd - meestal is de helft van de activeringen nul. Door geen pieken te maken van deze nullen, wordt de berekening in het gebeurtenisdomein beperkt tot activeringen die niet nul zijn. Het converteren van CNN's om te draaien in het gebeurtenisdomein kan gebruik maken van schaarste, waardoor het aantal MAC-bewerkingen dat nodig is voor inferentie, en dus het energieverbruik, snel wordt verminderd.

Tot de functies die kunnen worden geconverteerd naar het gebeurtenisdomein behoren convolutie, puntsgewijze convolutie, dieptegewijze convolutie, maximale pooling en globale gemiddelde pooling.

MAC-bewerkingen vereist voor objectclassificatie-inferentie (donkerblauw is CNN in het niet-gebeurtenisdomein, lichtblauw is gebeurtenisdomein/Akida, groen is gebeurtenisdomein met verdere activiteitsregularisatie). (Bron:BrainChip)

In één voorbeeld verbruikte een model voor het spotten van trefwoorden op het Akida-ontwikkelbord na 4-bits kwantisering slechts 37 µJ per gevolgtrekking (of 27.336 gevolgtrekkingen per seconde per Watt). De voorspellingsnauwkeurigheid was 91,3 procent en de chip werd vertraagd tot 5 MHz om de waargenomen prestaties te bereiken. (zie onderstaande grafiek).

Sensor agnostisch

BrainChip's NPU IP en de Akida-chip zijn niet afhankelijk van het netwerktype en kunnen naast de meeste sensoren worden gebruikt. Dezelfde hardware kan beeld- en audiogegevens verwerken met behulp van CNN-conversie, of BrainChip's SNN's voor reuk-, smaak- en vibratie-/tactiele waarneming.

NPU's zijn geclusterd in knooppunten van vier, die communiceren via een mesh-netwerk. Elke NPU omvat verwerking en 100 kB lokaal SRAM voor parameters, activeringen en interne gebeurtenisbuffers. CNN- of SNN-netwerklagen worden toegewezen aan een combinatie van meerdere NPU's, waarbij gebeurtenissen tussen lagen worden doorgegeven zonder CPU-ondersteuning. (Hoewel andere netwerken dan CNN's kunnen worden geconverteerd naar het gebeurtenisdomein, zei Mankar dat ze een CPU nodig hebben om op Akida te draaien.)

BrainChip's NPU IP kan worden geconfigureerd voor maximaal 20 nodes, en grotere netwerken kunnen in meerdere passen worden uitgevoerd op ontwerpen met minder nodes.

Knooppunten van vier BrainChip NPU's zijn verbonden door een mesh-netwerk. (Bron:BrainChip)

Een BrainChip-video toonde een Akida-chip die werd ingezet in een voertuig in de cabine, waarbij één chip werd gebruikt om een ​​bestuurder te detecteren, het gezicht van de bestuurder te herkennen en zijn stem tegelijkertijd te identificeren. Trefwoordspotting vereiste 600 µW, gezichtsherkenning had 22 mW nodig en de visuele wake-word-inferentie die werd gebruikt om de bestuurder te detecteren was 6-8 mW.

Een laag stroomverbruik voor dergelijke autoplatforms biedt flexibiliteit aan autofabrikanten op andere gebieden, zei Rob Telson, BrainChips' vice-president voor wereldwijde verkoop, eraan toevoegend dat de Akida-chip is gebaseerd op de 28-nm procestechnologie van Taiwan Semiconductor Manufacturing Co. IP-klanten kunnen naar fijnere procesknooppunten gaan om meer stroom te besparen, voegde Telson eraan toe.

Ondertussen kunnen gezichtsherkenningssystemen nieuwe gezichten op de chip leren, zonder over te schakelen naar de cloud. Een slimme deurbel kan bijvoorbeeld het gezicht van een persoon lokaal identificeren via eenmalig leren. Op voorwaarde dat de laatste laag van de netwerken een voldoende aantal neuronen krijgt toegewezen, kan het totale aantal herkende gezichten worden verhoogd van 10 naar meer dan 50, merkte Mankar op.

Klanten met vroege toegang

BrainChip heeft 55 medewerkers verspreid over het hoofdkantoor in Aliso Viejo, Californië, en ontwerpbureaus in Toulouse, Frankrijk, Hyderabad, India en Perth, Australië. Het bedrijf heeft 14 patenten en wordt openbaar verhandeld op de Australische beurs en de Amerikaanse over-the-counter beurs.

Ongeveer 15 klanten met vroege toegang, waaronder NASA, zei Telson. Andere zijn bedrijven in de automobielindustrie, het leger, de lucht- en ruimtevaart, medische (olfactorische Covid-19-detectie) en consumentenelektronica. BrainChip richt zich op consumententoepassingen zoals smart health, smart city, smart home en smart transport.

Een andere vroege klant is microcontrollerspecialist Renesas, die volgens Telson een licentie heeft verleend voor 2-node Akida NPU IP voor integratie met een toekomstige MCU die gericht is op sensorgegevensanalyse in IoT-implementaties.

Akida IP en silicium zijn nu beschikbaar.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times.

Verwante inhoud:

• Startup verpakt 1000 RISC-V-cores in AI-versnellerchip
• AI-chip richt zich op low-power edge-apparaten
• AI-enabled SoC's verwerken meerdere videostreams
• Beveiliging inbouwen in een AI SoC met CPU-functies met extensies
• Microcontroller-architecturen evolueren voor AI

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.