Magnetische neuromorfie berekening brengt AI-efficiëntie naar menselijk niveau

• Magneten kunnen kunstmatige intelligentie helpen menselijke efficiëntie te bereiken bij het herkennen van objecten.
• Onderzoekers ontwikkelen nieuwe netwerken die minder energie en geheugen gebruiken voor taken die lijken op hersenberekeningen.

De elektrische dynamica van neuronen lijkt op de schakeldynamica van een nanomagnet. Het schakelgedrag van magnetische tunneljunctie-apparatuur is stochastisch van aard. Omdat dit gedrag de sigmoïdale schakeling van een neuron vertegenwoordigt, kan de magnetische junctie worden gebruikt om synaptische gewichten op te slaan.

Dankzij deze uitzonderlijke eigenschap van magneten hebben onderzoekers van de Purdue University een methode ontwikkeld die AI-aangedreven robots kan helpen menselijke efficiëntie te bereiken bij het herkennen van objecten.

De methode combineert magnetisme met hersenachtige netwerken om machines zoals drones, zelfrijdende auto's en robots te leren beter te generaliseren over verschillende objecten.

Een nieuw algoritme

Spiking Neural Networks (SNNs) bieden een veelbelovende alternatief voor het realiseren van intelligente neuromorfische systemen, die minder computationele bronnen nodig hebben dan conventionele neurale netwerken. Deze netwerken coderen en transmitteren data in de vorm van sparse spikende gebeurtenissen.

In deze studie gebruikten onderzoekers spike-timing-dependent plasticity (STDP) om een nieuw stochastisch trainingsalgoritme te ontwikkelen genaamd Stochastic-STDP. Het is een diep residueel convolutie SNN, genaamd ReStoCNet, samengesteld uit binaire kernels voor geheugenefficiënte neuromorfische computing.

Referentie: Frontiers | doi:10.3389/fnins.2019.00189 | Purdue University

Gebruikmakend van de intrinsieke stochastische eigenschap van magneten, schakelden de onderzoekers de magnetisatiefase stochastisch op basis van het nieuwe algoritme. Vervolgens gebruikten ze getrainde synaptische gewichten tijdens inferentie, die deterministisch gecodeerd waren in de magnetisatiefase van de nanomagnet.

De op STDP gebaseerde probabilistische leerregel combineert Hebbiaanse en anti-Hebbiaanse leerbenaderingen om de binaire kernels van ReStoCNet op een laag-voor-laag ongecontroleerde manier te trainen voor hiërarchische invoerkenmerkextractie.

Credits: Purdue University

Het team gebruikte hoge-energiebarrièremagneten om compacte stochastische primitieven mogelijk te maken en hetzelfde apparaat als stabiel geheugenelement te gebruiken.

Ze valideerden de efficiëntie van ReStoCNet op twee verschillende publiek beschikbare datasets en toonden aan dat residuele verbindingen diepe convolutielagen in staat stellen waardevolle invoerkenmerken op hoog niveau te leren en het verlies te minimaliseren dat optreedt bij SNNs zonder residuele verbindingen.

Hoe is het nuttig?

Het nieuwe netwerk kan zowel neuronen als synapsen vertegenwoordigen terwijl het de hoeveelheid energie en geheugen vermindert die nodig is om taken uit te voeren die lijken op hersenberekeningen.

Deze hersenachtige netwerken kunnen lastige optimalisatieproblemen oplossen, zoals graafkleuring en het probleem van de reizende koopman. De stochastische apparaten in dit werk kunnen functioneren als 'natuurlijke annealer' en helpen algoritmen om uit lokale minima te ontsnappen.

Meer specifiek is ReStoCNet met geheugenefficiënt probabilistisch leren en event-gedreven computing uitstekend geschikt voor het implementeren van neuromorfische hardware gebaseerd op CMOS en stochastische opkomende apparaattechnologieën zoals Phase-Change Memory en Resistive Random Access Memory, wat het geheugenverbruik in batterijgedreven apparaten verbetert.