Onbewaakt leren met kunstmatige neuronen

Manuel Le Gallo's onderzoek zal een nieuwe generatie van extreem dichte neuromorfe computersystemen inspireren. (Bron:IBM Research – Zürich)

Geïnspireerd door de manier waarop het menselijk brein functioneert, heeft een team van wetenschappers van IBM Research in Zürich de manier nagebootst waarop neuronen pieken, bijvoorbeeld wanneer we een hete plaat aanraken. Deze zogenaamde kunstmatige neuronen kunnen worden gebruikt om patronen te detecteren en correlaties in Big Data te ontdekken met vermogensbudgetten en dichtheden die vergelijkbaar zijn met die in de biologie, iets waar wetenschappers al tientallen jaren naar streven. Ze kunnen ook leren, zonder toezicht, met hoge snelheden en met heel weinig energie.

Het artikel getiteld "Stochastic phase-change neurons", dat vandaag verscheen op de omslag van Nature Nanotechnology , schetst het onderzoek en de bevindingen.

Ik sprak met de co-auteur van de paper en IBM Research - wetenschapper Manuel Le Gallo uit Zürich, die momenteel werkt aan een doctoraat van ETH Zürich.

Hoe werkt een kunstmatig neuron?

Manuel Le Gallo: Het neuron heeft een bepaalde functionaliteit die we 'integreren en vuren' noemen. Het neuron fungeert als een accumulator - als je meerdere inputs naar het neuron blijft sturen, zal het neuron al die inputs integreren. Afhankelijk van de hoeveelheid inputs en hun sterke punten, zal het membraanpotentiaal een bepaalde drempel bereiken en zal het neuron "vuren" of "pieken". Zo'n accumulator kan worden gebruikt om verrassend complexe rekentaken uit te voeren.

Hoe inspireert het menselijk brein de ontwikkeling van kunstmatige neuronen?

ML: Het kunstmatige neuron is gebouwd om na te bootsen wat een biologisch neuron doet. Een kunstmatig neuron heeft niet exact dezelfde functionaliteit, maar is nog steeds dichtbij genoeg om de door de hersenen uitgevoerde berekening met deze neuronen te kunnen uitvoeren. Meestal worden kunstmatige neuronen gebouwd met behulp van op CMOS gebaseerde circuits, de standaardtransistortechnologie die we in onze computers hebben. Ons artikel richt zich op het gebruik van niet-CMOS-apparaten, zoals phase-change-apparaten, om vergelijkbare functionaliteit te reproduceren bij een lager stroomverbruik en een grotere oppervlaktedichtheid.

Wat is uw bijdrage aan de krant?

ML: We hebben inzicht gekregen in de fysica van apparaten met faseverandering door het karakteriserings- en modelleringswerk dat ik de afgelopen drie jaar heb gedaan. Dit was cruciaal om kunstmatige neuronen te ontwerpen op basis van deze apparaten en om hun functionaliteit te begrijpen. Daarnaast heb ik enkele van de experimentele gegevens verkregen die in het artikel worden gepresenteerd en heb ik bijgedragen aan de analyse en interpretatie van de resultaten.

"We denken dat onze aanpak efficiënter zal zijn, vooral voor het verwerken van grote hoeveelheden gegevens."

—Manuel Le Gallo, IBM-onderzoeker

In welke contexten kunnen kunstmatige neuronen worden toegepast?

De kleine vierkanten zijn contactvlakken die worden gebruikt om toegang te krijgen tot de faseveranderingscellen op nanometerschaal (niet zichtbaar). De scherpe sondes raken de contactvlakken om de faseconfiguratie die in de cellen is opgeslagen te veranderen als reactie op de neuronale input. Elke set sondes heeft toegang tot een populatie van 100 cellen.

ML: In onze paper laten we zien hoe u correlaties kunt detecteren uit meerdere stromen van gebeurtenissen. Stel dat u meerdere streams van binaire gebeurtenissen heeft en u wilt weten welke streams tijdelijk gecorreleerd zijn, bijvoorbeeld wanneer de enen gelijktijdig plaatsvinden.

In de paper hebben we laten zien hoe je correlaties kunt detecteren uit meerdere stromen van gebeurtenissen.

Wat bedoel je met evenementen?

ML: Evenementen kunnen bijvoorbeeld Twitter-gegevens, weergegevens of sensorische gegevens zijn die zijn verzameld door het internet der dingen. Stel dat u meerdere stromen van binaire gebeurtenissen hebt en u wilt weten welke stromen tijdelijk gecorreleerd zijn, bijvoorbeeld wanneer de enen gelijktijdig komen. We laten in het artikel zien hoe we deze discriminatie kunnen doen door slechts één neuron te gebruiken dat is verbonden met meerdere plastic synapsen die de gebeurtenissen ontvangen.

Wat maakt neuromorfisch computergebruik efficiënter dan conventioneel computergebruik?

ML: Bij conventioneel computergebruik hebben we een afzonderlijk geheugen en een logische eenheid. Wanneer u een berekening wilt uitvoeren, moet u eerst toegang krijgen tot het geheugen, uw gegevens verkrijgen en deze overbrengen naar de logische eenheid, die de berekening retourneert. En wanneer je een resultaat krijgt, moet je het terugsturen naar het geheugen. Dit proces gaat continu heen en weer. Dus als je te maken hebt met enorme hoeveelheden gegevens, wordt het een echt probleem.

In een neuraal netwerk bevinden computergebruik en opslag zich op dezelfde locatie. U hoeft geen communicatie tussen logica en geheugen tot stand te brengen; je hoeft alleen de juiste verbindingen te maken tussen de verschillende neuronen. Dat is de belangrijkste reden waarom we denken dat onze aanpak efficiënter zal zijn, vooral voor het verwerken van grote hoeveelheden gegevens.