ReS2 Charge Trapping Synaptic Device for Face Recognition Application

Resultaten en discussie

Figuur 2a toont de overdrachtskarakteristieken van ons synaptische apparaat bij een 2-V backgate-spanning (V _bg =2 V) onder een vaste afvoer-naar-bronspanning (V _ds ) veranderen van 100 naar 700 mV met de stap van 100 mV. Een aan/uit-stroomverhouding van meer dan 10 ⁶ kon worden waargenomen. De curve gaf de afvoer-naar-bronstroom weer (I _ds ), die eerst snel toenam en vervolgens verzadigd raakte; de uitstekende verzadigingskarakteristieken kwamen overeen met de sterke kanaalregulering door de ITO-backgate-elektrode. In tegenstelling tot de traditionele transistors, die silicium gebruiken als een onderste poortelektrode en SiO₂ als een diëlektricum bij de bedrijfsspanning van meestal meer dan 20 V [23], de bedrijfsspanning van ons synaptische apparaat met slechts een afstand van 20 nm tussen de ReS₂ kanaal en ITO-backgate-elektrode was lager dan 5 V, wat de efficiëntie van het synaptische apparaat aanzienlijk verbeterde. De inzet in Fig. 2a toont de superlineaire relatie onder de lage-V _ds regimes, waaruit een goed Schottky-contact blijkt tussen de ReS₂ kanaal- en source- en drainelektroden. Zoals getoond in Fig. 2b, I _ds –V _bg hysteresiscurve kan worden waargenomen wanneer V _bg veranderd van − 5 naar 5 V en vervolgens teruggedraaid met een constante bias van 0,1 V (V _ds =0,1 V). Bij de metingen werd een kleine constante spanning van 0,1 V aangelegd tussen de source- en drain-elektroden om de postsynaptische stroom te "lezen". Het geheugenvenster, dat de basis vormde voor synaptische prestaties, was ongeveer 3,5 V; zo'n groot geheugenvenster maakte onze ReS₂ apparaat veelbelovend voor synaptische toepassingen [24]. Sinds de top van de valentieband van ZrO₂ was hoger dan die van Al₂ O₃ , en de onderkant van de geleidingsband was lager dan die van Al₂ O₃ (zie de inzet in Fig. 2c), ZrO₂ gebruikt als een tussenlaag ingeklemd tussen aluminiumoxide, kon lading effectief opvangen. De energiebanddiagrammen onder positieve en negatieve backgate-spanning worden respectievelijk getoond in Fig. 2c en d. Wanneer een positieve spanning werd aangelegd, werden elektronen in de ReS₂ kanaal zou eerst door de Al₂ . tunnelen O₃ tunnellaag, en vervolgens vastgelegd door de ZrO₂ vangende laag. Integendeel, toen ITO met een negatieve spanning werd aangelegd, verzamelden zich elektronen in de ZrO₂ laag zou worden verzonden naar de ReS₂ kanaal; de energiebanden buigen in de richting van het kanaal.

Elektrische eigenschappen van de ReS₂ synaptische apparaten. een Overdrachtskenmerk (I _ds –V _bg ) van de ReS₂ synaptische apparaten op een vaste V _ds veranderen van 100 naar 700 mV met de stap van 100 mV. b Uitgangskarakteristiek (I _ds –V _ds ) van de ReS₂ synaptische apparaten op een vaste V _bg veranderen van − 2 naar 2 V met de stap van 1 V. c Hysteresislus bij V _bg van ±  5 V bereikbereiken. V _ds werd op 100 mV gehouden. d Energiebanddiagram van de ReS₂ synaptische apparaten met positieve backgate-spanning. Inzet:energieniveaus van Al₂ O₃ en ZrO₂ . e Energiebanddiagram van de ReS₂ synaptische apparaten met negatieve backgate-spanning

In Fig. 3a werd een typische excitatoire postsynaptische stroom (EPSC) gedetecteerd na het toepassen van een negatieve ingangspuls (met de amplitude van − 1 V en duur van 10 ms) aan de ITO-achterpoort. Ook werd een remmende postsynaptische reactie op een positieve spanningspuls (met de amplitude van 1 V en een duur van 10 ms) waargenomen in Fig. 3b, die vergelijkbaar is met een biologische synaps [25]. Het pulssignaal van het presynaps-neuron werd via de synaps naar het postsynaps-neuron gestuurd en omgezet in de postsynaptische stroom (PSC) [26]. De PSC-waarde werd bepaald door pulsamplitude en duur. Toen de puls negatief was, waren de elektronen van de defecten van ZrO₂ genoeg energie gekregen om door de bovenste Al₂ . te tunnelen O₃ diëlektrische laag in de ReS₂ kanaal. De constante waarde van de stroom was iets hoger dan de vorige waarde (∆PSC =0,04 nA) en kon lange tijd behouden blijven. Dit fenomeen kwam overeen met de langetermijnpotentiëring (LTP) in de biologische synaps. Toen de puls echter positief was, werden elektronen in de ReS₂ kanaal getunneld door de Al₂ O₃ laag onder de aantrekkingskracht van het elektrische veld en werden opgevangen door de defecten van ZrO₂ . De constante waarde van de stroom was dus iets lager dan de oorspronkelijke waarde en kon deze lange tijd behouden (∆PSC =0,06 nA). Dit proces kwam overeen met de langdurige depressie (LTD) in de biologische synaps. De LTP en LTD verschaften een fysiologisch substraat voor leren en geheugen in synaptische apparaten. Wanneer de negatieve pulsen met de amplitude van − 2 V en de duur van 10 ms continu werden toegepast, met een interval van 1 s tussen de pulsen, werd de stijgende stroom in de twee stappen waargenomen, zoals weergegeven in figuur 3c. De stijgende stroomwaarden waren respectievelijk 1,6 nA en 1,4 nA. Daarom zou een continue en uniform stijgende stroom kunnen worden verkregen onder de periodieke poortspanningspulsen, en de constante stroom na stimulatie zou lang kunnen duren, zoals weergegeven in figuur 3d. Deze bevinding vormde een basis voor het verkrijgen van de meerdere stabiele geleidende toestanden.

Synaptische prestaties van de ReS₂ synaptische apparaten. een De exciterende postsynaptische stroom (EPSC) die wordt geactiveerd door de ingangspuls (− 1 V, 10 ms). b De remmende postsynaptische stroom (IPSC) veroorzaakt door een presynaptische piek (1 V, 10 ms). c Paar uitgangspieken van EPSC geactiveerd door twee opeenvolgende ingangspulsen (− 2 V, 10 ms en met een interval van 1 s tussen pulsen). d Retentiekenmerken van de ReS₂ synaptische apparaten na een presynaptische piek van -3 V en 10 ms

Figuur 4a toont 120 stroomwaarden na het aanleggen van 120 negatieve pulsen met een amplitude van − 2 V en een duur van 10 ms en met een interval van 1 s tussen de pulsen. Blijkbaar vertoonde de huidige curve een uitstekende lineariteit, 120 effectieve geleidingstoestanden met hoge stabiliteit werden in elke toestand verkregen. Verschillende geleidingstoestanden kwamen overeen met verschillende ANN-gewichtswaarden [27].

Kunstmatig neuraal netwerk voor gezichtsherkenning. een 120 geleidingstoestanden na het toepassen van 120 negatieve pulsen (− 2 V, 10 ms en met een interval van 1 s tussen pulsen). b De drielaagse ANN met 1024 inputneuronen, 256 verborgen neuronen en 15 outputneuronen. c Stroomdiagram van de trainingsherkenningscyclus

In dit werk wordt een drielaags kunstmatig neuraal netwerk voor gezichtsherkenningstaak voorgesteld, en de structuur ervan wordt weergegeven in figuur 4b, waarin te zien is dat de invoerlaag bestaat uit 1024 neuronen die overeenkomen met 1024 pixels van een afbeelding, de middelste (verborgen) laag bestaat uit 256 neuronen en de outputlaag bestaat uit 15 neuronen die overeenkomen met 15 klassen van gezichten.

De ontwikkeling van het voorgestelde ANN is als volgt. In totaal worden 165 foto's, waaronder 15 soorten foto's uit de Yale Face-database [28], gebruikt voor ANN-training en -tests. Acht afbeeldingen van elk type worden gebruikt voor ANN-training en de resterende drie afbeeldingen van elk type worden gebruikt voor ANN-tests. Aangezien de modules vloeiende functies zijn ten opzichte van hun invoer en hun interne gewichten, kunnen de meerlaagse architecturen worden getraind door eenvoudige stochastische gradiëntafdaling, en worden de gradiënten in het algemeen berekend door de backpropagation-procedure [29]. Daarom gebruiken we het klassieke achterwaartse voortplantingsalgoritme (BP) om ons netwerk te bouwen en te laten zien hoe het BP-algoritme werkt voor onze ANN.

In dit werk, X _m vertegenwoordigt een invoerneuron, dus de invoerwaarde van een verborgen neuron kan worden uitgedrukt als:

waar V _mn vertegenwoordigt de gewichtswaarde tussen een invoerneuron X _m en een verborgen neuron Y _in , en alle V _mn vorm de matrix V met in totaal 1024 × 256 gewichtswaarden; de beginwaarde van deze matrix wordt willekeurig toegewezen. De activeringsfunctie van de verborgen laag is de sigmoïde functie, dus de uitvoerwaarde van een verborgen neuron wordt gegeven door:

De invoerwaarde van een uitvoerneuron kan dus worden uitgedrukt als:

waar W _nk vertegenwoordigt de gewichtswaarde tussen een verborgen neuron Y _aan en een output neuron Z _ik , en alle W _nk vorm de matrix W met in totaal 256 × 15 gewichtswaarden; de beginwaarde van W _nk wordt ook willekeurig toegewezen. Bovendien gebruiken we de sigmoid-functie als een activeringsfunctie van de outputlaag, zodat de outputwaarde van een outputneuron wordt gegeven door:

Door de hierboven berekende output te vergelijken met de juiste output, kan de totale outputfout worden verkregen, en deze wordt uitgedrukt als:

waar O _k is de juiste uitgangswaarde. Tot dusver is het voorwaartse voortplantingsproces van het netwerk volledig beschreven. Om de herkenningssnelheid te verbeteren, is het backpropagation-proces nodig om de fouten van de gewichten te berekenen, en ze worden gebruikt om de netwerkgewichten bij de volgende iteratie bij te werken.

In de bovenstaande wiskundige uitdrukkingen, ∆V _mn en ∆W _nk vertegenwoordigen respectievelijk de fouten van V _mn en W _nk ; na het toevoegen van de fouten aan het oorspronkelijke gewicht, krijgen we het bijgewerkte gewicht V _mn ^′ en W _nk ^′ ; μ is de leersnelheid, en μ = 0,06. Na het bijwerken van de gewichten wordt een nieuwe afbeelding naar de ANN gestuurd en wordt het proces voor het bijwerken van het gewicht herhaald totdat alle 120 afbeeldingen voor training zijn gebruikt. Vervolgens gebruiken we het getrainde netwerk om de resterende 45 afbeeldingen te identificeren en de herkenningsgraad te berekenen. Het ANN-testproces vereist alleen het voorwaartse voortplantingsproces. Elke afbeelding die voor het testen wordt gebruikt, krijgt 15 uitvoerwaarden na een voorwaartse verspreiding. De uitvoerwaarde geeft de waarschijnlijkheid weer dat het invoerbeeld van een bepaald type is. De uitvoer met de maximale waarschijnlijkheidswaarde wordt geselecteerd en het overeenkomstige type is het type invoerbeeld dat door het netwerk wordt geïdentificeerd. De herkenningsresultaten worden vergeleken met de standaarduitvoer; alle correct geïdentificeerde foto's worden geteld en hun totale aantal is n . In elke trainingsherkenningscyclus is het herkenningspercentage r wordt gegeven door:

Over het algemeen is het herkenningspercentage van de eerste herkenning erg laag, en in onze ANN met 256 verborgen neuronen is het eerste herkenningspercentage slechts 17,78%. Het bovenstaande training-herkenningsproces wordt herhaald totdat het maximale herkenningspercentage is bereikt. De hele trainingsherkenningscyclus wordt getoond in Fig. 4c.

Zoals getoond in Fig. 5a, waren tijdens het ANN-ontwikkelingsproces de maximale herkenningssnelheid en stijgsnelheid van herkenningssnelheid (trainingssnelheid) verschillend bij een ander aantal verborgen neuronen. Een groter aantal verborgen neuronen leidde tot een hogere maximale herkenningssnelheid en een snellere stijgsnelheid, maar ook tot een hoger energieverbruik, dus er moest een zekere afweging worden gemaakt. In het geval van 256 verborgen neuronen bereikte de herkenningsgraad 100% na 600 herhalingen van training, zoals weergegeven in figuur 5b. Aangezien dit absoluut de maximale herkenningssnelheid was die kon worden bereikt, hebben we in onze ANN het aantal verborgen neuronen ingesteld op 256. De verdeling van gewichtswaarden na verschillende trainingstestcycli wordt weergegeven in Fig. 5c, en het geeft aan dat de gewichten werden meer verspreid na meer cycli, dat wil zeggen, om een ​​hogere herkenningsgraad te bereiken, moesten de gewichten in de ANN worden aangepast. Zodra we de maximale herkenningsgraad hebben bereikt, worden de matrices V en W met de optimale gewichtswaarde werden verkregen. Om beter te demonstreren dat onze ReS₂ apparaat is geschikt om te worden toegepast op ANN's, alle gewichtswaarden in de gewichtsmatrices V en W werden vervangen door de geleidbaarheidswaarden van het apparaat. We gebruikten Ik _j (j = 1, 2, 3⋯120) om 120 geleidingswaarden weer te geven die werden verkregen na 120  cycli, en we hebben een lineaire transformatie van de oorspronkelijke geleidingswaarden gemaakt zodat het geleidingsbereik consistent was met het gewichtsbereik, dat werd gegeven door:

Realisatie van de gezichtsherkenning. een Herkenningssnelheidscurve bij verschillende aantallen verborgen neuronen (32, 64, 128 en 256). b Herkenningssnelheidscurve bij 256 verborgen neuronen; het herkenningspercentage bereikt 100% na bijna 600 training-testperiodes. c De verdeling van gewichtswaarden na 10 tot 90 (in stappen van 20) trainingsperioden. d De verdeling van gewichtswaarden na 100 tot 600 (in stappen van 100) trainingsperioden. e Erkenningsgraad na de vervanging; de gewichtswaarden werden vervangen na 100~500 trainingsperioden (in stappen van 100)

waar C _j vertegenwoordigde de gewichtswaarde na de lineaire transformatie. In het geval van 600-cycli waren de lineaire transformatiecoëfficiënten A = 1.3769 × 10 ¹⁰ en B =  − 65.784. Vervolgens hebben we elke C . afgetrokken _j van elke gewichtswaarde en de gewichtswaarde vervangen door C _j die de kleinste absolute waarde had na aftrekken; namelijk, we hebben min|V . berekend _mn − C _j |, min|W _nk − C _j | en verving elke gewichtswaarde door de corresponderende C _j . Op deze manier hebben we nieuwe V . verkregen en W gewichtsmatrices waarin alle gewichtswaarden zijn vervangen door C _n . Vervolgens gebruikten we onze nieuwe gewichtsmatrices in ANN-tests en de ANN-herkenningsgraad van 100% werd bereikt, wat aantoonde dat onze 120 conductantietoestanden perfect konden worden gebruikt als gewichtswaarden in de ANN. Met het oog op verdere analyse hebben we de gewichtswaarden vervangen na 100 ~ 500 trainingscycli (in stappen van 100), en de identificatieresultaten die na de vervanging zijn verkregen, zijn volledig consistent met de originele, zoals weergegeven in figuur 5d. Dit bewijst dat deze 120 huidige waarden perfect meer dan 10 ⁵ . kunnen vervangen gewichtswaarden voor berekening. Door het aantal poortpulsen verder te vergroten, konden meer geleidingstoestanden worden verkregen, wat aantoonde dat onze ReS₂ apparaat kan worden gebruikt in een grootschalig neuraal netwerksysteem.

Conclusies

In dit werk introduceren we een op high-k diëlektrische stack gebaseerde 2D ReS₂ synaptisch apparaat en demonstreren enkele fundamentele synaptische gedragingen zoals langdurige potentiëring en langdurige depressie. De resultaten laten zien dat onze ReS₂ apparaat kan synaptische prestaties goed simuleren. Ook wordt een ANN geconstrueerd om de toepassing van het voorgestelde apparaat in kunstmatige neurale netwerken te bewijzen. Door 120 periodieke poortspanningspulsen toe te passen, worden 120 effectieve, duidelijk onderscheiden geleidingstoestanden verkregen, en ze worden gebruikt om meer dan 10 ⁵ te vervangen gewichten in de ANN voor gezichtsherkenning. Het herkenningspercentage van 100% wordt bereikt na vervanging. Dit uitstekende resultaat toont aan dat onze ReS₂ synaps kan worden gebruikt om een ​​kunstmatig neuraal netwerk te bouwen.

Beschikbaarheid van gegevens en materialen

De auteurs verklaren dat de materialen, gegevens en bijbehorende protocollen beschikbaar zijn voor de lezers en dat alle gegevens die voor de analyse zijn gebruikt, in dit artikel zijn opgenomen.

Afkortingen

2D:

Tweedimensionaal

ALD:

Atoomlaagafzetting

ANN:

Kunstmatig neuraal netwerk

LTD:

Langdurige depressie

LTP:

Versterking op lange termijn