Voorspellingsnetwerk van metamateriaal met Split Ring-resonator op basis van diepgaand leren

Theorie en methode

COMSOL-modelbouw

Om aan te tonen dat deep learning kan worden toegepast op het omgekeerde ontwerp van metamateriaalstructuren, hebben we een drielaagse SRR-structuur gemodelleerd die bestaat uit een gouden ring, een silicabodem en een gouden bodem om de elektromagnetische respons te observeren onder invloed van de invallend licht. Zoals getoond in Fig. 1 is de openingshoek θ van de gouden ring, de binnenradius r van de ring, en de lijndikte d van de ring worden geselecteerd als onafhankelijke variabelen van deze structuur. Wanneer een bundel lineair gepolariseerd licht de metamaterialen normaal binnenkomt, worden de golflengte-reflectiecurven onder verschillende structuren verkregen door de structurele variabelen te veranderen. De dikte van de Au-ring is 30 nm, van de onderkant van SiO₂ is 100 nm, en van de bodem van Au is 50 nm, en de grootte van de meta-atomen is 200 nm bij 200 nm.

Schematisch diagram van de structuur. Het hele meta-oppervlak is samengesteld uit meta-atomen die herhaaldelijk in twee richtingen zijn gerangschikt, en lineair gepolariseerd licht valt loodrecht op het meta-oppervlak in. Elk meta-atoom is samengesteld uit een gouden ring, een silicabodem en een gouden bodem in volgorde van boven naar beneden. De bovenste gouden ring bevat drie structurele parameters, namelijk de lijndikte d , de openingshoek θ , en de binnenste ringstraal r

Gebruik COMSOL Multiphysics 5.4 [25] voor modellering, kies driedimensionale ruimtedimensie, kies optica ≥ golfoptica ≥ elektromagnetische golffrequentiedomein (ewfd) voor het fysieke veld en selecteer het golflengtedomein voor onderzoek. Maak het bovenstaande model in geometrie. Het materiaal van elk onderdeel en de brekingsindex worden in volgorde gedefinieerd in het materiaal, en poorten en periodieke voorwaarden worden toegevoegd in het domein van de elektromagnetische golffrequentie.

Een deep learning neuraal netwerkmodel bouwen

We hebben een omgekeerd netwerk en een voorwaarts netwerk geconstrueerd voor de metamateriaalstructuur. Het omgekeerde netwerk kan de structurele parameters van de SRR voorspellen uit de gegeven twee sets golflengte-reflectiecurven met verschillende polarisatierichtingen. Het voorwaartse netwerk kan de golflengte-reflectiecurven in twee polarisatierichtingen voorspellen door de gegeven structurele parameters. De functie van het omgekeerde netwerk is het hoofdgedeelte van de voorspellingsfunctie. De rol van het voorwaartse netwerk is om de voorspellingsresultaten van het omgekeerde netwerk te verifiëren om te zien of de voorspellingsresultaten voldoen aan de vereiste elektromagnetische respons.

Gebruik eclipse 2019 als ontwikkelplatform, python3.7 als programmeertaal en TensorFlow 1.12.0 als ontwikkelframework.

De twee netwerken worden afzonderlijk getraind om te voorkomen dat de trainingsresultaten van elk netwerk worden beïnvloed door de fout van het andere netwerk, waardoor de respectieve nauwkeurigheid van de twee netwerken wordt gegarandeerd.

Zoals weergegeven in figuur 2, is een ander voordeel van het afzonderlijk trainen van de twee netwerken dat ze voor verschillende doeleinden kunnen worden gebruikt via verschillende verbindingsreeksen:(a) omgekeerd netwerk + voorwaarts netwerk, dat de gegeven golflengte-reflectiecurve kan gebruiken om de parameters te structureren, voorspellingen te doen en te verifiëren of de voorspellingsresultaten voldoen aan de behoeften, en (b) het gebruik van alleen het voorwaartse netwerk kan het berekeningsproces van de numerieke berekeningsmethode vereenvoudigen en de rekentijd verkorten.

In deze afbeelding verwijst FNN naar het voorwaartse neurale netwerk en verwijst RNN naar het omgekeerde neurale netwerk. De bovenste grafiek (a ) geeft aan dat de twee netwerken kunnen worden verbonden om het effect van voorspelling en verificatie te bereiken, en de onderste grafiek (b ) geeft aan dat alleen het voorwaartse responsnetwerk kan worden gebruikt om de optische respons te berekenen

Het is vermeldenswaard dat het proces van het invoeren en verkrijgen van de resultaten van het getrainde model met behulp van de methode van diep leren een extreem korte tijd in beslag neemt. En telkens als er nieuwe gegevens worden verkregen door simulatie of experiment, kan het model worden gebruikt voor verdere training. Studies hebben aangetoond dat met de voortdurende toename van trainingsgegevens, de nauwkeurigheid van het model steeds hoger zal worden, en de generalisatieprestaties steeds beter [26].

De parameters van de structuur zijn meerdere sets continue eigenwaarden, die behoren tot het regressieprobleem. In de afgelopen jaren zijn volledig verbonden netwerken de focus geweest van deep learning-netwerken op regressieproblemen en hebben ze de kenmerken van hoge betrouwbaarheid, grote gegevensdoorvoer en lage latentie laten zien. Door enkele aanpassingen te maken op een volledig verbonden netwerk, kan het netwerk de structuur beter voorspellen.

Zoals getoond in figuur 3b, is het voorwaartse netwerk een volledig verbonden netwerk waarin alle knooppunten van de twee aangrenzende lagen met elkaar zijn verbonden. De invoergegevens zijn de structurele parameter en de uitvoer is de golflengte-reflectiecurve van de twee polarisatierichtingen. Zoals getoond in figuur 3a, bestaat het omgekeerde netwerk uit een feature-extractielaag (FE-laag) en een volledig verbonden laag (FC-laag). De FE-laag omvat twee sets volledig verbonden netwerken die niet met elkaar zijn verbonden en verwerkt de golflengte-reflectiecurven van het lineair gepolariseerde licht in de twee richtingen om enkele kenmerken van de invoergegevens te extraheren. De FC-laag leert de geëxtraheerde functies en voert de structurele parameters uit. Vanwege de kenmerken van hoge cohesie en lage koppeling tussen de golflengte-reflectiecurven in verschillende polarisatietoestanden, kan het scheiden van de ingangen van twee sets gepolariseerde lichtgegevens in verschillende richtingen voorkomen dat het netwerk wordt verstoord door gegevensstandaardisatie tijdens het gegevensextractieproces. Het voorwaartse netwerk omvat niet meerdere sets invoer en hoeft geen rekening te houden met wederzijdse interferentie tussen gegevens, dus het heeft geen functie-extractielaag.

Schematisch diagram van de netwerkstructuur. De bovenstaande afbeelding toont het omgekeerde netwerk. Het omgekeerde netwerk bestaat uit een invoerlaag, een functie-extractielaag, een volledig verbonden laag en een uitvoerlaag. De volgende afbeelding toont het voorwaartse netwerk, dat bestaat uit een invoerlaag, een verborgen laag en een uitvoerlaag

Om de optimale netwerkstructuur te bepalen, worden netwerken in verschillende structuren getraind met dezelfde set gegevens. Zoals getoond in figuur 4, nadat de gegevens 50 tijdperken hebben doorgemaakt (wanneer alle gegevens een volledige training hebben ondergaan, wordt dit een tijdperk genoemd), wordt de MSE bereikt door het voorwaartse netwerk van verschillende structuren. Zoals te zien is op de linkerafbeelding van figuur 4, wanneer het voorwaartse netwerk 5 verborgen lagen bevat, waarbij elke laag 100 knooppunten bevat, is de laagste MSE die wordt bereikt ongeveer 0,0174, dus het voorwaartse netwerk van deze structuur zal worden geselecteerd.

Vergelijking van netwerkstructuren. In de afbeelding links staat de horizontale as voor het aantal knooppunten in elke laag, de verticale as voor MSE en de zwarte, rode, blauwe en groene as vertegenwoordigen de situatie waarin de verborgen laag 5, 6, 7 en 8 lagen, respectievelijk. In de afbeelding rechts geeft de horizontale as het aantal lagen in de volledig verbonden laag aan, de verticale as geeft MSE aan en de zwarte, rode en blauwe lijnen geven de situatie aan waarin de FE-laag 3, 4 en 5 omvat , respectievelijk

Evenzo werden verschillende netwerken van omgekeerde netwerken getraind en het trainingsvolume was nog steeds ingesteld op 50 tijdperken. Het resultaat wordt getoond in de rechter afbeelding van Fig. 4. Wanneer het aantal FC-lagen 7 is en het aantal FE-lagen 3, bereikt het netwerk de laagste MSE, die ongeveer 0,1756 is.

We ontdekten dat een groter aantal netwerklagen een gradiëntexplosieverschijnsel zal produceren, waardoor het netwerk niet convergeert, en het verlies oneindig is, dus het wordt niet vermeld in de afbeelding.

Voorverwerking van gegevens

Om een ​​betrouwbaarder voorwaarts netwerk te trainen, worden de reflectiegegevens opnieuw verdeeld en samengevoegd met de refractiviteit van Au en SiO₂ correspondeert met elke frequentie. De verzamelde gegevens worden vervolgens genormaliseerd en ingevoerd in het forward-netwerk, wat de nauwkeurigheid van het forward-netwerk aanzienlijk kan verbeteren.

Om ervoor te zorgen dat de gegevens met grotere waarden geen grotere impact op het netwerk hebben dan de gegevens met kleinere waarden, moeten de invoergegevens worden genormaliseerd om ervoor te zorgen dat elke kolom met gegevens overeenkomt met de standaard normale verdeling (de gemiddelde waarde is 0, de variantie is 1), en dan de verwerkte gegevens x kan als volgt worden uitgedrukt:

In de uitdrukking, x ₀ is de originele data van de sample, μ het gemiddelde van de steekproef, en σ de standaarddeviatie van de steekproef. Als de invoergegevens niet opnieuw worden verdeeld, wordt de reflectie na normalisatie vervormd, wat de nauwkeurigheid van het netwerk zal verminderen. De opnieuw verdeelde gegevens hebben geen invloed op de distributie vanwege normalisatie.

Neurale netwerkmethode

Het principe van het neurale netwerk is om veel neuronen (knooppunten) te bouwen door de manier waarop het menselijk brein werkt en leert na te bootsen [27]. Neuronen zijn met elkaar verbonden en de output wordt aangepast door het verbindingsgewicht aan te passen. De uitvoer van de j de knoop van een laag kan als volgt worden uitgedrukt:

f is de activeringsfunctie, w _ik is het verbindingsgewicht van de i . van de vorige laag het knooppunt verbonden met de j het knooppunt, x _ik is de uitvoer van de i het knooppunt van de vorige laag, b _j is de bias-term van dit knooppunt, en n is het aantal knooppunten in de vorige laag dat is verbonden met de j e knoop.

Keuze van een activeringsfunctie

Om tegemoet te komen aan de hoge niet-lineariteit van het inverse probleem, wordt de ELU-functie [28] gebruikt als de activeringsfunctie van elke laag neuronen [28]. De uitvoer f (x ) van de ELU-functie kan als volgt als stukvorm worden uitgedrukt:

In deze functie, x is de originele invoer, en de parameterwaarde voor α varieert van 0 tot 1.

De reden voor het gebruik van de activeringsfunctie is dat de activeringsfunctie het niet-lineaire expressievermogen van elke laag van het netwerk verandert, waardoor het algehele niet-lineaire aanpassingsvermogen van het netwerk wordt verbeterd. Zoals getoond in Fig. 5, combineert de ELU-functie de voordelen van Sigmoid en gerectificeerde lineaire eenheid (ReLU) activeringsfuncties. Wanneer x <0, het heeft een betere zachte verzadiging, waardoor het netwerk robuuster is voor het invoeren van wijzigingen en ruis. Wanneer x> 0 is er geen verzadiging, wat handig is om het verdwijnen van de gradiënt van het netwerk te verlichten. Het kenmerk dat de gemiddelde waarde van ELU dicht bij 1 ligt, kan het netwerk gemakkelijker aan te passen. Het resultaat bewijst dat het gebruik van ELU als activeringsfunctie van het deep learning neurale netwerk de robuustheid van het netwerk aanzienlijk verbetert.

Exponentiële lineaire eenheden (ELU) functiecurve. In de afbeelding, x staat voor de originele invoer, en f (x ) vertegenwoordigt de functie-uitgang

Gewichtsinitialisatieschema

De initialisatiemethode van het netwerkgewicht van elke laag bepaalt de snelheid van de netwerkaanpassing en bepaalt zelfs of het netwerk kan passen of niet. De initialisatie van variantieschaling is gebaseerd op de hoeveelheid invoergegevens op elke laag en extraheert gewichten uit een ingekorte normale verdeling gecentreerd op 0, zodat de variantie kan worden teruggebracht tot een bepaald bereik, waarna de gegevens dieper over het netwerk kunnen worden verspreid [29] ]. In deze netwerkstructuur kan het gebruik van variantieschaalinitialisatie de convergentiesnelheid van het netwerk aanzienlijk sneller maken.

Overfitting oplossing

Vanwege onvoldoende gegevens zal het netwerk enige overfitting veroorzaken. Met minder overfitting kan het netwerk goede generalisatieprestaties hebben op gegevens buiten de trainingsset. L2-regularisatie (ook wel gewichtsverval genoemd bij regressieproblemen) wordt gebruikt om het gewicht w te verwerken . De geregulariseerde output L kan als volgt worden uitgedrukt:

In verg. (4), L ₀ vertegenwoordigt de oorspronkelijke verliesfunctie, en een regularisatieterm \( \frac{\lambda }{2n}\sum {w}^2 \) wordt op deze basis toegevoegd, waarbij λ vertegenwoordigt de regularisatiecoëfficiënt, n de gegevensdoorvoer, en w het gewicht. Nadat de regularisatietermijn is toegevoegd, wordt de waarde van het gewicht w heeft de neiging om over het algemeen af ​​te nemen, en het optreden van buitensporige waarden kan worden vermeden, dus w wordt ook wel gewichtsvermindering genoemd. L2-regularisatie kan het gewicht verminderen om een ​​grote helling van de aangepaste curve te vermijden, waardoor het fenomeen van overfitting van het netwerk effectief wordt verlicht en de convergentie wordt bevorderd.

Op basis hiervan wordt ook de drop-out methode gebruikt. Deze methode kan visueel worden beschouwd als het "verbergen" van een bepaalde schaal van netwerkknooppunten voor elke training en het verbergen van verschillende knooppunten tijdens elke training, om het doel van het trainen van meerdere "gedeeltelijke netwerken" te bereiken. En door training kunnen de meeste "gedeeltelijke netwerken" de doelen nauwkeurig weergeven en kunnen de resultaten van alle "gedeeltelijke netwerken" worden gesorteerd om de oplossing van de doelen te verkrijgen.

Het gebruik van de hierboven genoemde L2-regularisatie- en uitvalmethoden kan niet alleen de lage generalisatie die wordt veroorzaakt door onvoldoende gegevens effectief verminderen, maar ook de impact van een kleine hoeveelheid foutieve gegevens in de dataset op de trainingsresultaten verminderen.

Op deze netwerkstructuur en dataset, met uitval =0.2 en L2 regularisatiecoëfficiënt λ =0,0001, het netwerk kan een vergelijkbare nauwkeurigheid behalen op de trainingsset en testset, waardoor een hoge generalisatieprestatie wordt bereikt.

Resultaat en discussie

Na training kan ons voorwaartse netwerk een hoge mate van aanpassing bereiken, met een MSE van 0,0015, waaruit blijkt dat de uitvoer erg lijkt op de simulatieresultaten, zoals weergegeven in Fig. 6. Dit zorgt er ook voor dat bij het trainen van het omgekeerde netwerk, de resultaten van het omgekeerde netwerk kunnen betrouwbaar worden geverifieerd.

Resultaten van voorwaartse netwerktraining. De corresponderende structurele parameters zijn θ =50°, r =60 nm, en d =10 nm. In de afbeelding vertegenwoordigt de horizontale as de golflengte van het invallende licht, de verticale as de reflectiviteit, de rode lijn het COMSOL-simulatieresultaat en de blauwe lijn het netwerktrainingsresultaat. De linker afbeelding toont de reflectiviteitscurve die overeenkomt met de x -gepolariseerde ingang, en de rechter afbeelding toont de reflectiviteitscurve die overeenkomt met de y -gepolariseerde ingang

Ten slotte zullen we twee modellen genereren uit het geleerde netwerk en de twee modellen verbinden om de voorspellingsfunctie te bereiken.

De voorspellingsfunctie kan de in figuur 2a getoonde combinatie kiezen. Het omgekeerde netwerk voorspelt de overeenkomstige structuur volgens de vereiste golflengte-reflectiecurve, en het voorwaartse netwerk verifieert de optische respons van de structuur. Zoals getoond in Fig. 7 zijn de reflectiekarakteristieken van het invallende licht in de twee polarisatierichtingen in wezen consistent door de geverifieerde reflectie te vergelijken met de ingangsreflectie. Hoewel er voor bepaalde golflengtewaarden een kleine mismatch in reflectie kan worden waargenomen, is de algemene matching-trend duidelijk onweerlegbaar, aangezien de fouten ruim binnen een acceptabel bereik liggen.

Het omgekeerde netwerk gevolgd door een voorwaarts netwerk kan het doel van voorspelling bereiken. In de afbeelding vertegenwoordigt de horizontale as de golflengte van het invallende licht, de verticale as de reflectiviteit, de rode lijn het COMSOL-simulatieresultaat en de blauwe lijn het netwerktrainingsresultaat. De linker afbeelding toont de reflectiviteitscurve die overeenkomt met de x -gepolariseerde ingang, en de rechter afbeelding toont de reflectiviteitscurve die overeenkomt met de y -gepolariseerde ingang. De voorspelde resultaten voor de ingangsgolflengte-reflectiecurve zijn θ =1,5°, r =65 nm, en d =18 nm

Conclusie

In dit artikel hebben we ons ontworpen deep learning-netwerk gepresenteerd, dat in staat is om verschillende effecten te creëren door flexibele combinaties van netwerkconfiguraties te gebruiken. Ons ontworpen omgekeerde netwerk kan de vereiste structuur voorspellen met behulp van de ingangsgolflengte-brekingscurve, die de tijd die nodig is om het omgekeerde probleem op te lossen aanzienlijk kan verminderen en aan verschillende behoeften kan voldoen door gebruik te maken van flexibele combinaties. De resultaten geven aan dat het netwerk een hogere nauwkeurigheid in voorspellingen heeft bereikt, wat verder impliceert dat on-demand ontwerp kan worden opgelost via onze methode. Door diepgaand leren te gebruiken om het ontwerp van metamaterialen te begeleiden, kunnen automatisch nauwkeurigere metamateriaalstructuren worden verkregen, een resultaat dat niet kan worden bereikt met traditionele ontwerpmethoden.

Beschikbaarheid van gegevens en materialen

De datum waarop het manuscript afkomstig is van ons simulatienetwerk, en we kunnen het om persoonlijke redenen niet delen.

Afkortingen

ELU:

Exponentiële lineaire eenheden

FC-laag:

Volledig verbonden laag

FE-laag:

Functie-extractielaag

FNN:

Doorsturen neuraal netwerk

MSE:

Gemiddelde vierkante fouten

ReLU:

Gerectificeerde lineaire eenheid

RNN:

Omgekeerd neuraal netwerk

SRR:

Split-ring resonator