Gewichtsupdates en Backpropagation in Multilayer Perceptrons onder de knie krijgen

In dit artikel presenteren we de precieze vergelijkingen voor gewichts-update berekeningen en leggen uit hoe backpropagation een multilayer perceptron (MLP) in staat stelt om van data te leren.

Welkom bij AAC's uitgebreide machine-learning reeks.

Haak de reeks tot nu toe hier aan:

1. Hoe classificatie uit te voeren met een neuraal netwerk: Wat is de Perceptron?
2. Hoe een simpele Perceptron-neuraal netwerk voorbeeld te gebruiken om data te classificeren
3. Hoe een basale Perceptron-neuraal netwerk te trainen
4. Eenvoudige neuraal netwerk training begrijpen
5. Inleiding tot trainings theorie voor neurale netwerken
6. Leer snelheid in neurale netwerken begrijpen
7. Geavanceerde machine learning met de Multilayer Perceptron
8. De Sigmoid-activeringsfunctie: Activering in Multilayer Perceptron neurale netwerken
9. Hoe een Multilayer Perceptron neuraal netwerk te trainen
10. Trainingsformules en Backpropagation voor Multilayer Perceptrons begrijpen
11. Neuraal netwerk architectuur voor een Python-implementatie
12. Hoe een Multilayer Perceptron neuraal netwerk in Python te maken
13. Signaalverwerking met neurale netwerken: Validatie in neuraal netwerk ontwerp
14. Trainingsdatasets voor neurale netwerken: Hoe een Python neuraal netwerk te trainen en valideren

We hebben de kern van neuraal-netwerk theorie bereikt: de computationele stappen die een MLP's gewichten fijnstellen zodat het invoermonsters accuraat kan classificeren. Dit proces is de fundament van het backpropagation-algoritme, een hoeksteen van moderne deep learning.

Gewichten bijwerken

Het trainen van een MLP is wiskundig dicht, en terminologie varieert over bronnen. De onderstaande vergelijkingen zijn afgeleid van Dr. Dustin Stansbury's heldere derivaties, wat ze een uitstekende referentie maakt voor zowel beginners als praktijkers.

Het diagram toont de architectuur die we in code zullen implementeren, en de vergelijkingen die volgen mappen direct op deze structuur.

Terminologie

• Pre-activering (S_preA): De gewogen som invoer aan een neurones activeringsfunctie, berekend als een dot-product van binnenkomende gewichten en activeringen.
• Post-activering (S_postA): De neurones uitvoer na toepassing van de activeringsfunctie f_A(·). We gebruiken de logistische (sigmoid) functie in onze voorbeelden.
• Gewichtsmatrices: In code labelen we ze ItoH (invoer-naar-verborgen) en HtoO (verborgen-naar-uitvoer) om ambiguïteit te vermijden.
• Doel (T): De correcte uitvoer voor een trainingsmonster.
• Leersnelheid (LR): De stapgrootte voor gewichtsupdates.
• Eindfout (FE): S_postA,O – T.
• Foutsignaal (S_ERROR): FE vermenigvuldigd met de afgeleide van de uitvoerneurones activeringsfunctie.
• Gradiënt: De bijdrage van een specifiek gewicht aan het foutsignaal; we trekken LR × gradiënt af van het huidige gewicht.

Het bijbehorende diagram illustreert deze concepten in context.

Gewichts-update vergelijkingen voortkomen uit het nemen van de partiële afgeleide van de som-gekwadrateerde fout ten opzichte van elk gewicht. Voor verborgen-naar-uitvoer gewichten:

S_ERROR = FE × f_A'(S_preA,O)

gradiënt_HtoO = S_ERROR × S_postA,H

gewicht_HtoO ← gewicht_HtoO – (LR × gradiënt_HtoO)

Voor invoer-naar-verborgen gewichten moet de fout een extra laag doorkruisen:

gradiënt_ItoH = S_ERROR × gewicht_HtoO × f_A'(S_preA,H) × invoer

gewicht_ItoH ← gewicht_ItoH – (LR × gradiënt_ItoH)

Backpropagation

Backpropagation lost het verborgen-knooppunt dilemma op: hoewel invoer-naar-verborgen gewichten de uiteindelijke uitvoer indirect beïnvloeden, kunnen we hun effect berekenen door het foutsignaal achterwaarts door het netwerk te propageren en te schalen met de uitgaande gewichten en activeringsafgeleiden. Deze techniek is fundamenteel voor het trainen van diepe modellen.

Conclusie

We hebben de sleutelvergelijkingen die gewichtsupdates drijven en de mechanica van backpropagation in MLP's uitgepakt. Deze concepten liggen ten grondslag aan elke moderne neuraal-netwerk toepassing, en het meesteren ervan opent de deur naar geavanceerde modellering. Blijf op de hoogte voor de volgende afleveringen in onze reeks, waar we dieper ingaan op architectuurontwerp, Python-implementatie, en validatietechnieken.