Het juiste aantal verborgen lagen en knooppunten kiezen in een neuraal netwerk

Dit artikel biedt evidence-gebaseerde richtlijnen voor het configureren van het verborgen deel van een multilayer Perceptron.

In eerdere artikelen van deze reeks behandelden we Perceptron-netwerken, multicouche architecturen en praktische Python-implementaties. Voordat u beslist over de diepte en breedte van uw verborgen lagen, kunt u de fundamentele artikelen hieronder herzien.

1. Hoe classificatie uit te voeren met een neuraal netwerk: Wat is de Perceptron?
2. Hoe een simpele Perceptron-neuraal netwerk voorbeeld te gebruiken om data te classificeren
3. Hoe een basale Perceptron-neuraal netwerk te trainen
4. Eenvoudige neuraal netwerk training begrijpen
5. Inleiding tot trainings theorie voor neurale netwerken
6. Leer snelheid in neurale netwerken begrijpen
7. Geavanceerde machine learning met de Multilayer Perceptron
8. De Sigmoid-activeringsfunctie: Activering in Multilayer Perceptron neurale netwerken
9. Hoe een Multilayer Perceptron neuraal netwerk te trainen
10. Trainingsformules en Backpropagation voor Multilayer Perceptrons begrijpen
11. Neuraal netwerk architectuur voor een Python-implementatie
12. Hoe een Multilayer Perceptron neuraal netwerk in Python te maken
13. Signaalverwerking met neurale netwerken: Validatie in neuraal netwerk ontwerp
14. Trainingsdatasets voor neurale netwerken: Hoe een Python neuraal netwerk te trainen en valideren
15. Het juiste aantal verborgen lagen en knooppunten in een neuraal netwerk kiezen

Verborgen-laag recap

Laten we de kernpunten over verborgen knooppunten herhalen:

• Eénlaags Perceptronen – netwerken die alleen invoer- en uitvoerknooppunten bevatten – zijn beperkt tot lineair scheidbare problemen. Ze kunnen geen complexe relaties modelleren zoals de Booleaanse XOR-functie.
• Het introduceren van een verborgen laag transformeert de Perceptron in een universele benaderder, wat het in staat stelt om praktisch elke continue afbeelding tussen eindige invoer- en uitvoerruimtes te leren.
• Verborgen-naar-uitvoer gewichten beïnvloeden de uiteindelijke fout indirect, wat training complexer maakt.
• Backpropagation is de standaard trainingsmethode: de fout wordt achterwaarts door het netwerk gepropageerd, waardoor we alle niet-uitvoer gewichten kunnen bijwerken, ongeacht het aantal verborgen lagen.

Het onderstaande diagram illustreert de basisstructuur van een multilayer Perceptron.

Hoeveel verborgen lagen?

Er is geen één-maat-past-alle-antwoord. Echter, een enkele verborgen laag voorziet een netwerk al van opmerkelijke expressieve kracht. Als de prestaties onvoldoende zijn, overweeg dan de leersnelheid aan te passen, trainingsepochen te verlengen of de trainingset te verrijken voordat u diepte toevoegt.

Het toevoegen van een tweede verborgen laag verhoogt de codecomplexiteit en inferentietijd, en kan overfitting verergeren – met name wanneer trainingsdata beperkt is.

Overfitting treedt op wanneer het netwerk idiosyncrasies van de trainingset uitwendig leert in plaats van een generaliseerbare afbeelding. Het volgende diagram visualiseert dit fenomeen.

Een sterk geparametriseerd netwerk kan een probleem "overnadenken", een oplossing produceren die goed presteert op trainingsdata maar slecht op onziene monsters. De opvolgende figuur toont hoe overmatige capaciteit generalisatie kan hinderen.

Wanneer is een extra verborgen laag gerechtvaardigd? Dr. Jeff Heaton, in zijn uitgebreide boek over neuraal netwerk training, merkt op dat een enkele verborgen laag elke continue functie tussen eindige ruimtes kan benaderen. Een tweede laag stelt het netwerk in staat om beslissingsgrenzen willekeurige nauwkeurigheid te representeren, maar alleen wanneer de probleemcomplexiteit dit echt rechtvaardigt.

Hoeveel verborgen knooppunten?

Het kiezen van het juiste aantal knooppunten per verborgen laag is een balans tussen expressiviteit en overfitting-risico. Hoewel experimenteren essentieel is, biedt Dr. Heaton drie praktische heuristieken (p. 159) die een solide startpunt vormen. Gebaseerd op signaalverwerkingservaring, stel ik de volgende richtlijnen voor:

1. Als het netwerk een enkele uitvoerknoop heeft en de afbeelding relatief simpel is, stel de verborgen dimensionaliteit in op twee-derde van de invoer-dimensionaliteit.
2. Als er meerdere uitgangen zijn of de relatie complex is, gebruik een verborgen grootte gelijk aan de som van invoer- en uitvoerdimensionaliteit – houdt het onder tweemaal de invoergrootte.
3. Voor extreem ingewikkelde afbeeldingen, stel de verborgen grootte in op één minder dan tweemaal de invoer-dimensionaliteit.

Conclusie

Door deze principes te volgen, kunt u systematisch de verborgen lagen van een multilayer Perceptron configureren en verfijnen voor robuuste prestaties. In ons volgende artikel zullen we demonstreren hoe deze regels vertalen naar concrete Python-code en hun impact evalueren op real-world datasets.