Een flexibele Perceptron neuraal netwerk ontwerpen in Python

Een Perceptron bouwen voor classificatie: Architectuur, Bias, en Activering

Welkom bij de All About Circuits neurale netwerk reeks. Onze eerdere artikelen hebben de theoretische fundamenten van neurale netwerken behandeld:

1. Hoe classificatie uit te voeren met een neuraal netwerk: Wat is de Perceptron?
2. Hoe een simpele Perceptron-neuraal netwerk voorbeeld te gebruiken om data te classificeren
3. Hoe een basale Perceptron-neuraal netwerk te trainen
4. Eenvoudige neuraal netwerk training begrijpen
5. Inleiding tot trainings theorie voor neurale netwerken
6. Leer snelheid in neurale netwerken begrijpen
7. Geavanceerde machine learning met de Multilayer Perceptron
8. De Sigmoid-activeringsfunctie: Activering in Multilayer Perceptron neurale netwerken
9. Hoe een Multilayer Perceptron neuraal netwerk te trainen
10. Trainingsformules en Backpropagation voor Multilayer Perceptrons begrijpen
11. Neuraal netwerk architectuur voor een Python-implementatie
12. Hoe een Multilayer Perceptron neuraal netwerk in Python te maken
13. Signaalverwerking met neurale netwerken: Validatie in neuraal netwerk ontwerp
14. Trainingsdatasets voor neurale netwerken: Hoe een Python neuraal netwerk te trainen en valideren

We zijn nu klaar om deze theorie te vertalen naar een werkend Perceptron-classificatiesysteem. De volgende sectie schetst de architectuur die we in Python zullen implementeren, met duidelijke ontwerpkeuzes die de code draagbaar maken naar andere talen zoals C.

De Python Neurale Netwerk Architectuur

Het onderstaande diagram illustreert de netwerkstructuur die we zullen coderen:

• Variabele invoerknooppunten – Essentieel voor het matchen van de dimensionaliteit van real-world data.
• Enkele verborgen laag alleen – Een enkele verborgen laag is voldoende voor veel classificatietaken, wat de implementatie vereenvoudigt.
• Variabele verborgen knooppunten – De optimale telling wordt empirisch gevonden; we zullen heuristieken in een toekomstig artikel bespreken.
• Vaste uitvoerknooppunten (1) – Vereenvoudigt het initiële programma; toekomstige versies kunnen multi-class outputs ondersteunen.
• Activeringsfunctie – Zowel verborgen als uitvoerlagen gebruiken de logistische sigmoid: f(x)=1/(1+e^{-x}).

Wat is een Bias-knooppunt? (Bias verbetert Perceptron-flexibiliteit)

Bias-knooppunten – of simpelweg biases – zijn constanten die aan de gewogen som van een knooppunt worden toegevoegd vóór activering. Ze worden typisch op 1 ingesteld en kunnen in de invoer- of verborgen laag geplaatst worden.

Bias-gewichten worden als elk ander gewicht bijgewerkt tijdens backpropagation. Het includeren van bias-knooppunten stelt het netwerk in staat om zijn beslissingsgrens te verschuiven, wat de prestaties verbetert op niet-lineair scheidbare data.

In deel 10 van deze reeks beschreven we pre-activering als een dot-product: S_preA = w · x = Σ(w_i x_i). Het toevoegen van bias b wijzigt dit in:

S_preA = (w · x) + b = Σ(w_i x_i) + b

De bias functioneert effectief als de y-intercept in de lineaire vergelijking y = mx + b, wat de activeringscurve horizontaal verschuift.

Gewichten, Bias, en Activering

Tijdens training schalen gewichten de helling van de invoer, terwijl de bias deze verticaal verschuift. Met de logistische sigmoid f_A(x) = 1/(1+e^{-x}), is de overgang van 0 naar 1 gecentreerd op x = 0. Het aanpassen van de bias verplaatst deze overgang links of rechts, en de gewichtsgrootte controleert de helling van de overgang.

Conclusie

We hebben de kernarchitectuurkeuzes voor onze Perceptron uiteengezet en de rol van bias-knooppunten uitgelegd. In het volgende artikel duiken we in de Python-code die dit ontwerp tot leven wekt.