Bias-knooppunten toevoegen aan een Multilayer Perceptron in Python

Deze artikel legt uit hoe bias-knooppunten in een multilayer perceptron (MLP) te integreren met Python en hun effect op classificatieprestaties te evalueren.

Welkom bij de All About Circuits neurale netwerk reeks, geschreven door Director of Engineering Robert Keim. Als u de andere lessen nog niet heeft verkend, vindt u ze hieronder. Ze bieden een stevige basis voor de concepten in dit artikel.

1. Hoe classificatie uit te voeren met een neuraal netwerk: Wat is de Perceptron?
2. Hoe een simpele Perceptron-neuraal netwerk voorbeeld te gebruiken om data te classificeren
3. Hoe een basale Perceptron-neuraal netwerk te trainen
4. Eenvoudige neuraal netwerk training begrijpen
5. Inleiding tot trainings theorie voor neurale netwerken
6. Leer snelheid in neurale netwerken begrijpen
7. Geavanceerde machine learning met de Multilayer Perceptron
8. De Sigmoid-activeringsfunctie: Activering in Multilayer Perceptron neurale netwerken
9. Hoe een Multilayer Perceptron neuraal netwerk te trainen
10. Trainingsformules en Backpropagation voor Multilayer Perceptrons begrijpen
11. Neuraal netwerk architectuur voor een Python-implementatie
12. Hoe een Multilayer Perceptron neuraal netwerk in Python te maken
13. Signaalverwerking met neurale netwerken: Validatie in neuraal netwerk ontwerp
14. Trainingsdatasets voor neurale netwerken: Hoe een Python neuraal netwerk te trainen en valideren
15. Hoeveel verborgen lagen en verborgen knooppunten heeft een neuraal netwerk nodig?
16. Hoe de nauwkeurigheid van een verborgen laag neuraal netwerk te verhogen
17. Bias-knooppunten in je neuraal netwerk integreren

Bias-knooppunten zijn extra invoeren die een constante waarde – meestal +1 – direct aan de invoer- of verborgen lagen van een perceptron leveren. Ze stellen het netwerk in staat om beslissingsgrenzen te verschuiven zonder de invoerdata zelf te wijzigen. Dit artikel presenteert twee praktische methoden voor het toevoegen van bias-knooppunten en toont hoe hun impact op modelnauwkeurigheid te beoordelen.

Methode 1: Bias toevoegen via het spreadsheet

Wanneer uw trainings- of validatiedata in een spreadsheet staan, kunt u een bias-kolom invoegen zonder de Python-code aan te passen.

Stappen:

1. Voeg een nieuwe kolom in het spreadsheet in en vul deze met de gewenste bias-waarde (meestal +1).
2. Pas de dimensionaliteit van de invoerlaag in uw code aan om rekening te houden met de nieuwe kolom.

Deze aanpak is snel en vereist geen codewijzigingen, ideaal voor prototyping.

Methode 2: Bias direct in Python integreren

Voor meer flexibiliteit – zoals bias toevoegen aan verborgen lagen – wijzigt u de netwerkarchitectuur in de code. Hieronder een beknopt voorbeeld dat bias-knooppunten toevoegt aan zowel de invoer- als de verborgen laag.

Invoerlaag-dimensionaliteit bijwerken

# Trainingsdata laden
training_data = np.array(...)  # vorm: (monsters, kenmerken)
training_count = training_data.shape[0]
# Een kolom van +1 toevoegen voor de invoer-bias
bias_column = np.ones((training_count, 1))
training_data = np.hstack((training_data, bias_column))
# Hetzelfde voor validatiedata
validation_data = np.hstack((validation_data, np.ones((validation_count, 1))))

Hier creëert np.ones een kolom van enen die de constante bias-invoer vertegenwoordigt. De functie np.hstack voegt deze kolom toe aan de bestaande kenmerkmatrix.

Een verborgen-laag bias-knooppunt toevoegen

# Tijdens feedforward-berekening
for node in range(hidden_dim):
    # Gewogen som berekenen voor elk verborgen knooppunt
    z = np.dot(input_vector, weights_input_hidden[:, node])
    post_activation[node] = activation_function(z)
# Bias-knooppunt waarde (+1) in de verborgen laag invoegen
post_activation[hidden_dim] = 1.0  # Bias-knooppunt aan het einde

Wanneer hidden_dim het bias-knooppunt omvat, stopt de lus voor het laatste knooppunt en wordt de bias-waarde daarna toegewezen. Pas de bijbehorende validatielus op dezelfde manier aan.

Verschillende bias-waarden kiezen

Hoewel +1 conventioneel is, kunt u experimenteren met andere constanten. Voor de invoer-bias vermenigvuldigt u bias_column met de gewenste waarde. Voor de verborgen bias past u de toewijzing in de feedforward-lus aan.

Impact van bias evalueren

In deel 16 van de reeks had de MLP moeite om de hoge-complexiteit Experiment 3 dataset te classificeren. Om te bepalen of bias-knooppunten kunnen helpen, voerden we tien onafhankelijke trainingsruns uit met een verborgen laag van zeven eenheden, waarbij vier configuraties werden vergeleken: geen bias, alleen invoer-bias, alleen verborgen bias, en beide biases.

De resultaten tonen minimale verschillen – bias-knooppunten verbeterden de nauwkeurigheid niet significant voor deze specifieke dataset. Dit resultaat komt overeen met bevindingen uit andere studies die suggereren dat bias-knooppunten in bepaalde contexten nuttig kunnen zijn, maar geen universele prestatiebooster zijn.

Conclusie

Hoewel bias-knooppunten zelden de classificatienauwkeurigheid in alle scenario's transformeren, blijven ze een waardevol architecturaal hulpmiddel. Het integreren van bias-ondersteuning in uw codebase zorgt ervoor dat u de effectiviteit snel kunt testen op toekomstige datasets of modelvarianten. Door de bovenstaande methoden te volgen, kunt u bias-knooppunten met minimale moeite toevoegen en hun impact systematisch evalueren.