Dual Deep Learning-modellen integreren voor verbeterde industriële automatisering

Deep learning is een onschatbaar hulpmiddel in het arsenaal van data-analisten met nieuwe toepassingen in verschillende domeinen, inclusief industriële toepassingen. Het basisonderliggende principe van deep learning is het gebruik van grote hoeveelheden data om een model te bouwen dat nauwkeurige voorspellingen kan maken.

Laten we een klein voorbeeld overwegen waar industriële automatiseringsingenieurs de behoefte kunnen tegenkomen om twee deep learning-modellen te combineren. Een smartphonebedrijf heeft een productielijn die meerdere smartphone-modellen produceert. Gecomputeriseerde visie met deep learning-algoritmen voert de kwaliteitscontrole van de productielijn uit.

Momenteel bouwt de productielijn twee smartphones: Telefoon A en Telefoon B. Modellen A en B voeren de kwaliteitscontrole uit voor Telefoons A en B, respectievelijk. Het bedrijf introduceert een nieuwe smartphone, Telefoon C. De productiefaciliteit heeft misschien een nieuw model nodig om kwaliteitscontrole uit te voeren voor de derde telefoon, Model C. Een nieuw model bouwen vereist een enorme hoeveelheid data en tijd.

 Figuur 1. Video gebruikt met toestemming van Matt Chan

Een alternatief is om de leerresultaten van Model A en B te combineren om Model C te bouwen. Het gecombineerde model kan kwaliteitscontrole uitvoeren met kleine aanpassingen aan de gewichten.

Een ander scenario waar modellen gecombineerd moeten worden is wanneer een nieuw model twee taken tegelijkertijd moet uitvoeren. Twee deep learning-modellen zouden deze taken kunnen uitvoeren. Een model dat een dataset moet classificeren en voorspellingen moet maken in elke categorie, kan gemaakt worden door twee modellen te combineren: één die grote datasets kan classificeren en één die voorspellingen kan maken.

Ensemble Learning

Het combineren van meerdere deep learning-modellen heet ensemble learning. Dit wordt gedaan om betere voorspellingen, classificaties, of andere functies van een deep learning-model te maken. Ensemble learning kan ook een nieuw model creëren met de gecombineerde functionaliteiten van verschillende deep learning-modellen.

Het creëren van een nieuw model heeft veel voordelen ten opzichte van het volledig vanaf nul trainen van een nieuw model.

• Vereist heel weinig data om het gecombineerde model te trainen omdat de meeste leerresultaten afkomstig zijn van de gecombineerde modellen.
• Het duurt minder tijd om een gecombineerd model te bouwen vergeleken met het bouwen van een volledig nieuw model.
• Vereist minder rekenresources wanneer modellen gecombineerd worden.
• Nieuwe gecombineerde modellen hebben hogere nauwkeurigheid en hogere capaciteiten dan de modellen die gecombineerd zijn om het nieuwe model te verkrijgen.

Vanwege de verschillende voordelen van ensemble learning, wordt het vaak uitgevoerd om een nieuw model te creëren. Respectieve deep learning-algoritmen, pakketten, en getrainde modellen moeten verschillende modellen combineren, en de meeste geavanceerde deep learning-algoritmen zijn geschreven in Python.

Figuur 2. Een stacking ensemble voor deep learning neurale netwerken in Python. Afbeelding gebruikt met toestemming van Machine Learning Mastery

Kennis van Python en de respectieve deep learning-tools die gebruikt worden, zijn voorwaarden voor het combineren van verschillende modellen. Eenmaal al die zaken op hun plaats zijn, worden verschillende technieken geïmplementeerd om verschillende deep learning-algoritmen te combineren. Deze worden in de volgende secties uitgelegd.

(Gewogen) Gemiddelde Methode

In deze methode wordt het gemiddelde van de twee modellen gebruikt als het nieuwe model. Het is de meest voor de hand liggende methode om twee deep learning-modellen te combineren. Het model dat gecreëerd wordt door het eenvoudige gemiddelde van twee modellen heeft meer nauwkeurigheid dan de twee gecombineerde modellen.

Om de nauwkeurigheid en het resultaat van het gecombineerde model verder te verbeteren, is het gewogen gemiddelde een levensvatbare optie. De gewichten die aan de verschillende modellen gegeven worden, kunnen gebaseerd zijn op de prestaties van de modellen of op de hoeveelheid training die elk model heeft ondergaan. In deze methode worden twee verschillende modellen gecombineerd om een nieuw model te vormen.

Bagging Methode

Hetzelfde deep learning-model kan meerdere iteraties hebben. De verschillende iteraties zouden getraind worden met verschillende datasets en verschillende verbeterniveaus hebben. Het combineren van de verschillende versies van hetzelfde deep learning-model is de bagging-methode.

De methodologie blijft hetzelfde als die van de gemiddelde-methode. Verschillende versies van hetzelfde deep learning-model worden gecombineerd in een eenvoudig gemiddelde of gewogen gemiddelde vorm. Deze methode helpt een nieuw model te creëren dat niet de bevestigingsbias heeft die opgebouwd is met een enkel model, wat het model nauwkeuriger en hoger presterend maakt.

Boosting Methode

De boosting-methode lijkt op het gebruik van een feedbacklus voor modellen. De prestaties van een model worden gebruikt om de opvolgende modellen aan te passen. Dit creëert een positieve feedbacklus die alle factoren die bijdragen aan het succes van het model, accumulateert.

Figuur 3. Boosting methode voor ensemble learning. Afbeelding gebruikt met toestemming van Ashish Patel

De boosting-methode vermindert de bias en variantie die door de modellen ervaren worden. Dit is mogelijk omdat dergelijke negatieve kanten in opvolgende iteraties uitgefilterd worden. Boosting kan op twee verschillende manieren gedaan worden: gewichts-gebaseerde boosting en residu-gebaseerde boosting.

Concatenatie Methode

Deze methode wordt gebruikt wanneer verschillende databronnen in hetzelfde model samengevoegd moeten worden. De combinatietechniek neemt verschillende inputs en concateneert ze naar hetzelfde model. De resulterende dataset zal meer dimensies hebben dan de oorspronkelijke dataset.

Wanneer dit meerdere keren achtereen gedaan wordt, zullen de dimensies van de data groeien tot een heel groot aantal, wat kan leiden tot overfitting en verlies van kritieke informatie, wat de prestaties van het gecombineerde model vermindert.

Stacking Methode

De stacking-methode voor ensemble deep learning-modellen integreert de verschillende methoden om deep learning-modellen te ontwikkelen met behulp van de prestaties van eerdere iteraties om de vorige modellen te boosten. Het toevoegen van een element van het nemen van een gewogen gemiddelde aan dit gestapelde model verbetert de positieve bijdragen voor de sub-modellen.

Op dezelfde manier kunnen bagging-technieken en concatenatietechnieken aan de modellen toegevoegd worden. De methode van het combineren van verschillende technieken om modellen te combineren, kan de prestaties van het gecombineerde model verbeteren.

De methodologieën, technieken, en algoritmen die gebruikt kunnen worden om deep learning-modellen te combineren, zijn ongeteld en evolueren constant. Er zullen nieuwe technieken zijn om dezelfde taak te volbrengen met betere resultaten. De kernideeën om te weten over het combineren van modellen zijn hieronder gegeven.

• Het combineren van deep learning-modellen heet ook ensemble learning.
• Het combineren van verschillende modellen wordt gedaan om de prestaties van deep learning-modellen te verbeteren.
• Het bouwen van een nieuw model door combinatie vereist minder tijd, data, en rekenresources.
• De meest voorkomende methode om modellen te combineren is door meerdere modellen te middelen, waarbij het nemen van een gewogen gemiddelde de nauwkeurigheid verbetert.
• Bagging, boosting, en concatenatie zijn andere methoden die gebruikt worden om deep learning-modellen te combineren.
• Gestapelde ensemble learning gebruikt verschillende combinatietechnieken om een model te bouwen.