Twee deep learning-modellen combineren

Deep learning is een hulpmiddel van onschatbare waarde in het arsenaal van data-analisten met nieuwe toepassingen op verschillende gebieden, waaronder industriële toepassingen. Het basisprincipe van deep learning is het gebruik van grote hoeveelheden gegevens om een ​​model te bouwen dat nauwkeurige voorspellingen kan doen.

Laten we een klein voorbeeld bekijken van waar industriële automatiseringsingenieurs de behoefte zouden kunnen tegenkomen om twee deep learning-modellen te combineren. Een smartphonebedrijf heeft een productielijn die meerdere modellen smartphones produceert. Geautomatiseerde visie met behulp van deep learning-algoritmen voert de kwaliteitscontrole van de productielijn uit.

Momenteel bouwt de productielijn twee smartphones:Phone A en Phone B. Modellen A en B voeren de kwaliteitscontrole uit voor respectievelijk Phone A en B. Het bedrijf introduceert een nieuwe smartphone, Phone C. De productiefaciliteit heeft mogelijk een nieuw model nodig om kwaliteitscontrole uit te voeren voor de derde telefoon, Model C genaamd. Het bouwen van een nieuw model vereist een enorme hoeveelheid data en tijd.

Figuur 1. Video gebruikt met dank aan Matt Chan

Een ander alternatief is om de lessen van Model A en B te combineren om Model C te bouwen. Het gecombineerde model kan kwaliteitscontrole uitvoeren met kleine aanpassingen aan de gewichten.

Een ander scenario waarbij modellen moeten worden gecombineerd, is wanneer een nieuw model twee taken tegelijk moet uitvoeren. Twee deep learning-modellen zouden deze taken kunnen uitvoeren. Een model dat een dataset moet classificeren en voorspellingen moet doen in elke categorie kan worden gemaakt door twee modellen te combineren:een die grote datasets kan classificeren en een die voorspellingen kan doen.

Ensemble leren

Het combineren van meerdere deep learning-modellen is ensembleleren. Dit wordt gedaan om betere voorspellingen, classificaties of andere functies van een deep learning-model te maken. Ensemble learning kan ook een nieuw model creëren met de gecombineerde functionaliteiten van verschillende deep learning-modellen.

Het maken van een nieuw model heeft veel voordelen vergeleken met het helemaal opnieuw trainen van een nieuw model.

• Er zijn heel weinig gegevens nodig om het gecombineerde model te trainen, omdat het meeste geleerde wordt afgeleid van de gecombineerde modellen.
• Het kost minder tijd om een ​​gecombineerd model te bouwen in vergelijking met het bouwen van een nieuw model.
• Vereist minder computerbronnen wanneer modellen worden gecombineerd.
• Nieuwe gecombineerde modellen hebben een hogere nauwkeurigheid en hogere mogelijkheden dan de gecombineerde modellen om het nieuwe model te verkrijgen.

Vanwege de verschillende voordelen van ensembleleren, wordt het vaak uitgevoerd om een ​​nieuw model te creëren. Respectieve deep learning-algoritmen, pakketten en getrainde modellen moeten verschillende modellen combineren, en de meeste geavanceerde deep learning-algoritmen zijn geschreven met Python.

Figuur 2. Een stapelensemble voor deep learning neurale netwerken in Python. Afbeelding gebruikt met dank aan Machine Learning-beheersing

Het kennen van Python en de respectievelijke deep learning-tools die worden gebruikt, zijn voorwaarden voor het combineren van verschillende modellen. Zodra deze allemaal aanwezig zijn, worden verschillende technieken geïmplementeerd om verschillende deep learning-algoritmen te combineren. Ze worden uitgelegd in de volgende secties.

(Gewogen) gemiddelde methode

Bij deze methode wordt het gemiddelde van de twee modellen gebruikt als het nieuwe model. Het is de meest eenvoudige methode om twee deep learning-modellen te combineren. Het model dat is gemaakt door het eenvoudige gemiddelde van twee modellen te nemen, heeft meer nauwkeurigheid dan de gecombineerde twee modellen.

Om de nauwkeurigheid en uitkomst van het gecombineerde model verder te verbeteren, is het gewogen gemiddelde een haalbare optie. De gewichten die aan de verschillende modellen worden gegeven, kunnen gebaseerd zijn op de prestaties van de modellen of op de hoeveelheid training die elk model heeft ondergaan. Bij deze methode worden twee verschillende modellen gecombineerd om een ​​nieuw model te vormen.

Opzakmethode

Hetzelfde deep learning-model kan meerdere iteraties hebben. De verschillende iteraties zouden worden getraind met verschillende datasets en verschillende niveaus van verbetering hebben. Het combineren van de verschillende versies van hetzelfde deep learning-model is de bagging-methode.

De methodiek blijft dezelfde als die van de middelingsmethode. Verschillende versies van hetzelfde deep learning-model worden gecombineerd op een eenvoudige gemiddelde of gewogen gemiddelde manier. Deze methode helpt bij het maken van een nieuw model dat niet de bevestigingsbias heeft die is opgebouwd met een enkel model, waardoor het model nauwkeuriger en beter presteert.

Boostmethode

De boosting-methode is vergelijkbaar met het gebruik van een feedbacklus voor modellen. De prestatie van een model wordt gebruikt om de volgende modellen aan te passen. Dit creëert een positieve feedbacklus die alle factoren verzamelt die bijdragen aan het succes van het model.

Figuur 3. Boosing-methode voor ensembleleren. Afbeelding gebruikt met dank aan Ashish Patel

De boosting-methode vermindert de bias en variantie die door de modellen worden ervaren. Dit is mogelijk omdat dergelijke negatieve kanten in volgende iteraties worden uitgefilterd. Boosten kan op twee verschillende manieren:boosten op basis van gewicht en boosten op basis van residuen.

Aaneenschakelingsmethode

Deze methode wordt gebruikt wanneer verschillende gegevensbronnen in hetzelfde model moeten worden samengevoegd. Deze combinatietechniek neemt verschillende inputs op en voegt ze samen tot hetzelfde model. De resulterende dataset heeft meer dimensies dan de oorspronkelijke dataset.

Als het meerdere keren achter elkaar wordt gedaan, zullen de afmetingen van de gegevens groeien tot een zeer groot aantal, wat kan leiden tot overfitting en verlies van kritieke informatie, waardoor de prestaties van het gecombineerde model afnemen.

Stapelmethode

De stapelmethode voor ensemble deep learning-modellen integreert de verschillende methoden om deep learning-modellen te ontwikkelen met behulp van de prestaties van eerdere iteraties om de vorige modellen te verbeteren. Het toevoegen van een element van het nemen van een gewogen gemiddelde aan dit gestapelde model verbetert de positieve bijdragen voor de submodellen.

Evenzo kunnen zaktechnieken en aaneenschakelingstechnieken aan de modellen worden toegevoegd. De methode om verschillende technieken te combineren om modellen te combineren, kan de prestaties van het gecombineerde model verbeteren.

De methodologieën, technieken en algoritmen die kunnen worden gebruikt om deep learning-modellen te combineren, zijn ontelbaar en voortdurend in ontwikkeling. Er zullen nieuwe technieken zijn om dezelfde taak te volbrengen, met betere resultaten. Hieronder vindt u de belangrijkste ideeën over het combineren van modellen.

• Het combineren van modellen voor diep leren wordt ook wel ensembleleren genoemd.
• Het combineren van verschillende modellen wordt gedaan om de prestaties van deep learning-modellen te verbeteren.
• Het bouwen van een nieuw model door combinatie vereist minder tijd, gegevens en rekenkracht.
• De meest gebruikelijke methode om modellen te combineren is het middelen van meerdere modellen, waarbij het nemen van een gewogen gemiddelde de nauwkeurigheid verbetert.
• Bagging, boosting en concatenatie zijn andere methoden die worden gebruikt om deep learning-modellen te combineren.
• Gestapeld ensembleleren maakt gebruik van verschillende combinatietechnieken om een ​​model te bouwen.