Wat is deep learning?

De film van Arnold Schwarzenegger uit 1990 Total Recall toont een verhaal in 2084, bijna een eeuw in de toekomst. De toekomst zal volgens de film zelfrijdende auto's hebben. Dit was sciencefiction in 1990, maar is nu realiteit. Apple, Alphabet, Nissan, Uber en nog veel meer bedrijven werken aan autonome auto's. Tesla verkoopt functionele zelfrijdende auto's aan eindconsumenten, wat goed lijkt te werken.

Wat maakte sciencefiction in slechts drie decennia werkelijkheid? Het antwoord is diep leren.

Van kunstmatige intelligentie tot diep leren

Hephaestus, de Griekse god van vuur en metaalbewerking, creëerde gouden robots en machines. Al in de mechanische Turk in de jaren 1770 hebben mensen constructies ontwikkeld die de menselijke intelligentie nabootsen. Hoewel mechanische Turken bedrog waren, werden aan het einde van de 20e eeuw computers ontwikkeld die in staat waren om mensen te verslaan. Dat waren allemaal pogingen om systemen te creëren die het menselijk brein kunnen nabootsen.

Figuur 1. Een dwarsdoorsnede van de Turk. Afbeelding gebruikt met dank aan Huboldt Universiteitsbibliotheek

Kunstmatige intelligentie (AI) is de term die wordt gebruikt voor elk computersysteem dat probeert het menselijk brein te imiteren. De Turing-machine van Alan Turing was een primitief AI-systeem dat logica gebruikte om tot oplossingen te komen.

Machine learning (ML) is een subset van AI die modellen gebruikt om taken uit te voeren. Deze modellen worden getraind met een grote hoeveelheid data. Deep Blue, de computer die in 1997 wereldkampioen schaken Garry Kasparov versloeg, is een voorbeeld van ML.

Deep learning is opnieuw een subset van ML waarbij modellen leren van gegevens zonder enig menselijk toezicht. Deep learning-systemen zijn daarom in staat om ongestructureerde gegevens zonder toezicht te leren.

Deep Learning:hoe werkt het?

Deep learning is geïnspireerd op de structuur van menselijke hersenen die neuronen vormen die informatie doorgeven en verwerken. De structuren die bij deep learning worden gebruikt, worden kunstmatige neurale netwerken (ANN) genoemd. ANN's kunnen informatie identificeren en classificeren zonder menselijk toezicht en zouden in staat zijn tot leren zonder toezicht. Dit vereist een veel grotere hoeveelheid gegevens in vergelijking met conventionele ML, die gesuperviseerd leren gebruikt.

ANN's bestaan ​​uit meerdere lagen van de invoerlaag naar de uitvoerlaag, waar de gegevens doorheen gaan. De overige lagen behalve de invoer- en uitvoerlagen worden verborgen lagen genoemd. De eerste laag van ANN, of de invoerlaag, is gemaakt van neuronen. Neuronen van een ANN zijn wiskundige functies die nauw overeenkomen met een menselijk neuron.

Figuur 2. ANN invoer- en uitvoerlaagconcept.

Informatieoverdracht via verschillende lagen gebeurt via verbindingskanalen. Elk knooppunt in lagen van ANN is verbonden met elk knooppunt in de volgende laag met deze kanalen. Aan elk kanaal is een waarde verbonden, die het gewicht wordt genoemd; daarom worden de kanalen gewogen kanalen genoemd.

Alle neuronen in de verborgen lagen hebben een uniek nummer dat bij hen hoort, bias genoemd. Informatie gaat van de ene laag naar het volgende kanaal en neemt de gewichten die bij de kanalen horen. Wanneer het het neuron in de volgende laag bereikt, wordt de bias toegevoegd aan de gewogen som van de inputs.

Het resultaat van deze wiskundige bewerking wordt naar de activeringsfunctie gevoerd. De activeringsfunctie bepaalt of het neuron actief moet zijn of niet. Dit wordt gedaan door de niet-lineaire activeringsfunctie toe te passen op het verkregen resultaat door bias toe te voegen aan de gewogen sommen van kanalen. Activeringsfuncties voegen niet-lineariteit toe aan de output van een neuron.

Alleen de neuronen die actief zijn na het toepassen van de activeringsfunctie kunnen informatie naar de volgende laag sturen. Dit gaat door tot de laatste laag, de uitvoerlaag. De gewichten van de kanalen van de neuronen en vooroordelen in verborgen lagen worden constant aangepast om een ​​goed getraind model te ontvangen.

Enkele van de meest populaire frameworks voor diep leren zijn:

• Tensorflow van Google
• PyTorch door Facebook
• Caffe door UC Berkeley
• Microsoft Cognitive Toolset
• OpenAI

Gegevens voor diepgaand leren

Data is de grondstof voor deep learning. Theoretisch verbetert elke hoeveelheid gegevens de modellen. Maar gezien de inspanning voor het verzamelen van gegevens, de benodigde trainingstijd en de rekenkracht die nodig is om modellen te trainen, kan de hoeveelheid gegevens voor deep learning niet oneindig zijn. Omgekeerd zullen te weinig gegevens geen betrouwbaar deep learning-model opleveren.

Er is geen pasklare regel voor de hoeveelheid gegevens die nodig is om een ​​succesvol model te trainen. Het hangt vooral af van het resultaat van getrainde modellen. Als de modellen niet voldoende betrouwbaar zijn, zijn meer gegevens nodig. Er zijn enkele vuistregels voor de minimale gegevens die nodig zijn om deep learning-modellen te trainen.

• Ten minste 20 gegevenspunten voor voorspellingen met regressieanalyse
• Minstens 1.000 afbeeldingen voor classificatie met computervisie

Dit zijn twee heuristieken voor deze meer algemene toepassingen met deep learning. Data-engineers pleiten voor vergelijkbare regels voor verschillende toepassingen. Zoals met alle vuistregels, zijn deze niet perfect en moeten ze worden aangepast aan de specifieke toepassing.

Industriële toepassingen van diep leren

Er zijn veel industriële toepassingen voor deep learning. Laten we er een paar doornemen.

Autonome voertuigen

Zelfrijdende auto's worden nu verkocht aan consumenten, maar ze hebben ook veel industriële toepassingen. Autonoom rijden kan worden geïntegreerd in transportmiddelen die in fabrieken worden gebruikt; autonoom geleide voertuigen (AGV's) kunnen bijvoorbeeld volledig autonoom gaan. Dit elimineert de noodzaak van handmatige arbeid bij dergelijke taken, terwijl de veiligheid en efficiëntie worden verbeterd.

Figuur 3. Een AGV die wordt gebruikt in een logistiek magazijn.

Computervisie

Computers classificeren en herkennen objecten uit afbeeldingen. Soms maakt computervisie deel uit van autonome voertuigen, maar het heeft veel meer toepassingen in industriële toepassingen. Computervisie kan het sorteren van objecten automatiseren. Computer vision-aided systemen kunnen kwaliteitsinspecties uitvoeren. Het kan ook de bewaking van fabrieksterreinen en industriële processen automatiseren.

Toeleveringsketenbeheer

De toeleveringsketen van een bedrijf is een complex systeem dat meerdere leveranciers, leveranciers, regio's en regelgeving omvat. Het handmatig beheren van een enorme hoeveelheid goederenverkeer is een onmogelijke taak. Deep learning kan worden gebruikt om een ​​gezonde toeleveringsketen in stand te houden door grote hoeveelheden gegevens te analyseren die zijn gegenereerd met behulp van IoT-apparaten (Internet of Things) in de toeleveringsketen.

Medische toepassingen

Deep learning kent ook veel medische toepassingen. Het kan worden gebruikt om anomalieën te identificeren in resultaten van medische beeldvorming, zoals röntgenfoto's, MRI's, enz. Het kan ook de gezondheid van de patiënt de klok rond bewaken met aangesloten bewakingsapparatuur. Deep learning kan helpen bij het ontdekken van medicijnen door de meest waarschijnlijke combinatie van moleculen te geven.

Deep learning heeft veel meer industriële toepassingen in de lucht- en ruimtevaart, verkenning van de ruimte, mijnbouw, navigatie, defensiesystemen, cyberbeveiliging, en de lijst gaat maar door. Deep learning wordt snel toegepast in alle verticale sectoren en zal binnenkort een cruciaal en onvermijdelijk onderdeel zijn van Industrie 4.0.