Deep Learning uitgelegd: De sleutel tot moderne AI

De Arnold Schwarzenegger film Total Recall uit 1990 schetst een verhaal in 2084, bijna een eeuw in de toekomst. De toekomst zal zelfrijdende auto's hebben, volgens de film. Dit was sciencefiction in 1990 maar realiteit vandaag. Apple, Alphabet, Nissan, Uber, en vele meer bedrijven werken aan autonome auto's. Tesla verkoopt functionele zelfrijdende auto's aan eindconsumenten, die goed te werken lijken.

Wat maakte sciencefiction in slechts drie decennia realiteit? Het antwoord is deep learning.

Van Kunstmatige Intelligentie tot Deep Learning

Hephaestus, de Griekse god van vuur en metaalbewerking, creëerde gouden robots en machines. Al zo vroeg als de mechanische Turk in de 1770s, hebben mensen apparaten ontwikkeld die menselijke intelligentie nabootsen. Hoewel mechanische Turken bedrog waren, werden later computers ontwikkeld die mensen konden verslaan in de late 20e eeuw. Al die inspanningen waren gericht op het creëren van systemen die de menselijke hersenen kunnen nabootsen.

Figuur 1. Een doorsnede van de Turk. Afbeelding gebruikt met toestemming van Humboldt University Library

Kunstmatige intelligentie (AI) is de term gegeven aan elk computingsysteem dat probeert de menselijke hersenen na te bootsen. Alan Turing's Turing-machine was een primitief AI-systeem dat logica gebruikte om oplossingen te bereiken.

Machine learning (ML) is een subset van AI die modellen gebruikt om taken uit te voeren. Deze modellen worden getraind met een grote hoeveelheid data. Deep Blue, de computer die de wereldkampioen schaak Garry Kasparov in 1997 versloeg, is een voorbeeld van ML.

Deep learning is weer een subset van ML waar modellen leren van data zonder enige menselijke supervisie. Deep learning-systemen zijn daarom capabel van ongecontroleerd leren van ongestructureerde data.

Deep Learning: Hoe Werkt Het?

Deep learning is geïnspireerd door de structuur van menselijke hersenen die bestaan uit neuronen die informatie doorgeven en verwerken. De structuren die in deep learning gebruikt worden, heten kunstmatige neurale netwerken (ANN). ANNs kunnen informatie identificeren en classificeren zonder menselijke supervisie en worden gezegd capabel te zijn van ongecontroleerd leren. Dit vereist een veel groter volume data vergeleken met conventionele ML, die gesuperviseerd leren gebruikt.

ANNs bestaan uit meerdere lagen van de invoerlaag tot de uitvoerlaag, doorheen welke de data passeert. De overige lagen behalve de invoer- en uitvoerlagen heten verborgen lagen. De eerste laag van ANN, of de invoerlaag, bestaat uit neuronen. Neuronen van een ANN zijn wiskundige functies die een menselijke neuron nauwkeurig voorstellen.

Figuur 2. ANN invoer- en uitvoerlaag concept.

Informatietransmissie door verschillende lagen gebeurt via verbindende kanalen. Elke knoop in lagen van ANN is verbonden met elke knoop in de volgende laag met deze kanalen. Elk kanaal heeft een waarde eraan gekoppeld, aangeduid als zijn gewicht; vandaar dat de kanalen gewogen kanalen heten.

Alle neuronen in de verborgen lagen hebben een uniek nummer geassocieerd met hen, aangeduid als bias. Informatie passeert van de ene laag naar de volgende via de kanalen, mee nemend de gewichten geassocieerd met de kanalen. Wanneer het de neuron in de volgende laag bereikt, wordt de bias toegevoegd aan de gewogen som van invoeren.

Het resultaat van deze wiskundige operatie wordt gevoed aan de activatiefunctie. De activatiefunctie besluit of de neuron actief moet zijn of niet. Dit wordt gedaan door de niet-lineaire activatiefunctie toe te passen op het resultaat verkregen door bias toe te voegen aan de gewogen sommen van de kanalen. Activatiefuncties voegen non-lineariteit toe aan de output van een neuron.

Alleen de neuronen die actief zijn na toepassing van de activatiefunctie kunnen informatie naar de volgende laag sturen. Dit gaat door tot de finale laag, de uitvoerlaag. De gewichten van de neuronenkanalen en biases in verborgen lagen worden constant aangepast om een goed getraind model te ontvangen.

Enkele van de meest populaire deep learning frameworks zijn:

• Tensorflow door Google
• PyTorch door Facebook
• Caffe door UC Berkeley
• Microsoft Cognitive Toolset
• OpenAI

Data voor Deep Learning

Data is de grondstof voor deep learning. Theoretisch verbetert elke hoeveelheid data de modellen. Maar rekening houdend met de data-verzamelingsinspanning, benodigde trainingsduur, en benodigde rekenkracht om modellen te trainen, kan de hoeveelheid data voor deep learning niet oneindig zijn. Integenstelling, te weinig data zal geen betrouwbaar deep learning-model opleveren.

Er is geen harde regel voor de hoeveelheid data die vereist is om een succesvol model te trainen. Het hangt primair af van het resultaat van getrainde modellen. Als de modellen niet voldoende betrouwbaar zijn, is meer data vereist. Er zijn enkele ervaringsregels voor de minimale data die vereist is om deep learning-modellen te trainen.

• Minimaal 20 datapunten voor voorspellingen met regressie-analyse
• Minimaal 1.000 afbeeldingen voor classificatie met computer vision

Dit zijn twee heuristieken voor deze meer voorkomende toepassingen met deep learning. Data-engineers bevelen vergelijkbare regels aan voor verschillende toepassingen. Zoals met alle ervaringsregels, zijn deze niet perfect en zouden ze volgens de specifieke toepassing aangepast moeten worden.

Industriële Toepassingen van Deep Learning

Er zijn veel industriële toepassingen voor deep learning. Laten we er enkele doorlopen.

Autonome Voertuigen

Zelfrijdende auto's worden nu aan consumenten verkocht, maar ze hebben ook veel industriële toepassingen. Autonome rijden kan geïntegreerd worden in transportapparaten die in fabrieken gebruikt worden; bijvoorbeeld: autonome geleide voertuigen (AGVs) kunnen volledig autonoom gaan. Dit elimineert de behoefte aan handmatige arbeid in dergelijke taken terwijl veiligheid en efficiëntie verbeteren.

Figuur 3. Een AGV die gebruikt wordt in een logistiek magazijn.

Computer Vision

Computers classificeren en herkennen objecten uit afbeeldingen. Soms is computer vision onderdeel van autonome voertuigen, maar het heeft veel meer toepassingen in industriële toepassingen. Computer vision kan object-sortering automatiseren. Computer vision-ondersteunde systemen kunnen kwaliteitsinspecties uitvoeren. Het kan ook de bewaking van bedrijfsterreinen en industriële processen automatiseren.

Supply Chain Management

De toeleveringsketen van een bedrijf is een complex systeem dat meerdere leveranciers, leveranciers, geografische gebieden, en regelgeving omspant. Het handmatig managen van een enorme verkeersvolume van goederen is een onmogelijke taak. Deep learning kan ingezet worden om een gezonde toeleveringsketen te handhaven door grote volumes data te analyseren gegenereerd met de hulp van IoT (Internet of Things) apparaten in de toeleveringsketen.

Medische Toepassingen

Deep learning heeft ook veel medische toepassingen. Het kan ingezet worden om afwijkingen te identificeren uit resultaten van medische imaging zoals röntgenfoto's, MRI's, etc. Het kan ook patiëntengezondheid monitoren met bevestigde monitoringapparaten rond de klok. Deep learning kan helpen bij geneesmiddelontdekking door de meest waarschijnlijke combinatie van moleculen te geven.

Deep learning heeft nog veel meer industriële toepassingen in luchtvaartruimtevaart, ruimtevaart, mijnbouw, navigatie, verdedigingssystemen, cyberbeveiliging, en de lijst gaat door. Deep learning wordt snel geadopteerd over alle industrieverticalen en zal binnenkort een kritisch en onmisbaar element van Industrie 4.0 zijn.