De kracht van AI in industriële automatisering

De meest geavanceerde benaderingen van volledig intelligente robotsystemen

AI (kunstmatige intelligentie) maakt de automatisering van een groeiend aantal bedrijfsprocessen en industriële toepassingen mogelijk. De reikwijdte en het tempo van slimme automatisering zijn direct afhankelijk van de vooruitgang in AI en hebben als zodanig de afgelopen jaren enorme sprongen voorwaarts gemaakt. Gecombineerd met krachtige 3D-machinevisie stelt AI robots in staat om elk type object te herkennen, lokaliseren en hanteren en zo taken te automatiseren die te gevaarlijk, eentonig of anderszins veeleisend zijn voor mensen.

Maar wat wordt bedoeld met AI in industriële automatisering, hoe werkt het en welke mogelijkheden opent het voor fabrieken en bedrijven die streven naar moderniteit, innovatie en verhoogde productiviteit? Laten we allereerst eens kijken naar het prille begin van AI en de geleidelijke ontwikkeling ervan.

Van de eerste architecturen tot convolutionele neurale netwerken

De term AI kan een aantal machinemogelijkheden en -processen vertegenwoordigen - van eenvoudige statistieken via beslissingsbomen tot neurale netwerken, zoals convolutionele neurale netwerken, of zelfs meer geavanceerde benaderingen zoals versterkend leren.

De geschiedenis van de ontwikkeling van AI kende verschillende benaderingen, maar neurale netwerken bleken de meest veelbelovende en interessante te zijn dankzij hun vermogen om te generaliseren.

In de jaren negentig en begin jaren 2000 kregen neurale netwerken veel aandacht dankzij de eerste succesvolle toepassingen van tekenherkenning, waaronder het lezen van handgeschreven cijfers in bankcheques en postcodes. Deze neurale netwerken zijn getraind op een zogenaamde MNIST dataset (staat voor Modified National Institute of Standards and Technology ), een verzameling handgeschreven cijfers van 0 tot 9 die wordt gebruikt bij machine learning en machine vision voor het trainen van beeldverwerkingssystemen. De MNIST-dataset diende als basis voor het benchmarken van classificatie-algoritmen en wordt nog steeds gebruikt voor trainings- en testdoeleinden.

Hoewel deze klassieke neurale netwerken praktisch alles kunnen leren, vertegenwoordigen ze een oude, volledig verbonden architectuur en ze trainen kost veel tijd en moeite . Dit komt omdat alle neuronen in de ene laag volledig verbonden zijn met de neuronen in de volgende laag - wat betekent dat er een enorm aantal parameters moet worden geleerd, die toenemen met de grootte van een afbeelding. Hoewel de prestaties van computers in de loop van de tijd zijn verbeterd, duurt het nog steeds erg lang om de herkenning van zelfs kleine afbeeldingen te trainen.

Een keerpunt in de ontwikkeling van AI werd gekenmerkt door de introductie van convolutionele neurale netwerken (CNN's) . CNN's worden voornamelijk gebruikt voor het analyseren van visuele beelden, waaronder beeldclassificatie of patroonherkenning en vormen de ruggengraat van veel moderne machine vision-systemen. Een ander belangrijk toepassingsgebied is natuurlijke taalverwerking.

Een CNN is, losjes gesproken, geïnspireerd door het visuele cortexsysteem in de hersenen. Het belangrijkste idee achter CNN's is niet om alle neuronen met elkaar te verbinden, zoals het geval is bij volledig verbonden netwerken, maar alleen met naburige neuronen om nabijheid te creëren, aangezien naburige inputs, zoals pixels, gerelateerde informatie bevatten. Dit betekent dat CNN's meerdere lagen kunnen hebben en neuronen in één laag zijn alleen verbonden met neuronen in de volgende laag die er ruimtelijk dicht bij liggen . Dit vermindert de complexiteit, het aantal neuronen in het netwerk en dus ook het aantal te leren parameters. Hierdoor zijn CNN's sneller te trainen, hebben ze minder samples nodig en kunnen ze ook worden toegepast op grotere afbeeldingen.

De term “convolutioneel” verwijst naar het filterproces waarmee CNN's patronen detecteren. De afzonderlijke lagen convolueren , d.w.z. combineren , de invoer en geef het resultaat door aan de volgende laag.

De vooruitgang in de ontwikkeling van CNN's is ook versneld door de vooruitgang in grafische verwerkingseenheden (GPU's). Hun prestaties en rekenkracht zijn de afgelopen jaren enorm verbeterd, wat nieuwe mogelijkheden opent voor het trainen van CNN's.

Een van de meest erkende leiders op het gebied van AI, vaak de "Godfather of AI" genoemd, is Geoffrey Hinton . Hij heeft een graad in experimentele psychologie en kunstmatige intelligentie. Deze combinatie gaf hem veel inzicht in het trainen van kunstmatige neurale netwerken.

In 2012 zijn leerling Alex Krizhevsky markeerde een ander keerpunt in AI toen hij een CNN creëerde die in staat was de manier na te bootsen waarop het menselijk brein objecten herkent. De CNN kreeg de naam het AlexNet en voor het eerst in de geschiedenis stelde een machine in staat om objecten zoals een persoon te identificeren.

Deze doorbraak maakte convolutionele neurale netwerken populair en toonde het enorme scala aan toepassingen waarvoor CNN's kunnen worden gebruikt.

Een convolutioneel neuraal netwerk trainen

Bij objectherkenning is het belangrijk dat een CNN een eigenschap heeft die invariantie wordt genoemd . Dit betekent dat het invariant is voor vertaling, gezichtspunt, grootte of verlichting om invoerpatronen te kunnen interpreteren en objecten te classificeren, ongeacht waar en hoe ze in een afbeelding zijn geplaatst. Om dit te bereiken, moet CNN worden getraind op een bepaald aantal voorbeelden. Een van de best practices om de hoeveelheid relevante data in een dataset te vergroten, is data augmentation .

Augmentatie is de praktijk van het wijzigen van invoergegevens, d.w.z. de originele afbeelding, om verschillende andere, enigszins gewijzigde versies ervan te genereren. Augmentatietechnieken zijn onder meer horizontaal of verticaal spiegelen, roteren, schalen, bijsnijden, het verplaatsen van de afbeelding in de X- of Y-richting.

Door een CNN te trainen op gewijzigde gegevens, worden zijn neuronen immuun voor dergelijke augmentaties en wordt voorkomen dat het irrelevante patronen leert. Een omgedraaide papegaai wordt dus nog steeds herkend als een papegaai.

Wat hierbij erg handig is, is het zogenaamde transfer learning . Om de hoeveelheid trainingsgegevens te elimineren, kan men een bestaand en reeds getraind netwerk gebruiken en enkele van zijn filters toepassen voor de herkenning van nieuwe soorten objecten. Een netwerk dat getraind is voor het herkennen van honden kan bijvoorbeeld ook worden gebruikt voor het herkennen van katten door enkele filters te behouden en slechts een bepaald deel ervan aan te passen. Dit betekent dat het netwerk zich zal aanpassen aan de herkenning van katten.

Voordelen van modulaire convolutionele neurale netwerken

De grote waarde van CNN's ligt in hun architectuur en het feit dat de afzonderlijke modules naar afzonderlijke beeldblokken kijken. De modules hoeven niet gelijktijdig te worden getraind en kunnen eenvoudig aan elkaar worden gekoppeld. Door deze goed getrainde modules te combineren ontstonden complexe architecturen die kunnen worden gebruikt voor segmentatie .

In tegenstelling tot het AlexNet, dat alleen kan herkennen wat er in de afbeelding staat, kunnen deze complexe CNN's objectsegmentatie uitvoeren en de locatie van het object in de afbeelding definiëren .

Deze modulariteit maakt het mogelijk om verschillende invoerkanalen te gebruiken, wat betekent dat als de CNN werd gebruikt voor zwart-witgegevens, deze ook kan worden gebruikt voor kleurgegevens, en als deze werd gebruikt voor kleurgegevens, deze kan worden uitgebreid met diepte-informatie. Het toevoegen van aanvullende informatie verbetert de prestaties van CNN , which includes increased accuracy and better recognition of objects and their positions.

From object recognition to smart automation solutions

Based on the above features and characteristics of convolutional neural networks, Photoneo took CNNs as a basis for its advanced robotic intelligence systems and automation solutions .

Photoneo’s CNN works with black &white data, color data, as well as depth information. The algorithms are trained on a large dataset of objects and if they come across new types of items, they can quickly generalize, that is, recognize and classify objects which it has not “seen” before.

Let’s take the concept of a box, for instance. The algorithms were trained on a large dataset of boxes so they understand that a box has a certain amount of faces, edges, and vertices. This principle will also work for boxes that the algorithms have not come across before, even squeezed or damaged ones. The greatest value of AI lies in the fact that it can generalize concepts that it was trained on without further retraining.

This enables Photoneo systems to recognize items of various shapes, sizes, colors, or materials – a robotic ability used for the localization and handling of mixed objects, including organic items such as fruit or fish, sorting of parcels, unloading of pallets laden with boxes, and many other industrial applications.

It might also happen that the algorithms come across objects with features that are fundamentally different from those the algorithms were trained on. This might confuse the CNN and cause a decrease in its performance. What can be done to solve this problem is either to prevent it by expecting exotic objects or to have a good retraining system. In the latter case, the performance will be temporarily lower but the CNN will be retrained to reach full performance rather quickly.

In case a customer needs to pick unusual items or non-commercial products such as industrial components, the CNN can be trained on a specific dataset containing these exotic items .

When it comes to the realization of a customer project, the customer receives Photoneo’s CNN for pilot testing and a feasibility study to ensure that the network can be used for that particular application. This CNN can then be improved and further trained on images from the pilot phase of the project, which will provide greater variability.

The greatest challenge in AI-powered object recognition and picking

The greatest challenge could also be described as the last puzzle piece that was missing in the range of pickable objects. This last piece was bags .

The difficulty lies in the nature of bags since they are extremely deformable and full of wrinkles, folds, and other irregularities. Despite the challenges that bags pose to AI, Photoneo developed a system that is able to recognize and pick bags, may they be full, half-empty, colored, transparent, or semi-transparent. This task is often challenging even for the human eye, which may find it difficult to recognize boundaries between bags that are chaotically placed in a container, especially if they are transparent.

However, good recognition and localization of bags are only part of the precondition for successful object picking. The other part relates to the mechanical side of an application – the robot gripper. The fact that bags are full of folds and wrinkles increases the risk that they will fall off the gripper. This risk can be prevented by using an appropriate vacuum gripper with feedback.

Future developments of AI

Despite significant advancements that have been made in AI in recent years, the field still offers a vast space for new achievements. For instance, so-called reinforcement learning receives great attention as it seems to be very promising in suggesting complex movements, for instance allowing a robot to adjust the position of an item before grasping it.

Reinforcement learning is not only able to cope with object recognition but also with mechanical problems of an application. This means that it not only enables a system to recognize items but also assess the individual steps of a robot action on the basis of rewards and punishments and “calculate” the chance of success or failure . In other words, AI algorithms are trained to make a sequence of decisions that will lead to actions maximizing the total reward. An example of the power of reinforcement learning is mastering and winning the board game of Go.

Despite its immense potential, reinforcement learning is closely linked to the environment it is set in and to the limitations it may pose. For example, the deployed gripper and its functionalities and limitations will always influence a system’s overall performance.

AI is the main driver of emerging technologies and its developments will be very dependent on a number of factors, including market demands, customer expectations, competition, and many others.