Visiegestuurde robotica

Deel I

De drijvende kracht achter digitalisering is de groeiende vraag naar nauwkeurigheid, verbeterde kwaliteit en betrouwbaarheid. De marktdynamiek heeft de maakindustrie gedwongen nieuwe producten te introduceren, aangepaste ontwerpen om te passen bij veranderende consumentensentimenten, aanpassingen en snellere leveringen. Robots zijn al tientallen jaren de vrienden van de maakindustrie, en dat geldt ook voor 'machine vision'.

Robotica en machine vision hebben onafhankelijk van elkaar stabiliteit en technologische volwassenheid bereikt. Recente ontwikkelingen vullen elkaar nogal aan bij het efficiënter maken van processen. Dit artikel zal enkele inzichten toelichten over vision-guided robotics (VGR) in het productiesegment. Hoewel VGR even relevant is voor andere robottypen, zoals mobiele robots, humanoïden, Cartesiaanse en SCARA-robots, zullen we ons concentreren op de toepassingen en uitdagingen van gelede robots .

Voordat we diep ingaan op ons kernonderwerp, is het belangrijk om enkele belangrijke concepten van machinevisie en industriële robots te begrijpen.

Machinevisie kan worden gedefinieerd als de verneveling van het menselijk zien. Het moet niet alleen een beeld vastleggen (de functie van onze ogen), maar ook deze beelden verwerken en resultaten genereren (de functie van de hersenen). Machine vision-systemen zijn afhankelijk van digitale sensoren die worden beschermd in industriële camera's met gespecialiseerde optica om beelden te verkrijgen, zodat computerhardware en -software verschillende kenmerken kunnen verwerken, analyseren en meten voor het nemen van beslissingen.

Typische machine vision-toepassingen kunnen grofweg worden onderverdeeld in vier typen, namelijk:

• Begeleiding
• Identificatie
• Meten
• Inspectie

Hoewel taken zoals identificatie-, meet- en inspectiesystemen hun eigen doelen hebben waarbij robots waarde toevoegen aan de toepassing, ligt onze focus in dit artikel op robotgeleiding . Machine vision-systemen (MV) kunnen een onderdeel lokaliseren en ervoor zorgen dat het correct in een bepaalde assemblage wordt geplaatst. MV-systemen kunnen ook helpen bij het identificeren van de locatie van een component in 2D- of 3D-ruimte, en helpen robots om de coördinaten van dit component nauwkeurig te volgen. MV-systemen verminderen de complexiteit van het hebben van armaturen die voor dit doel nodig zijn. Om dit te begrijpen, moeten we eerst kijken hoe een robot zichzelf positioneert om het onderdeel te lokaliseren.

Een robotcoördinatensysteem bestaat uit verschillende referentiekaders. De belangrijkste coördinatensystemen die worden gebruikt om de beweging van een robot te beschrijven, worden hieronder weergegeven in Figuur 1.1 . De besturing van de grijper of het gereedschap is het belangrijkst en de positie ervan wordt bereikt door gecoördineerde bewegingen van een of alle robotassen. Omdat verschillende soorten grijpers en gereedschappen verschillende afmetingen hebben, wordt een speciaal punt, het gereedschapsmiddelpunt (TCP), geselecteerd, onafhankelijk van het gereedschapstype. Dit punt is het oorsprongspunt van het gereedschapscoördinatensysteem. Een soortgelijk punt kan worden gebruikt om de grijper of het polscoördinatensysteem te beschrijven. De onderlinge verbindingen van een gereedschap, een pols en andere coördinatenstelsels zijn weergegeven in Figuur 1.2 .

Figuur 1.1

Figuur 1.2

Afbeeldingen:ABB Robotics

De TCP heeft een relatie met de polscoördinaat, basiscoördinaat, wereldcoördinaat en de objectcoördinatenstelsels. In het ideale geval wordt verwacht dat de coördinaten van het object precies overeenkomen met de ingestelde coördinaten van de TCP - wat betekent dat het oorsprongspunt van het object via programmering aan de robot wordt geleerd en de TCP-coördinaten worden vastgelegd. Om herhaalde nauwkeurigheid te bereiken, moeten de robot en het object daarom elke keer op hetzelfde punt komen.

De positionering van de robot wordt bepaald door servomechanismen en is daarom behoorlijk nauwkeurig. In het geval van vaste componenten, is hun positioneringsnauwkeurigheid afhankelijk van een aantal factoren, zoals bewerkingstoleranties, lokaliseringstoleranties en positioneringsnauwkeurigheid en herhaalbaarheid van de indexeertafel. Daarom komt het TCP van de robot mogelijk niet overeen met de werkelijke coördinaten van het object vanwege de afwijking tussen de gewenste en werkelijke coördinaten, en zal er een positioneringsfout optreden. Als van de robot wordt verwacht dat hij het object oppakt of er een bewerking op uitvoert terwijl het object willekeurig over een transportband komt, dan wordt het bepalen van de oorsprong bijna onmogelijk als er geen systeem zoals machine vision is om het te sturen.

Indien ingezet, kunnen machine vision-systemen de realtime coördinaten van het object identificeren en deze naar de robot sturen, die vervolgens de offset in de TCP compenseert. Zo is de nauwkeurigheid van de positionering van het gereedschap gegarandeerd. Deze methode wordt meestal gebruikt voor toepassingen zoals lassen en lijmafgifte, voor bevestigingscomponenten en voor robot "pick and place" van willekeurig verdeelde objecten op een bewegende transportband. De bovenstaande voorbeelden gelden voor objecten met positioneringsonnauwkeurigheden langs het 2D-vlak, dus een 2D machine vision-systeem zou worden gebruikt.

Hoge snelheid robot "pick and place" van objecten met behulp van 2D-visiebegeleiding. Afbeelding:Cognex Corporation

Voor toepassingen zoals het oppakken van bakken met robots, waarbij van de robot wordt verwacht dat hij objecten oppakt die willekeurig in een bak worden bewaard, is ruimtelijke 3D-analyse noodzakelijk. Hier zijn niet alleen de X-, Y- en Z-coördinaten belangrijk, maar de oriëntatiehoeken langs alle drie de assen zijn cruciaal voor de robot om het gemakkelijkst te kiezen object te identificeren zonder enige botsingen. Het is duidelijk dat 3D machine vision-systemen worden in deze instelling ingezet.

Het meest populaire 3D-machinevisiesysteem is een opstelling met stereovisie met twee camera's die coördinaten en de hoogtekaart leveren. De cruciale taak hier is camerakalibratie en het machine vision-algoritme dat beelden van beide camera's combineert en een 3D-beeld bouwt. Een afbeelding van de bak wordt geanalyseerd om de TCP-coördinaten af ​​te leiden van het gemakkelijkst te kiezen onderdeel. Enkele andere 3D-technieken zijn lasertriangulatie en vluchttijd.

Robotic bin-picking met behulp van 3D-visiebegeleiding. Afbeelding:Yaskawa Robotics

Deel II

Beeldacquisitie

Een afbeelding van goede kwaliteit is de sleutel tot succesvolle VGR. De drie belangrijkste componenten hier zijn de camera, optica en de verlichting.

Camera: Er zijn enkele belangrijke zaken waarmee rekening moet worden gehouden bij de selectie van camera's voor robottoepassingen. Hoewel commerciële camera's op de markt wel beelden verkrijgen, kunnen de industriële omgevingen waar deze systemen worden ingezet een hele uitdaging zijn. Hier worden de camera's blootgesteld aan ruwe omgevingen en wordt verwacht dat ze elke keer honderdduizenden cycli consistente beelden van goede kwaliteit leveren. Voeg daarbij de schokken en trillingen die worden veroorzaakt door robotbewegingen en de algemene trillingen van de apparatuur.

De communicatie-interfaces moeten robuust zijn en bestand zijn tegen deze zware omstandigheden, zodat er geen onderbrekingen zijn in de communicatie tijdens de operatie. Ethernet-gebaseerde protocollen bieden een goede betrouwbaarheid en langere kabellengtes die nodig zijn voor deze toepassing Naleving van Ingress Protection wordt cruciaal, vooral als het systeem wordt ingezet in een stoffige omgeving PoE is een voedingsbron die de voorkeur heeft om meerdere kabels te vermijden De camerakabels worden onderworpen aan veel cyclische buiging door kabelgoten en harnassen op de robotarm, dus Er moeten kabels worden gebruikt die compatibel zijn met sleepkettingen.

Afbeelding:Baumer

Afbeelding:Pickit 3D

De resolutie van de camera moet worden berekend rekening houdend met het totale gezichtsveld (FOV) en de gewenste positioneringsnauwkeurigheid.

Optica: Afhankelijk van het gezichtsveld, de werkafstand (WD) en de grootte van de camerasensor moeten geschikte optica worden geselecteerd. De twee belangrijkste factoren waarmee rekening moet worden gehouden zijn:

1. De tonvormige vervorming moet tot een minimum worden beperkt, en
2. De robuustheid van de lens, aangezien deze wordt blootgesteld aan dezelfde hoeveelheid schokken en trillingen als de camera; cruciale lensinstellingen zoals de iris en focus kunnen worden beïnvloed als ze niet worden geadresseerd

Verlichting: Verlichting van het object speelt een cruciale rol bij VGR. De verlichting moet zodanig zijn dat het de te inspecteren functie in het onderdeel benadrukt. Het onderdeel of de contour die wordt geprogrammeerd, moet nauwkeurig worden geïdentificeerd binnen de gewenste nauwkeurigheid van het systeem. Daarom moet op basis van het object en de contour een geschikte verlichting worden gekozen. Terwijl toepassingen voor het oppakken van componenten of het lassen/lijmen meestal eenvoudige diffuse staafverlichting vereisen, maken de toepassingen voor het verzamelen van bakken met robots die stereocamera's gebruiken vaak gebruik van gestructureerde patroonlichten die op het onderdeel worden geprojecteerd om contouren te verzamelen en profielen af ​​te leiden.

Gestructureerde verlichting gebruikt bij 3D bin picking. Afbeelding:Solomon 3D

Uitdagingen in robotica met machinevisie

In een standaard 2D robotic machine vision-toepassing zijn er verschillende uitdagingen die moeten worden aangepakt:

• Vervormingen
• Coördinaten kalibratie
• Z-kalibratie
• Coördinaat uitlijning

Vervormingen: Er zijn twee hoofdtypen vervormingen die optreden en moeten worden gecorrigeerd voordat het zichtsysteem klaar is voor de VGR.

• Lensvervormingen: Lenzen (vooral de groothoeklenzen) veroorzaken vervormingen in het verkregen beeld. Dit staat bekend als "tonvervorming".
  

Barrel vervorming. Afbeelding:Baumer

• Vervormingen veroorzaakt door schuine montage van de camera
  Afbeelding:Baumer

Robots hebben vrije ruimte nodig om te kunnen werken, dus camera's moeten vaak schuin worden gemonteerd. Dit veroorzaakt vervorming in het verkregen beeld.

Beide soorten vervormingen moeten worden gecorrigeerd en gekalibreerd, zodat de verkregen coördinaten nauwkeurig zijn.

Coördinatenkalibratie: Robots werken op coördinatensystemen die zijn gedefinieerd in eenheden zoals millimeters of inches, terwijl camera's werken op het aantal pixels. Daarom is het nodig om de camera te kalibreren zodat het systeem de correlatie tussen pixels en de eenheden van de coördinatensystemen begrijpt.

Afbeelding:Baumer

Het is belangrijk dat de meting elke keer op dezelfde werkafstand (afstand tussen de camera en het object) gebeurt. Aangezien robots in 3D werken, vereist "grijpen" ook een "Z"-specificatie .

Z-kalibratie: Z-kalibratie wordt gebruikt om X- en Y-coördinaten te berekenen als de Z-as varieert binnen de scherptediepte* van de lens. De camera wordt gekalibreerd met behulp van een specifieke procedure met de kalibratieplaat (later besproken).

Coördinatenuitlijning: Het robot- en visionsysteem hebben hun eigen coördinatenstelsels. Hun afwijkingen zijn:

Om dit probleem op te lossen, wordt kalibratie uitgevoerd. De robot kent zijn eigen positie en ook de positie van de TCP, terwijl het vision-systeem wordt gekalibreerd op een kalibratieplaat. De robot berekent de offsets , en de uitlijning wordt uitgevoerd.

Dit is een zeer belangrijke stap. De robot moet het pad volgen dat begint vanaf het beginpunt gedefinieerd door het vision-systeem. Indien niet correct uitgevoerd, kan onjuiste kalibratie ernstige padafwijkingen veroorzaken en kan dit leiden tot bij botsingen.

Kalibratieplaat: De kalibratie van het vision-systeem wordt uitgevoerd met behulp van een standaard kalibratieplaat die is voorzien van markeringen met precieze afmetingen. Figuur 2.1 toont enkele voorbeelden van kalibratieplaten.

Figuur 2.1

Corrigeren van lens en montagevervorming met behulp van kalibratieplaat: De kalibratieplaat wordt op een bepaalde afstand onder de camera geplaatst en het beeld wordt verkregen, zoals weergegeven in Figuur 2.2 .

Figuur 2.2:Camerapositionering

Afbeelding:Baumer

Zodra de vervormingskalibratie is uitgevoerd, ziet het beeld er uitgelijnd uit. Dit wordt hieronder getoond in Figuur 2.3 .

Figuur 2.3

Coördinaten kalibratie met behulp van kalibratieplaat: De rasterlijnen of markeringen op de kalibratieplaat zijn gerelateerd aan het aantal pixels in de camera. Het is belangrijk om de locatiewijzer precies op de kalibratieplaat te plaatsen.

De wijzers worden op de punten/hoeken van de plaat geplaatst. De afstanden tussen deze punten zijn bekend en worden vervolgens ingevoerd in de kalibratieparametriseringsvelden van de software. Het vision-systeem berekent vervolgens het aantal pixels dat is verbruikt om die afstand te meten. Deze instelling blijft geldig zolang de werkafstand, het gezichtsveld en de camerabevestigingen worden gehandhaafd. Het systeem moet opnieuw worden gekalibreerd als een van de drie dingen verandert.

Trends en vooruitgang

VGR is geen nieuwe technologie. Het heeft zich al ontwikkeld en is een behoorlijk volwassen applicatie geworden. Bijna alle robotfabrikanten bieden nu geïntegreerde oplossingen voor VGR. De nieuwste ontwikkelingen op het gebied van cameratechnologieën (zoals hogesnelheidscamera's, 3D-time-of-flightcamera's en geïntegreerde stereocamera's) en in softwaretechnologieën (zoals kunstmatige intelligentie en machine learning) hebben echter toegevoegd dat extra stukje betrouwbaarheid en robuustheid naar de hele applicatie.

Diepe neurale netwerken worden ingezet om verschillende mogelijkheden van componentpositionering en oriëntaties langs alle vlakken aan te leren en opnieuw aan te leren. De vele leermogelijkheden kunnen de trainingstijd van netwerken verlengen, maar de nieuwste computerapparatuur (zoals GPU) maakt taken minder tijdrovend. Momenteel worden ook cloudgebaseerde platforms voor machine learning ingezet.

Conclusie

VGR wintsnel aan populariteit in alle domeinen van de industrie. De toepassing die ooit grotendeels werd aangedreven door het automobielsegment, vindt nu andere afnemers zoals voedsel en farmaceutica voor snelle robotpick-and-place, palletiseren en depalletiseren, zware engineering voor het volgen van naden van lasrobots, lijmafgifte, enzovoort. Het is nodig om standaarden op te zetten om de onderlinge compatibiliteit tussen de fabrikanten van vision-systemen en robotbouwers te garanderen. Terwijl de wereld naar het "nieuwe normaal" in de productie kijkt, speelt VGR zeker een belangrijke rol.