Machine Vision en Robotica: Het perfecte huwelijk voor next-gen automatisering

De volgende "dynamische duo" betrokken misschien helemaal geen mensen. "Machine vision en robots vormen een perfect huwelijk," stelde Klas Bengtsson, global product manager, vision systems voor ABB Robotics (Auburn Hills, MI). Dit is niet nieuw. Visie en robotica gaan al jaren hand in hand. Maar in tegenstelling tot andere huwelijken, bloeit deze op naarmate machine vision uitbreidt in mogelijkheden en nieuwe toepassingen vindt. Het "perfecte" huwelijk van het verleden betrof het sturen van de robot. Maar nieuwe toepassingen – als kinderen van een goed huwelijk – omvatten nu het inspecteren van onderdelen, het lezen van bar- of QR-codes voor traceerbaarheid, en het vinden van nieuwe manieren om onderdelen in en uit te pakken.

Het komt allemaal neer op de flexibiliteit die machine vision biedt. "Vision heeft ABB geholpen de mogelijkheden van veel robotische applicaties te verbeteren," zei hij.

De behoefte aan flexibel sturen van robots is gedreven door toenemende productdiversiteit en de noodzaak om levertijden te verkorten in veel industrieën. Waarom is flexibiliteit zo belangrijk? "Als je de robotische automatisering hardcodeert, dan moet je het programma veranderen zodra je een product of iets in je productielijn verandert," zei Bengtsson. Dit betekent ook het veranderen van precisie-fixering of de manier om een deel te plaatsen zodat een hardcoded robot-begeleidingsprogramma betrouwbaar kan pikken, polijsten of op andere wijze op het deel kan opereren. Kosten lopen op.

Machine vision helpt die kosten te beheersen door de robot te laten "zien" variaties in onderdelen en oriëntatie. 3D-scansensoren openen nog meer nieuwe toepassingen. Zei Bengtsson, "De vraag 15 jaar geleden was 'Waarom machine vision gebruiken.' De vraag vandaag is: 'Waarom niet?'"

Mensen en Robots Collaboreren

Rethink Robotics (Boston), opgericht in 2008, bouwt collaboratieve robots, of cobots. Hun vlaggenschipproduct is Sawyer. "Een cobot zoals onze Sawyer-robot wordt het beste gebruikt voor het uitvoeren van herhalende, saaie taken die op menselijke schaal zijn," zei Mike Fair, productmanager. Dit betekent werken met producten of bewegingen die repliceren wat een mens doet dat ook ongelooflijk herhalend en saai is.

"Toepassingen zoals deze omvatten verpakken, machine tending, lijn laden en lossen, inspectie, en printplaat testen," zei hij. Materiaalhantering voor CNC-machines is een andere toepassing, die een mens vervangt die een CNC-machine laadt, cycelt, wacht tot de bewerking klaar is, en de machine dan ontlaadt.

Rethink gelooft zoveel in machine vision dat het een camera in het polsgewricht van elke Sawyer inbouwt. "Het ingebouwde visiesysteem [maakt] onze cobot sneller en eenvoudiger te deployen, de hassle en kostbare integratietijd van typische machine vision systemen wegnehmend. We voegen software toe om het makkelijk te maken om [die] visiesystemen te deployen," zei Fair. Op de ATX West 2018 beurs leverde hij een demonstratie dat zelfs een journalist een eenvoudige taak in een paar minuten kon programmeren. In combinatie met gecodeerde stickers die eruitzien als QR-codes, helpt hun software de robot zich te positioneren om aan te passen aan variabiliteit in de werkcel. Dit vergemakkelijkt ook het verplaatsen van Sawyer-robots van taak tot taak en van locatie tot locatie.

Universal Robots USA Inc. (UR; Ann Arbor, MI) is ook toegewijd aan collaboratieve robots. Hun drie robots, variërend in payload van 3 tot 10 kg, opereren binnen een "ecosysteem" van derde-partij leveranciers. Het biedt een gratis ontwikkelaarsprogramma genaamd Universal Robots+ om derde-partij leveranciers van end-effectors, visiesystemen, en andere peripheral apparaten in staat te stellen add-ons te ontwikkelen die plug-and-play werken met hun cobots.

De website van het bedrijf toont zes verschillende visie-opties binnen dit ecosysteem die geschikt zijn voor pick and place, CNC-machine automatisering, verpakken en palletiseren, montage, schroefdrijven, en machine tending. Zowel 2D als 3D scanners zijn beschikbaar. Verscheidene robot-beweegbesturing en simulatie-softwarepakketten zijn beschikbaar.

Integratie, Gebruiksgemak

Voor machine vision nuttig te zijn, moet het toegankelijk zijn, een belangrijk element van UR's ecosysteem. Bijvoorbeeld, een van hun derde-partij pakketten heet Universal Metrology Automation, aangeboden door 3D Infotech. Het levert integratie van beweegbesturingssystemen, 3D scanners, en inspectiesoftware om een configureerbare, geautomatiseerde metrologie-oplossing te creëren. Andere programma's bieden online of offline programmeren, robot-simulatie-software, en monitoring-mogelijkheden.

"Vandaag is er veel betere integratie met robots en visiesystemen," zei Rob Antonides, president van Apex Motion Control (Surrey, BC). Apex is een integrator die vol voordeel heeft gemaakt van UR's ecosysteem-benadering. "We moesten vroeger visiesystemen met robotcontrollers samenhacken, maar vandaag zijn ze meer seamless plug-and-play, over Ethernet IP of elk soort netwerking. Twintig jaar geleden kostte het me een week om een vision-guided robotisch systeem en de communicatie op te zetten; vandaag is het 15-20 minuten."

Machine vision heeft zich bijzonder nuttig bewezen voor Apex. Taken die het geautomatiseerd heeft omvatten een verscheidenheid aan bakoperaties, inclusief het decoreren van cakes. "Visiesystemen staan je toe om om te gaan met inconsistenties en minder-dan-perfecte presentatie en positionering van product. We mappen het oppervlak van een cake met een 3D-sensor zodat we het snel en gemakkelijk kunnen decoreren," zei Antonides.

FANUC benadrukt ook gemakkelijke integratie. "We hebben een volledig nieuwe controller uitgebracht aan het einde van vorig jaar, met prominente functies voor geïntegreerde robotische visie," legde David Dechow uit, staff engineer-intelligent robotics/machine vision voor FANUC America Corp. (Rochester Hills, MI). "Bij FANUC zijn al onze visiesystemen nu in de controller ingebouwd." FANUC was een van de eerste robotbedrijven die visie voor het sturen van robotica incluidde, het 30 jaar geleden aanbod als optie in zijn robotische begeleidingssystemen.

Dechow observeerde ook dat machine vision-bedrijven zich hebben geconcentreerd op het ontwikkelen van makkelijkere interfaces met robots. "De visie-leveranciers ondersteunen deze markt opvallend," stelde hij. "De zware klus in het laten samenwerken ligt aan de visiekant. De robot verwacht een punt. De truc is machine vision te gebruiken om het juiste punt te vinden, het coördinatensysteem van het machine vision-systeem te mergen met het coördinatensysteem van de robot." Hij was het eens met anderen die voor dit artikel geïnterviewd werden dat machine vision onvergelijkbare flexibiliteit biedt in veel automatiseringstaken. Vandaag begint de kosten/baten-ratio te gunsten van visie boven precisie-fixering en hardcoderen, zei hij.

AI: Poseren en Discrimineren

Een discussie over visie, data, en robots leidt natuurlijk tot de vraag hoe nuttig Kunstmatige Intelligentie (AI) zou zijn voor ziende robots. Dechow noteerde een vangnet – AI is niet bijzonder toepasbaar op robotische begeleiding. "AI-leren is uitzonderlijk goed in categorisatie en differentiatie. Wat het niet goed in is, is discrete analyse," legde hij uit. Een robot moet naar een discrete punt bewegen. Gecombineerd met metrologie-systemen, meet het discrete geometrische hoeveelheden. "Er is niets te leren," zei hij.

Maar het eindigt er niet. Als niet toepasbaar op begeleiding, zijn er robotische taken waar AI waarde biedt. "Bijvoorbeeld, het identificeren en classificeren van een object tegen zijn achtergrond om te bepalen welk object de robot moet bedienen, gecombineerd met robotische begeleiding, zou een goede hybride toepassing zijn," zei hij. Een ander is in pick en grip optimalisatie. "Het vinden van de ideale oriëntatie van de arm in de ruimte en de aanloopbaan valt in een leer-domein in plaats van [te zijn] deterministisch. Er zijn veel oriëntaties die zowel goed als slecht zijn," legde hij uit. "AI is vooral nuttig waar onderdelen willekeurig en niet homogeen zijn in plaatsing en grootte."

Peter Cavallo van Denso Products and Services Americas Inc. (Long Beach, CA) was het eens dat de substantiële toename in visiesysteem-mogelijkheden zowel echt is als nieuwe kansen heeft geopend voor robotische toepassingen. "In zijn eenvormigste vorm, [visie] vindt een deel of object en opereert erop. In zijn meest complexe vorm, die we nu zien, kan het dingen zien, interpreteren, herkennen, en het deel zien voor wat het is – zelfs in verschillende configuraties of posities – zonder het deel of de robot te verplaatsen."

Hij ziet 3D-scannen als een bijzonder belangrijke ontwikkeling, wat eerdere lastige taken zoals bin picking eenvoudig maakt. Denso's nieuwste systeem gebruikt een gestructureerd licht visiesysteem om in 3D te zien met een CMOS-detector.

Zijn kijk op het toepassen van AI op robotica is gebaseerd op een breder systeemcontext. "Naarmate we in de volgende generatie robots bewegen, beginnen we in dingen te komen zoals deep learning, waar visie deel wordt van een heel systeem," legde hij uit. "We toonden iets op de Tokyo robot show dat deep learning in een systeem met 28 vrijheidsgraden toonde dat twee robots met handen die samen een salade maakten. Waarom zouden industriële gebruikers geïndrukt moeten zijn? De robot selecteerde sla, fruit, en groenten gebruikmakend van alleen de kennis die van tevoren was gegeven. "We hebben de robot niet geprogrammeerd; in plaats daarvan vertelden we hem wat we wilden," zei hij. Denk aan het aantal ongestructureerde taken die op de shopfloor bestaan die ideaal zouden zijn voor zo'n automatisering.

Niet Alleen Voor De Grote Jongens

Machine vision, integratie, software, zelfs AI kunnen ervoor zorgen dat men denkt dat dit niveau van robotische automatisering alleen voor Fortune 500-bedrijven is. Dat is niet het geval. "Het is hoogst toepasbaar op kleine en middelgrote bedrijven omdat visie vandaag redelijk in kosten is. Wat vroeger $50.000-$100.000 was is nu minder dan $5000. Er is geen reden om schroom te zijn," zei Cavallo.

Rick Brookshire, productmanager voor Epson America Inc. (Carson, CA), was het eens dat robotische automatisering ideaal is voor kleine tot middelgrote ondernemingen (KMO's). "Naast grotere klanten die 50, 100 of zelfs 1000 robots kopen, hebben we veel kleinere klanten die één, twee of drie robots kopen," zei hij. Epson gespecialiseerd in kleinere robots geoptimaliseerd voor hoge-precisie taken, het laten groeien van zijn robotbusiness vanuit zijn eigen behoeften in het bouwen van hoge-precisie tijdmeters. "Al onze robots zijn beschikbaar met geïntegreerde visiebegeleiding, een functie die groeiende acceptatie ziet. Het wordt ook betrouwbaarder. Mensen zijn meer bereid het te gebruiken," zei hij.

Als anderen die voor dit verhaal geïnterviewd werden, gelooft hij dat eenvoud vitaal is – vooral in het voldoen aan de behoeften van KMO's. Het Epson Vision Guide-programma gebruikt een object-gebaseerde, point-and-click GUI-interface, waarmee ontwikkelaars snel applicaties kunnen ontwikkelen, volgens het bedrijf. Hoewel de ideale vision-guided robot-applicatie iets is waar onderdelen niet goed gepositioneerd zijn binnen een redelijke tolerantie, of niet in een consistente manier gepresenteerd kunnen worden, opent de precisie die Epson-robots bieden een ander domein van gebruik.

Toleranties worden strakker. Onderdelen worden kleiner. Precisie-plaatsing wordt steeds lastiger. "Daar kunnen precisie-robots zoals die van Epson helpen," zei hij. "Dit gebeurt in kleinere bedrijven steeds vaker. En deze robots worden zo gemakkelijk te gebruiken dat veel van onze klanten de integratie zelf doen." De robots plaatsen zelfs schroeven kleiner dan 0,7 mm in diameter. Naarmate de werkkracht ouder wordt, kan dit een kritieke factor worden.

James Cooper, vicepresident of sales voor Applied Manufacturing Technologies (AMT; Orion, MI), heeft een uniek perspectief gebaseerd op zijn ervaring in de automobilistische productie-industrie. AMT is een systeemintegrator gespecialiseerd in vision-guided robot systemen. Meerdere deelnummers met complexe systemen, zoals in transmissiehuizen, worden prevalent. Een transmissiehuis is een groot object met veel gaten en complexe oppervlakken – ideaal voor visie maar duur voor precisie-harde fixering. "Lootgrootten worden ook kleiner met meer frequente changeovers. Daarom worden robot-guided vision systemen zo kritiek in veel toepassingen." Hij observeerde ook de groei van 3D-visiesystemen, vooral in bin- en tote-picking toepassingen.

Het gaat verder dan begeleiding. "Kwaliteitsinspectie is een ideale toepassing, zoeken naar aan- en afwezigheid van gaten en andere kenmerken of bepalen of een component correct gemonteerd is," zei hij. Een ander rijk gebied is in metrologie-inspectie. "We bouwden een systeem met onze partner Hexagon dat gebaseerd is op een collaboratieve robot die een klantproduct inspecteert. Dit werd vroeger gedaan op een CMM in een aparte temperatuur-gecontroleerde kamer. Veel jaren wilden fabricanten dit op de productievloer doen. Het is nu mogelijk om een volledig draagbaar systeem te hebben, zonder afscherming, ideaal voor first article inspectie-toepassingen, recht bij de productiemachine," zei hij.

Hij was het eens dat deze toepassingen groeien in KMO's. Hij merkte ook op dat deze operaties worstelen om gespecialiseerd personeel te vinden, wat de noodzaak voor meer automatisering aanjaagt.

ABB heeft ook een robotisch inspectiesysteem ontwikkeld door een samenwerking met NUB3D (wat het vervolgens overnam), een toonaangevende innovator van digitale, 3D-inspectie- en kwaliteitscontrole-oplossingen. Het turnkey-systeem bestaat uit een 3D wit-licht scanningsensor gemonteerd op de arm van een ABB-robot.

Stäubli Corp. (Duncan, SC) is een robotbedrijf dat een verscheidenheid aan machine vision van derde-partij leveranciers gebruikt om applicaties voor robot visie-begeleiding te bouwen. Maar het biedt ook een ander gebruik van visiesystemen met industriële robots die menselijke interactie nodig hebben: een virtuele veiligheidsheining om robots heen.

Zo uitgelegd door Olivier Cremoux, business development manager, North America robotics voor Stäubli, kan man/robot samenwerking in vijf verschillende stadia worden ingedeeld. Het laagste stadium 1, gangbaar in de meeste industriële robots, is geen direct contact, waar elke interactie tussen man en machine gevaarlijk is. "De robot en operator worden gescheiden door harde heiningen," zei hij. Het hoogste, stadium 5, is waar contact gewenst en vereist is, bijvoorbeeld wanneer een robot handmatig begeleid wordt door een operator om een zwaar gereedschap of andere gelijktijdige bewegingen met een robot uit te voeren. Er zijn tussentijdse stadia waar enige contact gewenst is op verschillende niveaus, en waar de robot vaak moet stoppen en de mens iets laten doen. "Deze tussentijdse stadia vertegenwoordigen 95% van collaboratieve toepassingen," zei hij.

In deze tussentijdse stadia kan een 3D-scannend visiesysteem dat naar buiten scant vanaf de werkcel een mens detecteren die naderkomt. Binnen een bepaalde afstand geeft het een signaal aan de werkcel om de robot te vertragen om contact en mogelijke letsel te voorkomen. Als de mens nog dichterbij komt, stopt het de cel volledig. Dit stelt de mens in staat een actie uit te voeren, zoals inspectie of plaatsing, en dan weg te gaan, waardoor de cel automatisch herstart.

HNJ Solutions Inc. (Carson, CA) is een integratiebedrijf opgericht om visiesystemen voor productie te leveren, inclusief met robots, volgens President Greg McEntyre. Hoewel hij erkent dat visiesystemen inderdaad makkelijker worden om te gebruiken en installeren, zegt hij dat er een klasse applicaties blijft waar integrators zoals HNJ nodig zijn. "In complexe toepassingen met meerdere kleuren, formaten, oriëntaties, en algemene onzekerheid, is het belangrijk te weten hoe camera's werken en waarom ze werken om een goed systeem te installeren," zei hij.

Hij benadrukte hoe 3D-camera's relevante toepassingen uitbreiden, zoals bin picking. "Vandaag importeren we zelfs het CAD-model van onze objecten zodat het visiesysteem in 3D kan begrijpen wat het object is dat het moet pikken of opereren," zei hij. "Camera's geven volledige vrijheid."

Welk advies zou hij, als integrator van complexe visie en robotica, kunnen geven? "Hoewel het misschien niet zo makkelijk is als het eruitziet, zou ik zeggen: spring er gewoon in," zei hij. "Er is zoveel nuttige hardware dat visie-begeleiding en visie-toepassingen steeds nuttiger worden." Met andere woorden: doe het gewoon.