Hoe 3D Vision Technologie Moderne Automatisering Revolusioneert

3D-vision is het hart van moderne automatisering die industriële processen op talloze manieren verbetert en ons leven makkelijker maakt. Het helpt ons producten sorteren, objecten inspecteren in kwaliteitscontrole applicaties en defecten op ze vinden, en ook de meest uiteenlopende taken sneller en efficiënter voltooien dan mensen ooit zouden kunnen. Vision-guided robots worden veel gebruikt om gevaarlijke taken uit te voeren en zware objecten te hanteren, zodat ze ook de veiligheid verhogen en het risico op letsels elimineren.

3D-sensing technologieën hebben een lange weg afgelegd om al deze voordelen te leveren die we vandaag genieten – en ze bewegen nog steeds vooruit. Van de eerste foto tot digitale imaging, van 2D naar 3D, en van 3D-scannen van statische objecten tot het vastleggen van dynamische scènes. Wat komt er als volgende?

Samen met Tomas Kovacovsky, mede-oprichter en CTO van de Photoneo Groep, keken we naar de geschiedenis van 3D machine vision tot de nieuwste vooruitgang die vandaag de trends domineert zoals Industrie 4.0. Laten we er kort naar kijken.

Fotografie en de eerste technologieën voor beeldopname

Sinds de allereerste beginselen van fotografie, zijn mensen gefascineerd door de mogelijkheid om gebeurtenissen vast te leggen en op te nemen. De eerste bekende foto werd ergens tussen 1826 en 1827 genomen door de Franse uitvinder Joseph Nicéphore Niépce. Terwijl zijn fotografische proces ten minste acht uren, zo niet meerdere dagen belichting in de camera vereiste, ontwikkelde zijn associate Louis Daguerre het eerste publiekelijk aangekondigde fotografische proces (bekend als Daguerreotype) dat slechts minuten belichting nam. De uitvinding werd aan het publiek geïntroduceerd in 1839 – een jaar dat algemeen beschouwd wordt als de geboorte van praktische fotografie.

Lange tijd diende fotografie alleen als medium om gebeurtenissen vast te leggen. Omdat de beeldverwerking nogal lang duurde, was de analoge technologie niet ideaal om te gebruiken voor machine vision of besluitvormingstaken.

In 1969, William Boyle en George E. Smith van de Amerikaanse Bell Laboratories vonden de CCD (charge-coupled device) sensor voor het opnemen van beelden, wat een belangrijke mijlpaal was in de ontwikkeling van digitale imaging. Een CCD-sensor vangt beelden op door fotonen om te zetten in elektronen – dat wil zeggen, het neemt het licht en vertaalt het naar digitale data. Hoewel CCD's niet konden concurreren met standaardfilm voor beeldopname op dat moment, begonnen ze gebruikt te worden voor bepaalde toepassingen en de bal begon te rollen.

Van 2D naar 3D

2D-sensing lanceerde het automatiseringstijdperk en was de heersende benadering in de automatisering van de industriële sector voor lange tijd. 2D-vision wordt in enkele eenvoudige toepassingen zelfs vandaag nog gebruikt, inclusief de volgende:

• Optische tekenherkenning (OCR) – lezen van getypte, handgeschreven, of gedrukte teksten; streepjescode lezen
• Kwaliteitscontrole – vaak gebruikt in combinatie met speciale verlichting om te garanderen dat de optische kwaliteiten van het gescande object hetzelfde blijven
• Tellen
• Oppakken van items onder goed gedefinieerde voorwaarden

Echter, de grote beperking van 2D-technologieën is dat ze objectvormen niet kunnen herkennen of afstand meten in de Z-dimensie.

2D-applicaties vereisen goede, goed gedefinieerde omstandigheden met extra verlichting, wat ook applicaties zoals bin picking beperkt. Deze robotische taak kan met een 2D-vision systeem gedaan worden, maar is doorgaans problematisch vanwege de willekeurige positie van objecten in een bak en een grote hoeveelheid informatie in de scène die 2D-vision systemen niet aan kunnen.

Mensen herkennden de behoefte aan 3D-informatie om meer complexe taken te automatiseren. Ze begrepen dat mensen hun omgeving in een 3D-zicht kunnen zien en de afstand van objecten kunnen vertellen omdat ze twee ogen hadden – stereoscopisch zicht.

In de jaren '60, Larry Roberts, die geaccepteerd wordt als de Vader van Computer Vision, beschreef hoe 3D-geometrische informatie te ontlenen uit 2D-foto's van lijntrekkingen en hoe een computer een 3D-model kon creëren vanuit een enkele 2D-foto.

In de jaren '70, startte een "Machine Vision" cursus op MIT's Artificial Intelligence Lab om low-level machine vision taken aan te pakken. Hier ontwikkelde David Marr een unieke benadering tot scène-begrip door computer vision, waar hij visie behandelde als een informatieverwerkingssysteem. Zijn benadering begon met een 2D-schets, wat door de computer opgebouwd werd om een finale 3D-beeld te krijgen.

Onderzoek in machine vision intensifieerde in de jaren '80 en bracht nieuwe theorieën en concepten voort. Deze gaven aanleiding tot een aantal distincte 3D machine vision technologieën, die geleidelijk geadopteerd zijn in industriële en productieomgevingen om de wijdste reeks processen te automatiseren.

Eerste 3D-vision technologieën

De inspanning om menselijk stereoscopisch zicht na te bootsen, resulteerde in de ontwikkeling van een van de eerste 3D-sensing technologieën – passieve stereo. Deze triangulatiemethode observeert een scène vanuit twee uitzichtspunten en berekent de driehoek camera – gescand object – camera, op zoek naar correlaties tussen de twee beelden. Gebaseerd op de dispariteit tussen de beelden, berekent het de afstand (diepte) van het gescande object. Echter, deze benadering vertrouwt op het vinden van identieke details in de beelden, dus het werkt niet goed met witte muren of scènes zonder patronen. De betrouwbaarheid van passieve stereo is klein en de 3D-output heeft meestal hoge ruis en vereist veel rekenkracht.

Om dit nadeel te compenseren, begonnen onderzoekers te experimenteren met het projecteren van lichtpatronen op de scène om een kunstmatige textuur op het oppervlak te creëren en correspondenties in de scène makkelijker te identificeren. Deze methode heet actieve stereo. Hoewel deze methode betrouwbaarder is dan passieve stereo, wordt de reconstructiekwaliteit vaak gecompromitteerd door strenge eisen aan verwerkingstijd, wat het onvoldoende maakt voor veel applicaties.

Een van de vroegste en nog steeds zeer populaire methoden om 3D-informatie te verkrijgen is laserprofilometrie. Deze techniek projecteert een smalle band van licht (of een punt) op een 3D-oppervlak, wat een lijn van verlichting produceert die vervormd lijkt vanuit een hoek anders dan die van de projector. Deze afwijking codeert diepte-informatie. Lijnscanners vangen één diepteprofiel per keer in snelle opeenvolging, waarvoor ze het gescande object of de camera constant in beweging vereisen. Laserprofilometrie was een van de eerste 3D-scannermethoden die voor industriële gebruik geadopteerd werd en is nog steeds zeer populair in metrologische applicaties, bijvoorbeeld.

Een andere methode uitgevonden door gestructureerde lichtpatronen op een scène te projecteren is gestructureerde licht. Een van de meest geciteerde werken die het gebruik van gestructureerde licht met binaire codes voor digitale restauratie bespreekt, was The Digital Michelangelo Project geleid door Marc Levoy en zijn team aan Stanford University. Het project startte in 1998 om Michelangelo's standbeelden te digitaliseren met het gebruik van een projector en een camera-sensor. De laserscandata voor Michelangelo's David werd toen gebruikt voor de standbeeldrestauratie die in 2002 startte. Hoewel de methode die in dit project gebruikt werd niet snel genoeg was om in real-time applicaties gebruikt te worden, bood het zeer hoge nauwkeurigheid nodig voor de digitalisering van diverse artefacten en objecten. Dankzij dit, vond de technologie zijn niche in metrologische applicaties en andere robotische en machine vision taken die hoge scannauwkeurigheid vereisen.

Geleidelijk breidde de gestructureerde lichttechnologie zich uit buiten metrologie en doordrong alle soorten online applicaties met vision-guided robots. Het voordeel van gestructureerde licht 3D-scanners is dat ze geen beweging vereisen. Omdat ze een snapshot van het hele scangebied kunnen maken en men niet hoeft rond het hele object te gaan met de scanner, zijn ze sneller dan apparaten gebaseerd op laserprofilometrie en vereisen niet zoveel data-naverwerking.

Van statische naar dynamische scènes

Het vastleggen van beweging is veel uitdagender dan 3D-scannen van statische scènes en diskwalificeert methoden die langere acquisitietijden vereisen.

Omdat passieve stereo een passieve methode is die geen extra verlichting gebruikt, kon het gebruikt worden voor het vastleggen van dynamische scènes, maar alleen als bepaalde voorwaarden voldaan waren. Toch zouden de resultaten niet goed zijn.

Laserprofilometrie is niet veel succesvoller dan passieve stereo in dit opzicht. Omdat het één profiel per keer vastlegt, om een hele snapshot van de scène te maken, moet de camera of de scène bewegen. Echter, de technologie kan geen dynamisch evenement vastleggen. Om diepte te reconstrueren voor een enkel profiel, vereist het de opname van een smalle gebiedsscan-afbeelding, waarbij de grootte ervan de framerate en daarmee ook de scansnelheid beperkt.

Gestructureerde licht systemen, aan de andere kant, projecteren meerdere lichtpatronen op de scène in een reeks, één na de ander. Hiervoor moet de scène statisch zijn. Als het gescande object of de camera bewegen, breekt de code en de 3D-puntenwolk zal vervormd zijn.

De behoefte om een 3D-reconstructie van dynamische objecten te maken, leidde tot de ontwikkeling van Time-of-Flight (ToF) systemen. Vergelijkbaar met de gestructureerde lichttechnologie, is ToF een actieve methode die lichtsignalen naar de scène stuurt en deze dan interpreteert met de camera en zijn software. In tegenstelling tot gestructureerde licht, structureert ToF het licht in tijd en niet in ruimte. Het werkt op het principe van het meten van de tijd waarin een lichtsignaal uitgezonden van de lichtbron het gescande object raakt en terugkeert naar de sensor.

De eerste ToF-systemen hadden rather lage kwaliteit. Grote spelers in dit veld omvatten bedrijven zoals Canesta, 3DV Systems, of Microsoft (die later beide bedrijven overnam). Een van de vroege, bekende projecten was de ZCam – een Time-of-Flight camera ontwikkeld door 3DV en later gekocht door Microsoft om gebruikt te worden voor de verwerving van 3D-informatie en interactie met virtuele objecten in Microsoft's Xbox videogameconsole.

In 2010, lanceerde Microsoft zijn Kinect-sensorsysteem voor Xbox, een bewegingsdetectie-camera die gebaseerd was op de PrimeSense-technologie. De PrimeSense-technologie gebruikte een gestructureerd patroon om bepaalde pixels (niet alle) te coderen en 3D-informatie te krijgen. Hoewel de methode geen hoge resolutie en gedetailleerde contouren op de randen van de gescande objecten kon bieden, werd het wijdverspreid geadopteerd omdat de verwerkingssnelheid redelijk snel was en de technologie ook zeer betaalbaar was. Het is voornamelijk gebruikt in het academische veld, maar kan schaars ook in de industriële omgeving voor robotische picking en andere taken gevonden worden.

In tegenstelling tot Kinect 1, was Kinect 2 gebaseerd op ToF-technologie. Vooruitgang in ToF veroorzaakte dat de methode steeds populairder en wijdverspreid geadopteerd werd – het kon hogere kwaliteit bieden dan de PrimeSense-technologie, toch was de resolutie van de 3D-scans van dynamische scènes nog niet voldoende.

Vandaag de dag zijn ToF-systemen redelijk populair in 3D-vision applicaties dankzij hun snelle scansnelheid en bijna real-time acquisitie. Echter, hun resolutie is nog steeds een kwestie en ze worstelen ook met hogere ruisniveaus.

In 2013, kwam Photoneo met een revolutionair idee om snel bewegende objecten vast te leggen om 3D-informatie in hoge resolutie en submillimeter nauwkeurigheid te krijgen.

De gepatenteerde technologie van Parallel Structured Light is gebaseerd op een speciale, proprietaire CMOS-sensor met een multi-tap sluier met een mozaïek pixelpatroon, wat fundamenteel de manier verandert waarop een beeld genomen kan worden.

Deze nieuwe snapshot-benadering gebruikt gestructureerde licht, maar wisselt de rol van de camera en de projector: Terwijl gestructureerde licht systemen meerdere patronen van de projector in een reeks uitzenden, stuurt de Parallel Structured Light technologie een heel eenvoudige lasersweep, zonder patronering, over de scène en bouwt de patronen aan de andere kant op – in de CMOS-sensor. Al dit gebeurt in één enkele tijdsinstantie en stelt de constructie van meerdere virtuele beelden binnen één blootstellingsvenster toe. Het resultaat is een hoge-resolutie en hoge-nauwkeurigheid 3D-beeld van bewegende scènes zonder bewegingsartefacten.

Een dynamische scène vastgelegd door de Parallel Structured Light technologie.

De Parallel Structured Light technologie is geïmplementeerd in Photoneo's 3D-camera MotionCam-3D. De ontwikkeling van de camera en haar vrijgave aan de marke markeerde een mijlpaal in de geschiedenis van machine vision omdat het vision-guided robotica herdefinieerde en automatiseringsmogelijkheden uitbreidde tot een ongekend graad. De nieuwe benadering werd erkend met tal van prijzen, waaronder Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review's RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021, en SupplyTech Breakthrough Award 2022.

3D-scannen in beweging en kleur

In 2022 breidde Photoneo de MotionCam-3D's mogelijkheden uit door het uit te rusten met een kleureneheid voor het vastleggen van kleurendata. MotionCam-3D Color wordt beschouwd als de volgende zilveren kogel in machine vision aangezien het eindelijk real-time kleurrijke 3D-puntenwolkcreatie van bewegende scènes in perfecte kwaliteit mogelijk maakt. Dankzij de unieke combinatie van 3D-geometrie, beweging, en kleur, opent de camera de deur tot eisende AI-applicaties en robotische taken die niet alleen op diepte-informatie maar ook kleurdata vertrouwen.

Real-time kleurrijke 3D-puntenwolkcreatie van een bewegende scène met MotionCam-3D Color.

Toepassingsgebieden die mogelijk gemaakt worden door machine vision innovaties

De mogelijkheden die geboden worden door de nieuwste innovaties in 3D machine vision laten ons taken automatiseren die tot onlangs onhaalbaar waren. Deze applicaties zijn te vinden in productie, logistiek, auto, supermarkt, landbouw, geneeskunde, en andere sectoren en omvatten:

• Robotische hantering van objecten in constante of willekeurige beweging
• Oppakken van transportbanden en overhead transportbanden
• Hand-oog manipulatie
• 3D-modelcreatie voor inspectie en kwaliteitscontrole
• Schoonmaken en schilderen van grote objecten
• Onderhoudsoperaties in VR/AR
• Sorteren en oogsten in landbouw
• En nog veel meer

Wat komt er als volgende?

Machine vision blijft zich ontwikkelen om nieuwe vooruitgang met nieuwe mogelijkheden te brengen. De richting van innovaties wordt altijd beïnvloed door marktvraag, klantverwachtingen, concurrentie, en andere factoren.

We kunnen verwachten dat de trend van AI in alle gebieden van machine vision zeker zal doorgaan met als doel het elimineren van de ontwikkeling van op maat gemaakte algoritmes. We zien een enorm potentieel in het gebied van kunstmatige intelligentie (AI) en de combinatie met de Parallel Structured Light technologie. Aan de ene kant, is AI afhankelijk van goede data. Aan de andere kant, kan de nieuwe machine vision technologie een grote hoeveelheid hoogwaardige echte 3D-data leveren. Het combineren van deze twee benaderingen kan intelligente robotica transformeren en een nieuwe sfeer van mogelijkheden mogelijk maken.

Een andere veelbelovende richting van toekomstige ontwikkelingen is edge computing. Fabrikanten zullen waarschijnlijk hun inspanningen voortzetten om AI direct in sensoren te integreren en ze te specialiseren voor een gedefinieerd doel (bijv. persoontelling, dimensionering, of geautomatiseerde detectie van gedefinieerde objectkenmerken), wat implementatie makkelijker maakt voor integrators en de behoefte aan extra componenten minimaliseert. Nieuwe hardware-oplossingen capabel van het vastleggen van bewegende scènes gecombineerd met geavanceerde AI-algoritmes zullen de steeds verbrede toepassingsgebieden zelfs in uitdagendere gebieden zoals collaboratieve robotica of complete logistieke automatisering uitbreiden.