De evolutie van 3D-zicht

De belangrijkste beperking van 2D-technologieën is echter dat ze geen objectvormen kunnen herkennen of afstanden in de Z-dimensie kunnen meten.

2D-toepassingen vereisen goede, goed gedefinieerde omstandigheden met extra verlichting, wat ook toepassingen zoals bin picking beperkt. Deze robottaak kan worden uitgevoerd met een 2D-visiesysteem, maar is over het algemeen problematisch vanwege de willekeurige positie van objecten in een bak en een grote hoeveelheid informatie in de scène die 2D-visiesystemen niet aankunnen.

Mensen erkenden de behoefte aan 3D-informatie om complexere taken te kunnen automatiseren. Ze begrepen dat mensen hun omgeving in een 3D-weergave konden zien en de afstand van objecten konden zien omdat ze twee ogen hadden - stereoscopisch zicht.

In de jaren zestig, Larry Roberts , die wordt geaccepteerd alsde vader van Computer Vision , beschreef hoe je 3D geometrische informatie kunt afleiden uit 2D foto's van lijntekeningen en hoe een computer een 3D-model kan maken van een enkele 2D-foto.

In de jaren zeventig begon een cursus "Machine Vision" in het Artificial Intelligence Lab van MIT om taken op het gebied van machinevisie op laag niveau aan te pakken. Hier ontwikkelde David Marr een unieke benadering van het begrijpen van scènes door middel van computervisie, waarbij hij visie betrad als een informatieverwerkingssysteem. Zijn aanpak begon met een 2D-schets, waarop de computer verder bouwde om een ​​uiteindelijk 3D-beeld te krijgen.

Het onderzoek naar machine vision werd in de jaren tachtig geïntensiveerd en bracht nieuwe theorieën en concepten voort. Hieruit ontstond een aantal verschillende 3D-machine vision-technologieën, die geleidelijk in industriële en productieomgevingen zijn toegepast om de meest uiteenlopende processen te automatiseren.

Eerste 3D-visietechnologieën

De inspanning om menselijk stereoscopisch zicht te imiteren, resulteerde in de ontwikkeling van een van de eerste 3D-waarnemingstechnologieën - passieve stereo . Deze triangulatiemethode observeert een scène vanuit twee gezichtspunten en berekent de driehoek camera – gescand object – camera , op zoek naar correlaties tussen de twee afbeeldingen. Op basis van de ongelijkheid tussen de afbeeldingen berekent het de afstand (diepte) van het gescande object. Deze aanpak is echter gebaseerd op het vinden van identieke details in de afbeeldingen, dus het werkt niet goed met witte muren of scènes zonder patronen. De betrouwbaarheid van passieve stereo is klein en de 3D-uitvoer heeft meestal veel ruis en vereist veel rekenkracht.

Om dit nadeel te compenseren, begonnen onderzoekers te experimenteren met het projecteren van lichtpatronen op de scène om een ​​kunstmatige textuur op het oppervlak te creëren en overeenkomsten in de scène gemakkelijker te identificeren. Deze methode wordt actieve stereo genoemd . Hoewel deze methode betrouwbaarder is dan passieve stereo, wordt de kwaliteit van de reconstructie vaak aangetast door strikte eisen aan de verwerkingstijd, waardoor deze voor veel toepassingen onvoldoende is.

Een van de vroegste en nog steeds zeer populaire methoden om 3D-informatie te verwerven is laser profilometrie . Deze techniek projecteert een smalle lichtband (of een punt) op een 3D-oppervlak, wat een lichtlijn produceert die vervormd lijkt vanuit een andere hoek dan die van de projector. Deze afwijking codeert diepte-informatie. Lijnscanners leggen één diepteprofiel tegelijk snel achter elkaar vast, waarvoor ze het gescande object of de camera constant moeten laten bewegen. Laserprofilometrie was een van de eerste 3D-scanmethoden die werd toegepast voor industrieel gebruik en is bijvoorbeeld nog steeds erg populair in metrologische toepassingen.

Een andere methode die is uitgevonden door gestructureerde lichtpatronen op een scène te projecteren, is gestructureerd licht . Een van de meest geciteerde werken waarin het gebruik van gestructureerd licht met binaire codes voor digitale restauratie werd besproken, was The Digital Michelangelo Project geleid door Marc Levoy en zijn team aan de Stanford University. Het project startte in 1998 om de beelden van Michelangelo te digitaliseren met behulp van een projector en een camerasensor. De laserscangegevens voor Michelangelo's David werden vervolgens gebruikt voor de restauratie van het beeld, waarmee in 2002 werd begonnen. Hoewel de methode die in dit project werd gebruikt niet snel genoeg was om in real-time toepassingen te worden gebruikt, bood het een zeer hoge nauwkeurigheid die nodig was voor de digitalisering van verschillende artefacten en objecten. Hierdoor vond de technologie zijn plekje in metrologische toepassingen en andere robot- en machine vision-taken die een hoge scanprecisie vereisen.

Geleidelijk breidde de gestructureerde lichttechnologie zich uit tot buiten de metrologie en drong door tot allerlei online toepassingen met behulp van vision-guided robots. Het voordeel van gestructureerde lichte 3D-scanners is dat ze geen beweging nodig hebben. Omdat ze een momentopname van het hele scangebied kunnen maken en men niet met de scanner om het hele object heen hoeft te gaan, zijn ze sneller dan apparaten op basis van laserprofilometrie en vereisen ze niet zoveel nabewerking van gegevens.

Van statische tot dynamische scènes

Het vastleggen van beweging is een stuk uitdagender dan het 3D-scannen van statische scènes en diskwalificeert methoden die langere acquisitietijden vereisen.

Omdat passieve stereo is een passieve methode die geen extra verlichting gebruikt, het kan worden gebruikt voor het vastleggen van dynamische scènes, maar alleen als aan bepaalde voorwaarden is voldaan. Toch zouden de resultaten niet goed zijn.

Laser profilometrie is in dit opzicht niet veel succesvoller dan passieve stereo. Omdat het één profiel per keer vastlegt, moet de camera of de scène bewegen om een ​​volledige momentopname van de scène te maken. De technologie kan echter geen dynamische gebeurtenis vastleggen. Om de diepte voor een enkel profiel te reconstrueren, moet een scanbeeld met een smal gebied worden vastgelegd, waarbij de grootte de framesnelheid en bijgevolg ook de scansnelheid beperkt.

Gestructureerd licht systemen daarentegen projecteren meerdere lichtpatronen achter elkaar op de scène. Hiervoor moet de scène statisch zijn. Als het gescande object of de camera beweegt, wordt de code verbroken en wordt de 3D-puntenwolk vervormd.

De behoefte om dynamische objecten in 3D te reconstrueren leidde tot de ontwikkeling van Time-of-Flight (ToF) systemen. Net als bij de gestructureerde lichttechnologie is ToF een actieve methode die lichtsignalen naar de scène stuurt en de signalen vervolgens interpreteert met de camera en de bijbehorende software. In tegenstelling tot gestructureerd licht structureert ToF het licht in de tijd en niet in de ruimte. Het werkt volgens het principe van het meten van de tijd waarin een lichtsignaal uitgezonden door de lichtbron het gescande object raakt en terugkeert naar de sensor.

De eerste ToF-systemen hadden een vrij lage kwaliteit. Grote spelers op dit gebied waren onder meer Canesta, 3DV Systems of Microsoft (dat later beide bedrijven overnam). Een van de vroege, bekende projecten was de ZCam - een Time-of-Flight-camera ontwikkeld door 3DV en later gekocht door Microsoft om te worden gebruikt voor het verkrijgen van 3D-informatie en interactie met virtuele objecten in de Xbox-videogameconsole van Microsoft. /P>

In 2010 bracht Microsoft zijn Kinect-sensorsysteem voor Xbox uit, een bewegingsgevoelige camera die was gebaseerd op de PrimeSense-technologie. De PrimeSense-technologie gebruikte een gestructureerd patroon om bepaalde pixels (niet allemaal) te coderen en 3D-informatie te verkrijgen. Hoewel de methode geen hoge resolutie en gedetailleerde contouren aan de randen van de gescande objecten kon bieden, werd deze op grote schaal toegepast omdat de verwerkingssnelheid vrij snel was en de technologie ook zeer betaalbaar was. Het is voornamelijk gebruikt in de academische wereld, maar het is nauwelijks ook te vinden in de industriële omgeving voor robotpicking en andere taken.

In tegenstelling tot Kinect 1 was Kinect 2 gebaseerd op de ToF-technologie. Vooruitgang in ToF zorgde ervoor dat de methode steeds populairder werd en algemeen werd toegepast - het kon een hogere kwaliteit bieden dan de PrimeSense-technologie, maar de resolutie van de 3D-scans van dynamische scènes was nog steeds niet voldoende.

De ToF-systemen van vandaag zijn behoorlijk populair in 3D-vision-toepassingen dankzij hun hoge scansnelheid en bijna real-time acquisitie. Hun resolutie is echter nog steeds een probleem en ze worstelen ook met hogere geluidsniveaus.

In 2013 kwam Photoneo met een revolutionair idee om snel bewegende objecten vast te leggen om 3D-informatie in hoge resolutie en submillimeternauwkeurigheid te krijgen.

De gepatenteerde technologie van Parallel Structured Light is gebaseerd op een speciale, gepatenteerde CMOS-sensor met een multi-tap sluiter met een mozaïek pixelpatroon, dat de manier waarop een foto kan worden gemaakt fundamenteel verandert.

Deze nieuwe snapshotbenadering maakt gebruik van gestructureerd licht, maar verwisselt de rol van de camera en de projector:terwijl gestructureerde lichtsystemen meerdere patronen achter elkaar uit de projector uitzenden, stuurt de Parallel Structured Light-technologie een zeer eenvoudige laserzwaai, zonder patronen, over de scène en construeert de patronen aan de andere kant - in de CMOS-sensor. Dit alles gebeurt in één keer en maakt de constructie mogelijk van meerdere virtuele beelden binnen één belichtingsvenster. Het resultaat is een zeer nauwkeurig 3D-beeld met hoge resolutie van bewegende scènes zonder bewegingsartefacten.

Een dynamische scène vastgelegd door de Parallel Structured Light-technologie .

De Parallel Structured Light-technologie is geïmplementeerd in de 3D-camera MotionCam-3D van Photoneo. De ontwikkeling van de camera en de introductie ervan op de markt vormden een mijlpaal in de geschiedenis van machine vision, aangezien het vision-guided robotica opnieuw definieerde en de automatiseringsmogelijkheden in ongekende mate uitbreidde. De nieuwe aanpak werd bekroond met tal van onderscheidingen, waaronder de Vision Award 2018 , Vision Systems Design Innovators Platinum Award 2019 , inVision Topinnovaties 2019 , IERA Award 2020 , RBR50 Robotics Innovation Awards 2021 van Robotics Business Review , inVision Topinnovaties 2021 en SupplyTech Breakthrough Award 2022 .

3D-scannen in beweging en kleur

In 2022 breidde Photoneo de mogelijkheden van de MotionCam-3D uit door deze uit te rusten met een kleureenheid voor het vastleggen van kleurgegevens. MotionCam-3D Color wordt beschouwd als de volgende zilveren kogel in machine vision, omdat het eindelijk real-time kleurrijke 3D-puntenwolkcreatie van bewegende scènes in perfecte kwaliteit mogelijk maakt. Dankzij de unieke combinatie van 3D-geometrie, beweging en kleur opent de camera de deur naar veeleisende AI-toepassingen en robottaken die niet alleen afhankelijk zijn van diepte-informatie, maar ook van kleurgegevens.

Realtime kleurrijke 3D-puntenwolkcreatie van een bewegende scène met behulp van MotionCam-3D Color .

Toepassingsgebieden mogelijk gemaakt door machine vision-innovaties

Dankzij de mogelijkheden die de nieuwste innovaties op het gebied van 3D-machinevisie bieden, kunnen we taken automatiseren die tot voor kort onhaalbaar waren. Deze toepassingen zijn te vinden in productie, logistiek, auto's, kruidenierswaren, landbouw, medicijnen en andere sectoren en omvatten: