Belangrijkste 3D-Sensing Technologieën Uitgelegd

Ons vorige artikel getiteld "3D-visiesystemen — welke is de juiste voor u?" behandelde de belangrijkste parameters van 3D-visiesystemen, en wat de trade-offs zijn van sommige parameters die vrij hoog zijn. De besproken parameters omvatten het scanvolume, data-acquisitie & verwerkingstijd, resolutie, nauwkeurigheid & precisie, robuustheid, ontwerp & connectiviteit, en de prijs/prestatieverhouding.

Elke van deze parameters speelt zijn rol in specifieke toepassingen — waar de ene parameter cruciaal is, kan de andere van mindere betekenis zijn en vice versa.

We zullen naar deze parameters verwijzen voor een betere vergelijking van de individuele technologieën achter 3D-visiesystemen en de mogelijkheden die ze bieden.

3D-sensing technologieën

De technologieën die 3D-visiesystemen aandrijven, kunnen verdeeld worden in twee grote groepen. De ene gebruikt het time-of-flight principe en de ander het principe van triangulatie:

A. Time-of-flight

• Area scan
• LiDAR

B. Triangulatie-gebaseerde methoden

• Laser triangulatie (of profilometrie)
• Fotogrammetrie 
• Stereo visie (passief en actief) 
• Gestructureerd licht (één frame, meerdere frames)
• De nieuwe "parallel structured light" technologie 

Dit artikel zal de basisverschillen tussen deze technieken bespreken. Daarna zal het zich richten op één groot aspect waar ze allemaal mee worstelen, geen van hen in staat zijnde het bevredigend aan te pakken — behalve één. Dit aspect is de hoge-kwaliteit data-opname van scènes in beweging. Er is één enkele, nieuwe technologie die het snapshot area-scannen van snel bewegende objecten met hoge kwaliteit mogelijk maakt, waardoor de noodzaak vervalt om te compromitteren tussen kwaliteit en snelheid. Deze methode wordt aan het einde van dit artikel behandeld. Maar laten we stap voor stap gaan.

Time-of-flight (ToF)

ToF-systemen zijn gebaseerd op het meten van de tijd waarin een lichtsignaal geëmiteerd vanaf de lichtbron het gescande object raakt en terugkeert naar de sensor. Hoewel de scansnelheid relatief hoog is, is de beperking de snelheid van het licht zelf. Zelfs een kleine fout in de berekening van het moment van lichtincidentie kan resulteren in een meetfout van millimeters tot centimeters. Een andere beperking is dat deze sensoren relatief lage resolutie bieden.

Er zijn twee verschillende technieken die de ToF-benadering gebruiken — LiDAR en area sensing.

LiDAR

LiDAR-systemen monsteren één (of een paar) 3D-punten tegelijk. Tijdens het scannen veranderen ze de positie of oriëntatie van de sensor om het hele werkvolume te scannen.

ToF area sensing

ToF-systemen gebaseerd op area sensing gebruiken een speciale beeldsensor om tijd te meten voor meerdere metingen in een 2D-snapshot. Ze bieden niet zo hoge data-kwaliteit als LiDAR-systemen maar zijn goed geschikt voor dynamische toepassingen die volstaan met een lage resolutie. Een specifiek nadeel van deze methode zijn interreflecties tussen de delen van de scène, die foute metingen kunnen veroorzaken.

ToF-systemen zijn redelijk populair vanwege de aantrekkelijke prijs van consumentenapparaten primair ontworpen voor mens-computer interactie.

Triangulatie-gebaseerde methoden

Triangulatie-gebaseerde systemen observeren scènes vanuit twee perspectieven, wat een basislijn vormt. De basislijn en het geïnspecteerde punt vormen een driehoek — door de hoeken van deze driehoek te meten, kunnen we de exacte 3D-coördinaten berekenen. De lengte van de basislijn en de nauwkeurigheid van het ophalen van de hoeken beïnvloeden de precisie van een systeem sterk.

Laser triangulatie = Profilometrie

Laser triangulatie is een van de meest populaire 3D-sensing methoden. Het projecteert een smal lichtband (of een punt) op een 3D-oppervlak, wat een verlichte lijn produceert die vervormd zal lijken vanuit een andere hoek dan die van de projector. Deze afwijking codeert diepte-informatie.

Omdat het één profiel per keer vastlegt, moet ofwel de sensor ofwel het object bewegen, of het laserprofiel door de scène scannen, om een volledige snapshot te maken.

Om de diepte voor een enkel profiel te reconstrueren, vereist deze methode de opname van een smal area-scan beeld, waarbij de grootte ervan de framerate en consequent ook de scansnelheid beperkt. Bovendien kan de diepteberekening tamelijk ingewikkeld raken aangezien het berust op het vinden van intensiteitsmaximums in vastgelegde 2D-beelden, wat op zich al een complex probleem is.

Fotogrammetrie

Fotogrammetrie is een techniek die de 3D-reconstructie van een object berekent vanuit een hoog aantal niet-geregistreerde 2D-beelden. Vergelijkbaar met stereo visie, berust het op de textuur van het object maar het kan profiteren van meerdere monsters van hetzelfde punt met een hoge basislijn. Fotogrammetrie kan gebruikt worden als alternatief voor LiDAR-systemen.

Stereo visie

Stereo visie is gebaseerd op de berekening van de driehoek: camera — gescand object — camera, namens de menselijke diepteperceptie. 

De standaard stereo zoekt correlaties tussen twee beelden (ze moeten een textuur/identieke details hebben) en op basis van de dispariteit, identificeert het de afstand (diepte) van het object. Vanwege deze afhankelijkheid van het materiaal van het object, wordt passieve 3D-stereo gebruikt voor toepassingen die niets meten, zoals mensen tellen.

Om dit nadeel te compenseren, is een actieve stereo visiesysteem ontwikkeld. Deze methode projecteert een lichtpatroon op het oppervlak om een kunstmatige textuur op het oppervlak en correspondenties in de scène te creëren. Echter, de identificatie van correspondenties en meting van één enkele diepte-punt vereist verschillende burenpixels, wat resulteert in een laag aantal gemeten punten met doorgaans lagere robuustheid.

De diepteberekening is gebaseerd op een analyse van correspondenties tussen het paar stereo-beelden, de complexiteit van welke toeneemt met de grootte van het match-venster en de dieptereikwijdte. Om strikte verwerkingstijdvereisten te halen, wordt de reconstructiekwaliteit vaak gecompromitteerd, wat de methode onvoldoende maakt voor bepaalde toepassingen.

Gestructureerd licht

Een andere methode die ook tot triangulatiebenaderingen behoort verlicht het gescande object met een zogenaamd gestructureerd licht. De driehoek spannt zich uit tussen een projector, het gescande object, en een camera. Omdat deze methode het vastleggen van de hele 3D-snapshot van een scène mogelijk maakt zonder dat onderdelen hoeven te bewegen, biedt de gestructureerde licht technologie een hoog niveau van prestaties en flexibiliteit.

Gesofisticeerde projectietechnieken worden gebruikt om een gecodeerd gestructureerd patroon te creëren dat 3D-informatie direct in de scène codeert. Deze informatie wordt vervolgens geanalyseerd door de camera en interne algoritmen, wat een hoge nauwkeurigheid en resolutie oplevert.

Hogere-resolutie gestructureerde licht systemen beschikbaar op de markt gebruiken meerdere frames van de scène, elk met een ander geprojecteerd gestructureerd patroon. Dit zorgt voor een hoge nauwkeurigheid per-pixel 3D-informatie maar vereist een statische scène op het moment van verwerking.

Een van de grootste nadelen van projectie-gebaseerde benaderingen is de dieptereikwijdte (of dieptebereik). Om de projector gefocust te houden, heeft het systeem een smalle opening nodig. Dit is niet optisch efficiënt, aangezien het geblokkeerde licht extra warmte en interne reflecties in het projectiesysteem creëert. Dit beperkt het gebruik van deze technologie voor hogere dieptebereiken.

Photoneo loste dit probleem op met een laser die gestructureerde patronen creëert. Photoneo systemen bieden een vrijwel onbeperkte dieptereikwijdte, en ook de mogelijkheid om smalle bandpasfilters te gebruiken om omgevingslicht te blokkeren.

Voor een bewegende toepassing, moet een één-frame benadering gebruikt worden. Een conventionele techniek is om de kenmerkende eigenschappen van multi-frame systemen in één gestructureerd patroon te coderen, met sterke impact op XY en Z resolutie. Vergelijkbaar met ToF-systemen, zijn er consumentengebaseerde producten beschikbaar in deze categorie.

Parallel Structured Light

Er is alleen één methode die in staat is de beperkingen van het scannen van bewegende scènes te overwinnen.

De nieuwe, gepatenteerde technologie genaamd Parallel Structured Light is ontwikkeld door Photoneo en stelt de opname van objecten in beweging met hoge kwaliteit in staat. De methode gebruikt gestructureerd licht in combinatie met een eigentijds mosaic shutter CMOS beeldsensor.

Terwijl de gestructureerde licht methode projector-gecodeerde patronen sequentieel vastlegt, vastlegt de Parallel Structured Light technologie meerdere beelden van gestructureerd licht parallel — dit is de game-changing factor. Omdat de beeldverwerking van een 3D-oppervlak meerdere frames vereist, zou de output van het scannen van een bewegend object met de gestructureerde licht methode vervormd zijn. De Parallel Structured Light technologie reconstrueert een dynamische scène door zijn 3D-beeld uit één enkele sensoropname op te bouwen.

De speciale sensor bestaat uit super-pixel blokken die verder verdeeld zijn in subpixels. De laser afkomstig van een gestructureerde licht projector is de hele tijd aan, terwijl de verlichtingen van de individuele pixels aan en uit worden gezet in een gecodeerde manier. Op deze manier is er één projectie en één vastgelegde afbeelding — maar deze afbeelding bevat meerdere sub-afbeeldingen, elk virtueel verlicht door een ander lichtpatroon.

Het resultaat is zeer vergelijkbaar met dat van meerdere beelden over de tijd, met het verschil dat deze nieuwe methode ze simultaan verkrijgt = daarom "Parallel Structured Light". Een ander voordeel van deze techniek is de mogelijkheid om de sensor in sequentiële modus te schakelen en een volledige 2MP resolutie met metrologie-kwaliteit te krijgen.

De Parallel Structured Light technologie biedt dus de hoge resolutie van multi-frame gestructureerde licht systemen en snelle, één-frame acquisitie van ToF-systemen.

Photoneo implementeerde deze technologie in zijn 3D-camera MotionCam-3D, daarmee ontwikkelend de hoogste-resolutie en hoogste-nauwkeurigheid area-scan 3D-camera die objecten in beweging kan vastleggen.

Conclusie

Dit artikel presenteerde een veelheid aan 3D-visiemethoden en legde hun specifieke voordelen en zwakke punten uit. De meeste state-of-the-art 3D-methoden maken een compromis tussen kwaliteit en snelheid, ofwel vanwege een veeleisend acquisitieproces of complexe dataverwerking. De enige technologie die zowel kwaliteit als snelheid tegelijkertijd levert, is de Parallel Structured Light gebaseerd op Photoneo's originele CMOS-sensor. Deze nieuwe methode breidt het bereik van mogelijke toepassingen uit en maakt automatisering mogelijk waar het niet mogelijk was voorheen.