Time of flight systeemontwerp:systeemoverzicht

Continuous wave (CW time of flight (ToF) camera's zijn een krachtige oplossing die een hoge diepteprecisie biedt voor toepassingen die 3D-informatie van hoge kwaliteit vereisen, maar ontwikkelaars moeten meerdere factoren in overweging nemen om het beste prestatieniveau te bereiken.

Dit is het eerste artikel in onze time of flight (ToF)-serie dat een overzicht geeft van de continuous wave (CW) CMOS ToF-camerasysteemtechnologie en de voordelen ervan ten opzichte van traditionele 3D-beeldvormingsoplossingen voor machine vision-toepassingen. In volgende artikelen wordt dieper ingegaan op enkele van de componenten op systeemniveau die in dit artikel worden geïntroduceerd, waaronder het subsysteem voor verlichting, optica, energiebeheer en diepteverwerking.

Inleiding

Veel machine vision-toepassingen vereisen nu 3D-dieptebeelden met hoge resolutie om standaard 2D-beeldvorming te vervangen of uit te breiden. Deze oplossingen vertrouwen op de 3D-camera om betrouwbare diepte-informatie te leveren om de veiligheid te garanderen, vooral wanneer machines in de nabijheid van mensen werken. De camera's moeten ook betrouwbare diepte-informatie bieden in uitdagende omgevingen, zoals in grote ruimtes met sterk reflecterende oppervlakken en in de aanwezigheid van andere bewegende objecten.

Veel producten hebben tot nu toe gebruik gemaakt van meetzoekeroplossingen met een lage resolutie om diepte-informatie te verschaffen om 2D-beeldvorming te verbeteren. Deze benadering heeft echter veel beperkingen. Voor toepassingen die profiteren van 3D-diepte-informatie met een hogere resolutie, bieden CW CMOS ToF-camera's de best presterende oplossingen op de markt. Enkele van de systeemfuncties die mogelijk worden gemaakt door CW ToF-sensortechnologie met hoge resolutie worden in meer detail beschreven in Tabel 1. Deze systeemfuncties vertalen zich ook naar gebruiksscenario's voor consumenten, zoals video-bokeh, gezichtsauthenticatie en meettoepassingen, evenals gebruiksscenario's voor auto's zoals als bewaking van de alertheid van de bestuurder en geautomatiseerde configuratie in de cabine.

Tabel 1. Functies van continue golftijd van vluchtsysteem

Systeemfunctie Bekrachtigers Diepteprecisie en nauwkeurigheid• Modulatiefrequentie

• Modulatieschema's en diepteverwerking Dynamisch bereik• Uitleesruis

• Ruwe framesnelheid Gebruiksgemak• Kalibratieprocedure

• Temperatuurcompensatie

• OogveiligheidsbewakingBuitengebruik• Gevoeligheid bij 940 nm

• Verlichtingskracht en efficiëntie2D/3D-fusie• Pixelgrootte

• Diepte- en 2D IR-beelden Multisysteembediening• In-pixelonderdrukking van storend licht

• Camerasynchronisatie

Continuous Wave CMOS Time of Flight Camera-overzicht

Een dieptecamera is een camera waarbij elke pixel de afstand tussen de camera en de scène weergeeft. Een techniek om diepte te meten is het berekenen van de tijd die het licht nodig heeft om van een lichtbron op de camera naar een reflecterend oppervlak en terug naar de camera te reizen. Deze reistijd wordt gewoonlijk de vluchttijd (ToF) genoemd.

klik voor afbeelding op volledige grootte

Figuur 1. Overzicht van continue golftijd van vluchtsensortechnologie. (Bron:Analoge apparaten)

Een ToF-camera bestaat uit verschillende elementen (zie afbeelding 1), waaronder:

• een lichtbron, zoals een VCSEL-laser (VCSEL) of een edge-emitting laserdiode, die licht uitzendt in het nabij-infrarooddomein. De meest gebruikte golflengten zijn 850 nm en 940 nm. De lichtbron is meestal een diffuse bron (vloedverlichting) die een lichtstraal uitstraalt met een bepaalde divergentie (ook wel lichtveld of FOI genoemd) om de scène voor de camera te verlichten.
• een laserdriver die de intensiteit van het door de lichtbron uitgestraalde licht moduleert.
• een sensor met een pixelarray die het terugkerende licht van de scène verzamelt en waarden voor elke pixel uitvoert.
• een lens die het terugkerende licht op de sensorarray focust.
• een banddoorlaatfilter naast de lens dat licht buiten een smalle bandbreedte rond de golflengte van de lichtbron filtert.
• een verwerkingsalgoritme dat onbewerkte uitvoerframes van de sensor omzet in dieptebeelden of puntenwolken.

Men kan meerdere benaderingen gebruiken om het licht in een ToF-camera te moduleren. Een eenvoudige benadering is om een ​​continue golfmodulatie te gebruiken, bijvoorbeeld een blokgolfmodulatie met een werkcyclus van 50%. In de praktijk is de lasergolfvorm zelden een perfecte blokgolf en lijkt hij misschien meer op een sinusgolf. Een vierkante lasergolfvorm levert een betere signaal-ruisverhouding op voor een bepaald optisch vermogen, maar introduceert ook niet-lineariteitsfouten in de diepte vanwege de aanwezigheid van hoogfrequente harmonischen.

Een CW ToF-camera meet het tijdsverschil t_d tussen het uitgezonden signaal en het retoursignaal door de faseverschuiving te schatten ϕ =2πft_d tussen de fundamenten van die twee signalen. De diepte kan worden geschat op basis van de faseverschuiving (ϕ) en de lichtsnelheid (c) met behulp van:

waar f_mod is de modulatiefrequentie.

Een klokgeneratiecircuit in de sensor regelt de complementaire pixelklokken die respectievelijk de accumulatie van fotoladingen in de twee ladingsopslagelementen (Tap A en Tap B) regelen, evenals het lasermodulatiesignaal naar de laserdriver. De fase van het terugkerende gemoduleerde licht kan worden gemeten ten opzichte van de fase van de pixelklokken (zie rechterkant van figuur 1). De differentiële lading tussen Tap A en Tap B in de pixel is evenredig met de intensiteit van het terugkerende gemoduleerde licht en met de fase van het terugkerende gemoduleerde licht ten opzichte van de pixelklok.

Met behulp van principes van homodyne-detectie wordt een meting gedaan met meerdere relatieve fasen tussen pixelklok en lasermodulatiesignaal. Deze metingen worden gecombineerd om de fase van de grondtoon in het terugkerende gemoduleerde lichtsignaal te bepalen. Als u deze fase kent, kunt u de tijd berekenen die het licht nodig heeft om van de lichtbron naar het object dat wordt geobserveerd en terug naar de sensorpixel te reizen.

Voordelen van hoge modulatiefrequenties

In de praktijk zijn er niet-idealiteiten zoals fotonenschotruis, uitleescircuitruis en multipath-interferentie die fouten in de fasemeting kunnen veroorzaken. Het hebben van een hoge modulatiefrequentie vermindert de impact van die fouten op de diepteschatting.

Dit is gemakkelijk te begrijpen door een eenvoudig voorbeeld te nemen van een fasefout ϵ_ϕ —dat wil zeggen, de door de sensor gemeten fase is ϕ =ϕ + ϵ_ϕ . De dieptefout is dan:

Daarom is de dieptefout omgekeerd evenredig met de modulatiefrequentie, f_mod . Dit wordt grafisch geïllustreerd in figuur 2.

klik voor afbeelding op volledige grootte

Figuur 2. Het effect van fasefout op afstandsschatting. (Bron:Analoge apparaten)

Deze eenvoudige formule verklaart grotendeels waarom ToF-camera's met een hoge modulatiefrequentie minder diepteruis en kleinere dieptefouten hebben dan ToF-camera's met een lagere modulatiefrequentie.

Een nadeel van het gebruik van een hoge modulatiefrequentie is dat de fase zich sneller omwikkelt, waardoor het bereik dat ondubbelzinnig kan worden gemeten korter is. De gebruikelijke manier om deze beperking te omzeilen, is door meerdere modulatiefrequenties te gebruiken die zich met verschillende snelheden omwikkelen. De laagste modulatiefrequentie biedt een groot bereik zonder dubbelzinnigheid maar grotere dieptefouten (ruis, multipath-interferentie, enz.), terwijl hogere modulatiefrequenties samen worden gebruikt om dieptefouten te verminderen. Een voorbeeld van dit schema met drie verschillende modulatiefrequenties wordt getoond in figuur 3. De uiteindelijke diepteschatting wordt berekend door de onverpakte faseschattingen voor de verschillende modulatiefrequenties te wegen, waarbij hogere gewichten worden toegekend aan de hogere modulatiefrequenties.

klik voor afbeelding op volledige grootte

Figuur 3. Uitpakken met meerdere frequenties. (Bron:Analoge apparaten)

Als de gewichten voor elke frequentie optimaal worden gekozen, is de diepteruis omgekeerd evenredig met het kwadraat (rms) van de modulatiefrequenties die in het systeem zijn gekozen. Voor een constant dieptegeluidsbudget maakt het verhogen van de modulatiefrequenties het mogelijk de integratietijd of het verlichtingsvermogen te verminderen.

Andere systeemaspecten die essentieel zijn voor prestaties

Er zijn tal van systeemfuncties waarmee u rekening moet houden bij het ontwikkelen van een hoogwaardige ToF-camera, waarvan sommige hier kort worden besproken.

Beeldsensor

De beeldsensor is een belangrijk onderdeel van een ToF-camera. De effecten van de meeste niet-idealiteiten van diepteschatting (bijvoorbeeld vertekening, diepteruis en multipath-artefacten) worden verminderd wanneer de gemiddelde modulatiefrequentie van het systeem toeneemt. Het is daarom belangrijk dat de sensor een hoog demodulatiecontrast heeft (vermogen om foto-elektronen te scheiden tussen Tap A en Tap B) bij hoge modulatiefrequentie (honderden MHz). De sensor moet ook een hoge kwantumefficiëntie (QE) hebben in de nabij-infrarode golflengten (bijvoorbeeld 850 nm en 940 nm), zodat er minder optisch vermogen nodig is om foto-elektronen in de pixel te genereren. Ten slotte helpt een lage uitleesruis bij het dynamische bereik van de camera door lage retoursignalen te detecteren (objecten ver weg of met lage reflectie).

Verlichting

De laserdriver moduleert de lichtbron (bijvoorbeeld VCSEL) met een hoge modulatiefrequentie. Om de hoeveelheid bruikbaar signaal bij de pixel voor een bepaald optisch vermogen te maximaliseren, moet de optische golfvorm snelle stijg- en daaltijden hebben met schone randen. De combinatie van laser, laserdriver en PCB-lay-out in het verlichtingssubsysteem zijn allemaal van cruciaal belang om dit te bereiken. Er is ook enige karakterisering vereist om de optimale instellingen voor optisch vermogen en werkcyclus te vinden om de amplitude van de grondtoon in de Fourier-transformatie van de modulatiegolfvorm te maximaliseren. Ten slotte moet het optische vermogen ook op een veilige manier worden geleverd met enkele ingebouwde veiligheidsmechanismen op laserdriver- en systeemniveau om ervoor te zorgen dat de veiligheidslimieten van klasse 1 te allen tijde worden gerespecteerd.

Optica

Optica speelt een sleutelrol in ToF-camera's. ToF-camera's hebben bepaalde specifieke kenmerken die aan speciale optische vereisten voldoen. Ten eerste moet het verlichtingsveld van de lichtbron overeenkomen met het gezichtsveld van de lens voor een optimale efficiëntie. Het is ook belangrijk dat de lens zelf een hoog diafragma (lage f/#) heeft voor een betere lichtverzamelingsefficiëntie. Grote diafragmaopeningen kunnen leiden tot andere compromissen rond vignettering, geringe scherptediepte en complexiteit van het lensontwerp. Een lensontwerp met een lage hoofdstraalhoek kan ook helpen de bandbreedte van het banddoorlaatfilter te verminderen, wat de afwijzing van omgevingslicht verbetert en daardoor de prestaties buitenshuis verbetert. Het optische subsysteem moet ook worden geoptimaliseerd voor de gewenste werkingsgolflengte (bijvoorbeeld antireflectiecoatings, banddoorlaatfilterontwerp, lensontwerp) om de doorvoerefficiëntie te maximaliseren en strooilicht te minimaliseren. Er zijn ook veel mechanische vereisten om ervoor te zorgen dat de optische uitlijning binnen de gewenste toleranties voor de eindtoepassing valt.

Energiebeheer

Energiebeheer is ook van cruciaal belang bij het ontwerpen van een hoogwaardige 3D ToF-cameramodule. De lasermodulatie en pixelmodulatie genereren korte uitbarstingen van hoge piekstromen, wat enige beperkingen oplegt aan de energiebeheeroplossing. Er zijn enkele functies op sensor-geïntegreerde schakeling (IC)-niveau die kunnen helpen het piekstroomverbruik van de imager te verminderen. Er zijn ook technieken voor energiebeheer die op systeemniveau kunnen worden toegepast om de vereisten voor de stroombron (bijvoorbeeld batterij of USB) te verlichten. De belangrijkste analoge voedingen voor een ToF-imager vereisen doorgaans een regelaar met een goede transiënte respons en weinig ruis.

klik voor afbeelding op volledige grootte

Figuur 4. Optische systeemarchitectuur. (Bron:Analoge apparaten)

Diepteverwerkingsalgoritme

Ten slotte is een ander groot onderdeel van het ontwerp op systeemniveau het algoritme voor diepteverwerking. De ToF-beeldsensor voert onbewerkte pixelgegevens uit waaruit de fase-informatie moet worden geëxtraheerd. Deze bewerking vereist verschillende stappen, waaronder ruisfiltering en fase-uitpakken. De output van het fase-uitpakblok is een meting van de afstand die het licht aflegt van de laser, naar de scène en terug naar de pixel, vaak bereik of radiale afstand genoemd.

De radiale afstand wordt over het algemeen omgezet in puntenwolkinformatie, die de informatie voor een bepaalde pixel vertegenwoordigt door zijn werkelijke coördinaten (X,Y,Z). Vaak gebruiken eindapplicaties alleen de Z-beeldkaart (dieptekaart) in plaats van de volledige puntenwolk. Het omzetten van radiale afstand in puntenwolk vereist kennis van de lens-intrinsieken en vervormingsparameters. Die parameters worden geschat tijdens geometrische kalibratie van de cameramodule. Het diepteverwerkingsalgoritme kan ook andere informatie uitvoeren, zoals actieve helderheidsbeelden (amplitude van het geretourneerde lasersignaal), passieve 2D IR-beelden en betrouwbaarheidsniveaus, die allemaal kunnen worden gebruikt in eindtoepassingen. De diepteverwerking kan worden gedaan op de cameramodule zelf of in een hostprocessor ergens anders in het systeem.

Een overzicht van de verschillende componenten op systeemniveau die in dit artikel worden behandeld, wordt weergegeven in Tabel 2. Deze onderwerpen zullen in toekomstige artikelen in meer detail worden behandeld.

Tabel 2. Componenten op systeemniveau van 3D Time of Flight-camera's

Onderdeel op systeemniveau Belangrijkste kenmerken ToF ImagerResolution, hoog demodulatiecontrast, hoge kwantumefficiëntie, hoge modulatiefrequentie,
lage uitleesruis VerlichtingsbronHoog optisch vermogen, hoge modulatiefrequentie,
oogveiligheidskenmerkenOpticaHoge lichtopvangefficiëntie, minimaal strooilicht, smalle bandbreedteEnergiebeheerLaag geluid , goede tijdelijke respons,
hoog rendement, levert hoog piekvermogen Diepteverwerking Laag vermogen, ondersteunt verschillende soorten uitvoer
diepte-informatie

Conclusie

Camera's met continue golftijd van vlucht zijn een krachtige oplossing die een hoge diepteprecisie biedt voor toepassingen die 3D-informatie van hoge kwaliteit vereisen. Er zijn veel factoren waarmee u rekening moet houden om ervoor te zorgen dat het beste prestatieniveau wordt bereikt. Factoren zoals modulatiefrequentie, demodulatiecontrast, kwantumefficiëntie en uitleesruis bepalen de prestaties op het niveau van de beeldsensor. Andere factoren zijn overwegingen op systeemniveau, waaronder het verlichtingssubsysteem, optisch ontwerp, energiebeheer en algoritmen voor diepteverwerking. Al deze componenten op systeemniveau zijn van cruciaal belang om het 3D ToF-camerasysteem met de hoogste precisie te bereiken. Deze onderwerpen op systeemniveau zullen in volgende artikelen in meer detail worden behandeld. Ga voor meer informatie over het ToF-productaanbod van ADI naar analog.com/tof.

---

Paul O'Sullivan is een systeemingenieur bij Analog Devices in Santa Clara, Californië. Hij trad in 2004 in dienst bij Analog Devices in Ierland, waar hij in verschillende functies voor testontwikkeling en applicatie-engineering werkte voordat hij in 2016 naar Californië verhuisde om te werken aan geavanceerde technologieprojecten voor consumententoepassingen. Hij werkt sinds 2019 aan de ontwikkeling en kalibratie van 3D ToF-cameramodules. Hij heeft een B.E. diploma van University College Cork en M.Eng. van de Universiteit van Limerick, Ierland. Hij is te bereiken via [email protected]. Nicolas Le Dortz is de system engineering manager in de Time of Flight (ToF) Technology Group bij Analog Devices. In deze rol houdt hij toezicht op de ontwikkeling van ADI's ToF-technologieaanbod, waarbij hij de cross-functionele teams overbrugt die betrokken zijn bij het leveren van ToF-camerasystemen en uitstekende prestaties levert aan de klanten van Analog Devices. Hij ontving een M.S. in elektrotechniek van Ecole Polytechnique, Frankrijk, in 2010, een M.S. in micro-elektronica van KTH, Zweden, in 2012, en een Ph.D. in elektrotechniek van Ecole Centrale-Supelec, Frankrijk, in 2015, en hij was gastonderzoeker bij UC Berkeley van 2013 tot 2014. Hij is gepassioneerd door het werken met klanten om innovatie rond dieptewaarneming te creëren door disciplines zoals computervisie, signaalverwerking, ontwerp van geïntegreerde schakelingen, softwareontwikkeling en optisch ontwerp. Hij is te bereiken via [email protected].

---

Verwante inhoud:

• Tools gaan hoger in de waardeketen om het mysterie uit Vision AI te halen
• Effectieve IoT-applicaties bouwen met tinyML en geautomatiseerde machine learning
• Time-of-flight-technologie belooft verbeterde nauwkeurigheid
• Nabij-infrarood time-of-flight-sensor vermindert interferentie door zonlicht
• Lidar-platform ondersteunt bezettingsdetectie, sociale afstand
• ToF-sensor biedt snelle 3D-detectie
• Ultrasone time-of-flight sensor biedt 1 meter bereik

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.