Hoe werken Time of Flight-sensoren (ToF)? Een blik op ToF 3D-camera's

Hoe bepalen vluchttijdsensoren afstanden? Meer informatie over ToF-camera's met een voorbeeld van een 3D-camera.

Hoe bepalen time-of-flight-sensoren afstanden? Meer informatie over ToF-camera's met een voorbeeld van een 3D-camera.

Er zijn drie toonaangevende 3D-beeldtechnologieën die strijden om ruimte in uw mobiele telefoon en uw auto. Die technologieën zijn stereoscopische beeldvorming, gestructureerde lichtprojectie en time-of-flight (of ToF) camera's. De gegevens die deze apparaten genereren, kunnen voetgangersdetectie bieden, gebruikers authenticeren op basis van gezichtskenmerken, handbewegingen detecteren en SLAM-algoritmen (simultaneous localization and mapping) voeden.

Twee van de grootste spelers in deze ruimte zijn ams en Infineon. Op het moment van schrijven heeft ams een van elk type sensor en Infineon richt zich alleen op time-of-flight-sensoren.

Dit artikel beschrijft de technologie achter time-of-flight-sensoren door te focussen op een 3D-camera-ontwikkelingskit "pico flexx" van pmdtechnologies. (Voordat u het vraagt, zowel "pico flexx" als "pmdtechnologies" worden op hun website in kleine letters weergegeven.)

De pico flexx is opgebouwd rond de gezamenlijk ontwikkelde 3D-beeldsensor REAL3 van Infineon en pmd.

Valse-kleuren 3D-afbeelding van een hand genomen van pmdtec.com op 29 april 2019. Kleuren worden toegewezen aan individuele pixels op basis van de afstand van de sensor tot de hand (rood is dichtbij, blauw is ver)

Houd er rekening mee dat pmd ons een apparaat heeft geleverd voor dit artikel.

Wat is een vluchttijdsensor?

Time of flight-sensoren meten de tijd die iets nodig heeft om een ​​afstand door een medium af te leggen. Meestal is dit de meting van de tijd die is verstreken tussen het uitzenden van een golfpuls, de reflectie ervan op een object en de terugkeer naar de ToF-sensor. Een vluchtcamera is een apparaat dat ToF-meting gebruikt om afstanden tussen de camera en objecten of omgevingen te bepalen, waarbij beelden worden gemaakt die worden gegenereerd door individueel gemeten punten.

Toepassingen van ToF-camera's zijn onder meer lasergebaseerde scannerloze LiDAR-beeldvormingssystemen, bewegingsdetectie en -tracking, objectdetectie voor machinevisie en autonoom rijden, topografische kaarten en meer.

Maar hoe worden deze metingen bereikt?

Hieronder heb ik drie manieren weergegeven om reistijd te gebruiken om afstand te bepalen.

Methoden om reistijd te gebruiken om afstanden te bepalen

Boven aan de afbeelding ziet u de eerste methode, namelijk het verzenden van pulsen en het meten van het tijdsinterval totdat ze terugkeren na reflectie.

Het midden van de afbeelding toont de tweede methode, waarbij je de amplitude van een lichtbron kunt moduleren en de faseverschuiving van de gereflecteerde golf kunt vastleggen.

De onderkant van de afbeelding vertegenwoordigt de derde methode, die een blokgolf van 50% inschakelduur uitzendt en de hoeveelheid geretourneerd licht registreert die binnen een bepaald interval arriveert.

Millimeter-Nauwkeurige ToF-camera's

Licht- en radiogolven reizen met bijna 300.000.000.000 mm/s, wat neerkomt op ~3,3 ps voor een golf om 1 mm af te leggen (en nog eens 3,3 ps om terug te keren). Dat betekent dat als je een apparaat wilt dat alle objecten in de kamer waarin je je bevindt in beeld kan brengen en je een resolutie van ~ 1 mm wilt, je timingelektronica een resolutie van picoseconden nodig heeft. Dat vertaalt zich naar een kloksnelheid van honderden GHz.

Het is niet eenvoudig en niet economisch om elektronische circuits te ontwerpen die op die frequenties werken, dus moesten ontwerpers een manier bedenken om op lagere frequenties te werken als ze de apparaten wilden betaalbaar maken voor de consumentenruimte.

Er zijn twee veelgebruikte methoden om precisie op millimeterniveau te bereiken terwijl u werkt met redelijke sub-GHz-frequenties:

• De faseverschuiving van een sinusoïdaal gemoduleerde golf relateren aan afstand
• De faseverschuiving van een 50% duty-cycle blokgolf en een differentiële spanning gebruiken om de afstand te bepalen

In de onderstaande secties zullen we deze twee methoden in meer detail bekijken.

Afstand bepalen door faseverschuiving van een amplitudegemoduleerde golf

Stel, u wilt een klein kantoor of grote woonkamer in kaart brengen met een maximale lengtemaat van 15 m. Om een ​​geschikte werkfrequentie voor die lengte te bepalen, gebruikt u $$c=\lambda \cdot f$$ waarbij c de lichtsnelheid is (c=3x10 ⁸ m/s), λ is één golflengte (λ=15 m), en ƒ is de frequentie. In dit voorbeeld is ƒ=20 MHz, wat een relatief gemakkelijke frequentie is om mee te werken.

Het begint allemaal wanneer een helder licht wordt gemoduleerd met een sinusvormig signaal van 20 MHz. De lichtgolf zal uiteindelijk een object of de muur bereiken en zal reflecteren en van richting veranderen. Een dimmerversie van het originele gemoduleerde licht keert terug naar de ontvanger. Tenzij het object precies een geheel veelvoud van 15 meter verwijderd is, zal de fase met een bepaalde hoeveelheid worden verschoven.

De faseverschuiving kan worden gebruikt om de afstand te berekenen die de golf heeft afgelegd.

Als u de fasehoek nauwkeurig kunt meten, kunt u nauwkeurig bepalen op welke afstand het reflecterende object zich van de sensor/ontvanger bevindt.

Hoe de fasehoek van een sinusoïde te meten

Dus, hoe meet je snel de fasehoek van een sinusoïde? Dat houdt in dat de amplitude van het ontvangen signaal op vier punten op gelijke afstand van elkaar wordt gemeten (d.w.z. een scheiding van 90° of 1/4 λ).

$$\varphi=ArcTan \left ( \frac{A_1-A_3}{A_2-A_4} \right )$$

Ik heb geprobeerd de relatie tussen de metingen en de fasehoek hieronder te illustreren. De verhouding van het verschil tussen A₁ en A₃ en het verschil tussen A₂ en A₄ gelijk is aan de tangens van de fasehoek. ArcTan is eigenlijk de boog-tangensfunctie met twee argumenten die de juiste kwadranten in kaart brengt en definieert wanneer A₂ =A4 en A₁>A₃ of A₃>A₁ als respectievelijk 0° of 180°.

Klik op het diagram om een ​​meer gecompliceerde afbeelding te zien die illustreert hoe de verschillen van de variabelen A₁ , A₂ , A₃ , en A₄ passen op de eenheidscirkel.

In de bovenstaande afbeelding heeft uiterst links van de grafiek twee verticale getallenlijnen die het resultaat weergeven van het aftrekken van A₁ en A₃ (weergegeven als donkergeel) en A₂ en A₄ (weergegeven als blauw). De gemeten waarden worden weergegeven als verticale lijnen in de sinusvormige grafieken in het midden.

Merk op dat deze afbeelding geen rekening houdt met reflectie (wat in feite alles 180° zou verschuiven).

Bepalen van de werkfrequentie voor een bepaalde afstand

Terug naar ons voorbeeld, de afstand tot het doel wordt bepaald met de vergelijking:

$$d=\frac{c \cdot \varphi}{4 \pi \cdot f}$$

Waar c de lichtsnelheid is, is phi (φ) de fasehoek (in radialen) en is ƒ de modulatiefrequentie.

Het meten van de werkelijke vluchttijd van een foton vereist 333 GHz elektronica. Deze methode vereist maximaal 4x de modulatiefrequentie, in dit geval 4x20 MHz=80 MHz. Dit is een fenomenale vermindering van middelen. Maar u zult blij zijn te horen dat enkele slimme ingenieurs een manier hebben gevonden om de maximale frequentie nog verder te verlagen.

Faseverschuiving bepalen door differentiële spanningsmeting van geladen condensatoren

De volgende meetsituatie betreft een stroboscopische lichtbron en een CMOS-beeldsensor met twee condensatoren per pixel.

Een klokbron genereert een blokgolf van 50% inschakelduur en die blokgolf bestuurt een heldere stroboscooplichtbron, evenals de verbinding met de ladingsopslagcondensatoren in elke pixel.

Een voorbeeld van zo'n systeem wordt weergegeven in de onderstaande afbeelding:

Afbeelding van "A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS" Dit toont een CMOS-pixel met twee ladingsopslagcondensatoren die afwisselend zijn aangesloten om inkomende licht.

Licht verlaat de bron, weerkaatst op een object en raakt de pixel waar het wordt opgenomen als een lading in condensator C_A of C_B hierboven weergegeven. De condensatoren zijn afwisselend met de pixel verbonden op dezelfde frequentie als de verlichtingsbron, gebruikmakend van dezelfde klokbron.

Door deze slimme opstelling heeft de differentiële lading in de condensatoren direct betrekking op de faseverschuiving. En de fase wordt bepaald door de golflengte en de afstand tot het doel en terug.

Afbeelding uit "Een snelle kalibratiemethode voor solid-state array-LiDARS voor fotonische mixerapparaten"

Het onderwerp kan zoveel cycli worden verlicht als nodig is om de condensatoren te vullen. Zolang de afstand constant is, blijven de ladingsverhoudingen hetzelfde

Time of Flight-sensoren in actie

Hoe goed werkt deze methode? Beter dan je zou verwachten.

De sensor die aan AAC wordt geleverd, gecombineerd met de bijbehorende software, heeft de mogelijkheid om tot 45 fps op te nemen. Bij lagere verversingsfrequenties kan het systeem gemakkelijk rimpels op een shirt afbeelden.

De bovenstaande afbeelding geeft de (x,y,z) vertex-locatie weer van elke vastgelegde pixel van de pico flexx-camera van pmd.

Dieptegegevens zijn op zichzelf moeilijk te visualiseren. Het dieptebeeld wordt dus vaak gecombineerd met een foto of weergegeven met valse kleuren om de scène gemakkelijker te kunnen visualiseren.

Een overlay met valse kleurendiepte van een afbeelding met een lage resolutie maakt het gemakkelijker om de scène te interpreteren. Afbeelding van de goober-auteur vastgelegd met de Royal Viewer-software van pmd en de CamBoard pico flexx 3D-ontwikkelingskit.