Time-of-flight-technologie belooft verbeterde nauwkeurigheid

Analog Devices (ADI) en Microsoft hebben de handen ineengeslagen om time-of-flight (ToF) 3D-beeldvormingsoplossingen te produceren met als doel een grotere nauwkeurigheid te bieden, ongeacht de omstandigheden van de scène. ADI zal gebruikmaken van de Azure Kinect 3D ToF-technologie van Microsoft en zijn technische IC- en systeemexpertise toevoegen om oplossingen te creëren die gemakkelijker te implementeren zijn. Het doel is om een ​​breed publiek te bereiken in sectoren als Industrie 4.0, automotive, gaming, augmented reality en computationele fotografie en videografie.

Marktanalisten in de sector schatten een sterke groei in voor 3D-beeldvormingssystemen die worden gebruikt in uitdagende omgevingen en waar geavanceerde toepassingen zoals menselijke samenwerkingsrobots, kamertoewijzing en voorraadbeheersystemen nodig zijn om Industrie 4.0 tot leven te brengen. ToF-applicaties zijn ook nodig om veiligere auto-rijomgevingen te creëren met bezettingsdetectie en bestuurdersmonitoring.

In een interview met EE Times hebben Tony Zarola, senior directeur van verbeterde beeldvorming en interpretatie, en Carlos Calvo, strategisch marketingmanager bij Analog Devices, de basis van deze samenwerking benadrukt . Zarola zei:“ Microsoft is de maatstaf geworden voor 3D ToF-prestaties bij fabrikanten van beeldsensoren en voorziet ADI van de kernpixeltechnologie die de basis vormt van de sensoren en oplossingen die ADI bouwt. In de afgelopen decennia hebben ze de expertise ontwikkeld die nodig is voor de beste gegevensregistratie en revolutionaire algoritmen die ze uitvoeren op de Intelligent Edge of op de Intelligent Cloud. We kijken ernaar uit om het beste van de mogelijkheden van Microsoft en ADI op het gebied van silicium, systemen, software en optica te combineren.”

3D ToF-ontwerp

De herkenning van gebaren is het vermogen van een apparaat om een ​​reeks bewegingen van het menselijk lichaam te identificeren. Elektronische technologie is gebaseerd op de hulp van een camera en IC voor het identificeren en scannen van de scène in een 2D- of 3D-profiel. De time-of-flight-techniek bestaat uit het sturen van een laserstraal naar het doel en het analyseren van de reflectie van het signaal.

3D time-of-flight, of 3D ToF, is een type LIDAR (lichtdetectie en -bereik) zonder scanner die krachtige optische pulsen in nanoseconden gebruikt om diepte-informatie (meestal over korte afstanden) van een scène vast te leggen. De verschillende IC-oplossingen creëren met behulp van algoritmen voor gebarenherkenningssoftware een dieptekaart van de ontvangen beelden en reageren in realtime op lichaamsbewegingen. Het belangrijkste voordeel van gebarenherkenningstechnologie is dat er geen fysiek contact nodig is tussen de persoon en het besturingssysteem.

Een ToF-camera meet de afstand door een object te verlichten met gemoduleerd laserlicht en een lasergolflengtegevoelige sensor om gereflecteerd licht op te vangen. De sensor meet de tijdsvertraging tussen het moment dat het licht wordt uitgestraald en het moment dat het gereflecteerde licht door de camera wordt ontvangen. Er zijn verschillende methoden voor het meten van tijdvertraging, waarvan er twee algemeen zijn geworden:de continue golf (CW) methode en de pulsmethode. De overgrote meerderheid van ToF-sensoren zijn CW en gebruiken CMOS-sensoren.

Er zijn veel verstorende factoren die de time-of-flight (ToF)-meting moeilijk maken:storend omgevingslicht, multipath-effecten veroorzaakt door licht dat weerkaatst op objecten in de scène die de werkelijke afstand aantasten, temperatuureffecten, ambiguïteit van het bereik. "De uitdagingen strekken zich uit van de ontwikkeling van silicium tot het creëren van een volledig systeem dat presteert in overeenstemming met de theoretische som van de delen", zegt Calvo. “Het is onmogelijk om elk onderdeel afzonderlijk te bekijken. Een ToF-camera met de beste sensor maar uitgerust met een niet-geoptimaliseerde lens zal bijvoorbeeld slechte algehele systeemprestaties hebben.”

“Aan de oppervlakte hebben ToF-camera's overeenkomsten met RGB-camera's. Een belangrijk onderscheid is dat, afhankelijk van de toepassing, de beeldkwaliteit van de RGB-camera wordt beoordeeld met een zekere mate van subjectiviteit; andere toepassingen worden alleen ingeschakeld via geavanceerde nabewerking. Een ToF-camera meet een objectieve fysieke grootheid (afstand) waarop een gebruiker, afhankelijk van de toepassing, aanzienlijk kan vertrouwen op de nauwkeurigheid van het beeld. Sommige optische onvolkomenheden in RGB-camera's, zoals lensflare, kunnen artefacten veroorzaken die soms als artistiek worden beschouwd (bijv. zonlichtflare). In een ToF-systeem kan lensflare, indien niet drastisch geminimaliseerd, de prestaties van het hele systeem verlammen in aanwezigheid van sterke reflecties van objecten, voegde Calvo eraan toe "

De CMOS-sensor die wordt gebruikt voor de vluchttijd bestaat uit zowel een zender als een ontvanger; het maakt berekeningen mogelijk voor de afstand van objecten op één pixelniveau met een prestatie van bijna 160 fps.

“Op siliciumniveau moet men rekening houden met de belangrijkste elementen van de signaalketen:de laserdriver, de ToF-beeldsensor met geïntegreerde uitlezing en tot slot de dieptecomputer. De uitdaging begint met het ontwerpen van een pixel met hoge responsiviteit en hoog modulatiecontrast in de beeldsensor zelf en eindigt met de vorming van een 3D-puntenwolk die kan worden geïnterpreteerd door de volgende applicatielaag.

“Afgezien van de componenten, komen de belangrijkste uitdagingen voort uit het ontwerp en de productie van een dieptecamera, aangezien opto-mechanisch ontwerp, kalibratie, elektrisch ontwerp en software-implementatie allemaal tijdrovend en uitdagend zijn. Analog Devices (ADI) gaat deze uitdagingen voor onze klanten aan om hun ontwerpproces te vergemakkelijken”, aldus Calvo.

Figuur 1. ToF-blokdiagram. (bron:ADI)

De pixels verzamelen licht van verschillende delen van de scène en hun recombinatie zal het gereconstrueerde beeld vormen. Alle sensorpixels worden bestuurd door een correlatie tussen demodulatie- en modulatieblokken. Elke pixel kan worden benaderd door het model weergegeven in figuur 2.

De stroom wordt tijdens de integratietijd naar de Node-A (Da) of Node-B (Db) geleid door de relevante stuursignalen te activeren. Het lezen vindt plaats met de demodulatie gestopt, zodat het systeem de gehele bitreeks kan lezen. ClkA en ClkB zijn 180 graden uit fase gemoduleerd gedurende tijd tInt1 bij de geselecteerde modulatiefrequentie. De fase van het ontvangen licht met betrekking tot de ClkA &CLkB-klok bepaalt de DA- en DB-signalen. Aan het einde van de integratie worden ClkA &ClkB uitgeschakeld en vindt de leesfase plaats door bemonstering van het geïntegreerde signaal (BitlineAInt1-BitlineBInt1).

De omzetting van fotonen in elektrische stroom wordt bepaald door een kwantumproces met Poisson-verdeling. De parameter die ons een idee geeft van de goedheid van het systeem is de kwantumefficiëntie, dat wil zeggen de verhouding tussen het aantal geproduceerde elektronen en dat van de fotonen die de corresponderende pixels activeren. Het aantal elektronen hangt zowel af van het daadwerkelijke gemoduleerde licht als van het omgevingslicht dat overeenkomt met het ruiseffect. Een parameter om te kiezen bij het ontwerpen van een Time-of-Flight-systeem is FoV (Field of View). FoV moet op de juiste manier worden gekozen in overeenstemming met de dekkingsvereisten van de scène.

Figuur 2. Elektrisch circuit en timing voor een pixel. (Bron:https://ieeexplore.ieee.org/document/6964815  )

Om een ​​hoge efficiëntie bij hoge frequenties te bereiken, kan de chip worden gefabriceerd met behulp van een 0,13 m mixed-signal low-power CMOS-proces met kleine aanpassingen om een ​​efficiënte Time-of-Flight-werking te ondersteunen.

ADI en Microsoft

De samenwerking tussen Microsoft en ADI is gericht op het verbeteren van de ToF-technologie:ADI ontwerpt een nieuwe serie ToF 3D-beeldsensoren die een nauwkeurigheid van minder dan een millimeter bieden en compatibel zijn met het gigantische ecosysteem van Redmond, gebaseerd op de Microsoft-diepte, Intelligent Cloud en Intelligent Edge-platforms.

“We zijn er sterk van overtuigd dat deze samenwerking een impact zal hebben op alle belangrijke industrieën – consumenten, industrie, gezondheidszorg en auto’s. Tot nu toe was de door Microsoft ontwikkelde technologie niet breed beschikbaar voor grootschalige commerciële toepassingen. We geloven dat de ADI-oplossingen, mogelijk gemaakt door de imager-technologie van Microsoft, over de hele linie een game-changer zullen zijn", aldus Zarola.

Er zijn voor de hand liggende toepassingen van beveiligingssystemen voor verbeterde gezichtsherkenning, samen met voortschrijdende veiligheidsmaatregelen voor efficiëntere fabrieksautomatisering. Industrie 4.0 zal worden getransformeerd met collaboratieve robots die veilig naast mensen werken zonder te worden omheind in een "niet-menselijk" gebied en verdere optimalisatie in de logistiek zal mogelijk worden gemaakt door ToF-nauwkeurigheid voor het dimensioneren van dozen en pallets.

Zarola voegde toe:"Meer geavanceerde aanwezigheidsdetectie zal leiden tot verbeterde energie-efficiëntie, veiligheidssystemen en mens-machine-interacties. Van thuis tot in de auto, onze ToF-samenwerking met Microsoft geeft nieuwe game-ervaringen de mogelijkheid om virtuele objecten in de echte wereld te plaatsen en ermee om te gaan en verandert de manier waarop we omgaan met onze auto's en verhoogt de veiligheid door zowel de bestuurder als de passagiers te controleren. De potentiële use-cases voor ToF-technologie zijn breed en evoluerend, dus de belangrijkste toepassingen van vandaag zullen naar verwachting morgen worden vervangen door nieuwe ideeën.”

Zarola en Calvo hebben verklaard dat hun klanten een resolutie van millimeters diepte en een fijne ruimtelijke resolutie over een breed temperatuurbereik willen. Om dit soort prestaties te bereiken, is een extreem niveau van tijdsynchronisatie vereist, zowel op hardware- als softwareniveau. "Een verkeerde timing van 10 ps tussen de signalen die de laser en de pixels in de sensor besturen, resulteert in een fout van 1,5 mm in de uiteindelijke schatting van de afstand. Als dat nog niet moeilijk genoeg was, voeg daar dan de noodzaak aan toe om een ​​Time-of-Flight-systeem nauwkeurig te houden over een breed temperatuurbereik, waarvoor geavanceerde verwerkings- en kalibratie-algoritmen nodig zijn die gezamenlijk moeten worden ontworpen”, aldus Calvo.

Een specifiek punt van kritiek op ToF-systemen is de modulatiefrequentie waarmee ze kunnen werken en waar ADI het meest geconcentreerd is. De meeste bronnen van fouten bij het schatten van de diepte hebben de neiging om te worden "gedeeld" door de modulatiefrequentie. "We streven ernaar om de gemiddelde modulatiefrequentie van een ToF-systeem te verhogen, waarmee metingen kunnen worden gedaan met minder diepteruis en de nadelige effecten van multipath- of omgevingslichtruis kunnen worden verminderd", zegt Zarola.

Zarola voegde toe:“ADI is ook op zoek naar oplossingen voor de belangrijkste uitdagingen die het ontwerpen en produceren van dieptecamera’s tijdrovend en moeilijk maken. We nemen de mechanische uitlijning, optisch ontwerp, kalibratie, elektrisch ontwerp en software-implementatie op ons, samen met de traditionele obstakels bij het vastleggen van afbeeldingen.”

De combinatie van Microsoft's Time-of-Flight (ToF) 3D-technologie die wordt gebruikt in HoloLens mixed reality-apparaten en de Azure Kinect-ontwikkelingskit, met de aangepaste oplossingen van ADI, zal het mogelijk maken om de nieuwe generatie hoogwaardige toepassingen te implementeren en schaalbaar te maken, terwijl het optimaliseren van de time-to-market.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times.