Een revolutie in machinevisie:hoe gebeurtenissensoren snellere en slimmere beeldverwerking mogelijk maken

De toename van door camera’s gegenereerde inhoud in de consumenten- en industriële sectoren heeft een druk gelegd op het vermogen van machines om visuele gegevens effectief op een praktische en efficiënte manier te verwerven, verwerken en gebruiken. De huidige uitdagingen zijn onder meer:​​er wordt een overweldigende hoeveelheid gegevens verzameld (waarvan een groot deel niet relevant is voor machines); onvoldoende verwerkingsmogelijkheden (vooral in toepassingen die beperkt zijn door omvang en kracht):en de vraag naar realtime verwerking. Daarom zoeken ontwikkelaars van vision-enabled systemen – variërend van smartphones, wearables, slimme huizen, IoT, systemen, autotechnologieën tot industriële automatiseringsapparatuur – naar manieren om de traditionele benadering van vision-sensing en data-acquisitie te transformeren.

De vooruitgang van de cameratechnologie is ontstaan in het leveren van beelden voor menselijke consumptie en is in de loop van de geschiedenis – voornamelijk gebaseerd op op frames gebaseerde methoden – ontoereikend gebleken om te voldoen aan de eisen van de moderne machinevisie. Machine vision is al jaren afhankelijk van visuele informatie die is verkregen en gestructureerd voor menselijke interpretatie:videostreams die zijn samengesteld uit opeenvolgende beelden die zijn vastgelegd door een beeldsensor. Elk beeld vertegenwoordigt een statische momentopname op een bepaald moment, waarbij dynamische informatie ontbreekt. Deze methode voor het verzamelen van visuele gegevens komt veel voor in de meeste machine vision-systemen die zijn ontworpen voor het monitoren van veranderingen en bewegingen in dynamische omgevingen.

Door gebruik te maken van neuromorfe technieken die zijn geïnspireerd op het menselijk zichtsysteem, probeert de op gebeurtenissen gebaseerde visiebenadering de efficiëntie en prestaties te verbeteren in verschillende zichtgestuurde systemen in de consumenten-, industriële, automobiel- en andere sectoren om de veiligheid, productiviteit en gebruikerservaring te verbeteren. (Afbeelding:Profeet)

De overheersende uitdaging doet zich voor wanneer er beweging of verandering in een scène plaatsvindt, wat gebruikelijk is bij de meeste machine vision-toepassingen, en de inherente beperkingen van visuele frameverwerving duidelijk worden. Ongeacht de ingestelde framesnelheid zal een camera die probeert een bewegende scène vast te leggen, altijd onnauwkeurig zijn. Omdat verschillende delen van een scène doorgaans tegelijkertijd verschillende dynamieken vertonen, resulteert het gebruik van een enkele bemonsteringsfrequentie om de pixelbelichting over een beeldarray te regelen onvermijdelijk in een inadequate opname van deze diverse scènedynamieken die tegelijkertijd plaatsvinden.

Minder is meer bij het waarnemen van gebeurtenissen

Het probleem met traditionele beeldsensoren wordt nog groter:ze zijn traag en energie-intensief, terwijl ze overmatig redundante gegevens produceren en een beperkt dynamisch bereik hebben, waardoor ze niet geschikt zijn voor machine vision-taken, vooral in veeleisende werkomgevingen. Als gevolg hiervan komen biologisch geïnspireerde ‘neuromorfe’, op gebeurtenissen gebaseerde vision-systemen nu naar voren als alternatieven die verbeterde snelheid, minimale latentie, betere energie-efficiëntie en een breder dynamisch bereik bieden die goed geschikt zijn voor verschillende machine vision-toepassingen.

Op gebeurtenissen gebaseerde visie markeert een paradigmaverschuiving in de manier waarop visuele informatie wordt verworven en verwerkt voor moderne machine vision-toepassingen. Door gebruik te maken van neuromorfe technieken die zijn geïnspireerd op het menselijke zichtsysteem, probeert deze aanpak de efficiëntie en prestaties te verbeteren in verschillende zichtgestuurde systemen in de consumenten-, industriële, automobiel- en andere sectoren om de veiligheid, productiviteit en gebruikerservaring te verbeteren.

Op gebeurtenissen gebaseerde visie werkt anders dan traditionele camera's, omdat het afwijkt van een uniforme acquisitiesnelheid voor alle pixels. In plaats daarvan bepaalt elke pixel onafhankelijk zijn bemonsteringstijdstip op basis van veranderingen in lichtinval, dankzij specifieke intelligentie per pixel. Contrastdetectie-informatie wordt ingekapseld in ‘gebeurtenissen’, bestaande uit de x-, y-coördinaten van de pixel en de precieze tijd voor het genereren van gebeurtenissen. Met de gepatenteerde, op gebeurtenissen gebaseerde sensoren van Prophesee worden pixels bijvoorbeeld op intelligente wijze geactiveerd bij het detecteren van contrastveranderingen (beweging), waardoor de continue registratie van essentiële bewegingsdetails op pixelniveau wordt vergemakkelijkt.

Het verschil bij het overstappen van vaste framesnelheden is de manier waarop elke pixel zijn bemonsteringssnelheid kan aanpassen op basis van zijn visuele input. Dankzij deze gepersonaliseerde aanpak kan elke pixel zijn bemonsteringspunten bepalen door te reageren op variaties in het invallende lichtniveau. Bijgevolg wordt het bemonsteringsproces niet langer gedicteerd door een kunstmatige timingbron, maar eerder door het signaal zelf of specifiek door temporele signaalamplitudefluctuaties. Het resultaat van dergelijke camera's evolueert van beeldreeksen naar een continue stroom van individuele pixelgegevens die voorwaardelijk worden gegenereerd op basis van de scènedynamiek.

Gebeurtenissensoren bieden verschillende voordelen, waaronder een hoge snelheid (equivalent aan 10.000 fps), zeer efficiënt energieverbruik (tot in het microwattbereik), lage latentie voor snellere responstijden, verminderde gegevensverwerkingsbehoeften (10-10.000x minder dan framegebaseerde systemen) en een hoog dynamisch bereik tot 120 dB. Deze eigenschappen maken gebeurtenissensoren geschikt voor diverse toepassingen en producten.

Evenementgebaseerde visie toepassen

Neuromorfe gebeurtenissensoren kunnen worden gebruikt voor een verscheidenheid aan industriële automatiseringstaken, waardoor de productiviteit, kwaliteit, veiligheid, beveiliging en preventief onderhoud worden verbeterd. (Afbeelding:Profeet)

Aanvankelijk werden neuromorfe gebeurtenissensoren commercieel gebruikt, niet in machines maar voor mensen, voor herstel van het gezichtsvermogen bij visueel gehandicapte personen. Dit leidde tot use cases in de industriële automatisering en procesmonitoring. Deze toepassingen demonstreerden de voordelen van gebeurtenissensoren voor tal van zichttaken, vooral die waarbij snel bewegende en veranderende elementen, onvoorspelbare omgevingslichtomstandigheden en beperkte middelen betrokken zijn. Volgende generaties op gebeurtenissen gebaseerde systemen zijn in industriële omgevingen toegepast voor taken zoals tellen op hoge snelheid, preventief onderhoud (bijvoorbeeld trillingsmonitoring), het verbeteren van de efficiëntie en veiligheid van robots, eye-tracking of gebarentracking voor AR/VR, evenals verschillende logistieke en veiligheids-/beveiligingstoepassingen.

Deze inherente voordelen maken gebeurtenissensoren ideaal voor IoT-toepassingen. Stroomverbruik speelt een cruciale rol bij IoT-apparaten, vooral apparaten die afhankelijk zijn van batterijen. Op gebeurtenissen gebaseerde visie is zeer geschikt voor dergelijke scenario's, omdat het op aanzienlijk lagere vermogensniveaus werkt in vergelijking met op frames gebaseerde camerasystemen. Bovendien blinken event-gebaseerde camera's uit in uitdagende lichtomstandigheden die gebruikelijk zijn in veel IoT-toepassingen vanwege hun lichtonafhankelijke informatieverwerking. Dankzij hun hoge dynamische bereik kunnen ze een breed scala aan lichtintensiteiten binnen één frame vastleggen, waardoor ze perfect zijn voor omgevingen met wisselende lichtomstandigheden, zoals buitenscènes met fel zonlicht of nachtelijke instellingen.

Met een dynamisch bereik van meer dan 120 dB kunnen op gebeurtenissen gebaseerde camera's effectief functioneren, zelfs in omgevingen waar traditionele camera's worstelen met wisselende lichtomstandigheden - of het nu gaat om extreem heldere omgevingen zoals openbare ruimtes of voertuigen overdag of om slecht verlichte scenario's zoals nachtelijke operaties of donkere fabrieksinstellingen waar gebeurtenissensoren kunnen worden gebruikt voor preventief onderhoud en veiligheidsbewakingstaken. (Afbeelding:Profeet)

Met een dynamisch bereik van meer dan 120 dB kunnen op gebeurtenissen gebaseerde camera's effectief functioneren, zelfs in omgevingen waar traditionele camera's worstelen met wisselende lichtomstandigheden - of het nu gaat om extreem heldere omgevingen zoals openbare ruimtes of voertuigen overdag of om slecht verlichte scenario's zoals nachtelijke operaties of donkere fabrieksinstellingen. Bovendien bieden deze camera's minimale latentie doordat ze alleen informatie verzenden als er een verandering in de helderheid binnen de scène plaatsvindt. Realtime respons blijkt voordelig in snel veranderende lichtsituaties, zoals abrupte verschuivingen van licht naar donker of omgekeerd. Op gebeurtenissen gebaseerde camera's, die individuele veranderingen in de lichtintensiteit detecteren, zijn minder gevoelig voor bewegingsonscherpte vergeleken met conventionele framegebaseerde camera's.

Deze functie is vooral waardevol in scenario's met snelle bewegingen, waardoor een scherpe beeldkwaliteit wordt gegarandeerd. Er worden nieuwe toepassingen ontwikkeld die van dit voordeel profiteren voor camera's in smartphones, bijvoorbeeld de samenwerking van Prophesee met Qualcomm om zijn op gebeurtenissen gebaseerde technologie te integreren met het populaire Snapdragon-platform.

Verdere ontwikkeling van gebeurtenissensoren voor IoT houdt in dat ze worden aangepast voor edge vision-taken met beperkte computermogelijkheden aan boord vanwege het verzamelen van schaarse gegevens. Uitdagingen zoals onconventionele dataformaten, variabele datasnelheden en niet-standaard interfaces hebben echter een bredere acceptatie belemmerd. Om dit probleem aan te pakken, heeft de nieuwste generatie gebeurtenissensoren, geïllustreerd door Prophesee’s GenX320, tot doel de integratie en bruikbaarheid in ingebedde edge vision-systemen te verbeteren door functies op te nemen zoals voorverwerking en formattering van gebeurtenisgegevens, compatibele gegevensinterfaces en connectiviteit met lage latentie met verschillende verwerkingsplatforms, waaronder energiezuinige neuromorfe processors. De GenX320 biedt bijvoorbeeld meerdere voorverwerkingsfuncties, aanpasbare interfaces en energiebeheeropties om efficiënt tegemoet te komen aan energiegevoelige vision-toepassingen.

Ondanks hun operationele efficiëntie blijft het optimaliseren van gebeurtenissensoren voor een laag stroomverbruik, geschikt voor IoT-opstellingen, van cruciaal belang. Het implementeren van een reeks energiemodi en toepassingsspecifieke bedrijfsmodi kan de energie-efficiëntie aanzienlijk verbeteren voor 'altijd aan'-toepassingen. Het gebruik van on-chip intelligente energiebeheermechanismen en -strategieën kan de flexibiliteit en bruikbaarheid van de sensor verder verfijnen; De oplossingen van Prophesee hebben een verlaagd energieverbruik aangetoond tot 36uW met ingeschakelde slimme wake-on-events-functionaliteit. Bovendien kan het ondersteunen van diepe slaap- en stand-bymodi nuttig zijn.

Specifieke overwegingen voor een gebeurtenissensor die zich richt op IoT-toepassingen zijn onder meer het realiseren van tijdstempels met microsecondenresolutie van gebeurtenissen met minimale latentie, samen met naadloze interfacemogelijkheden met standaard SoC's via geïntegreerde voorverwerkingsfuncties van gebeurtenisgegevens. Het gebruik van MIPI- of CPI-uitvoerinterfaces zorgt voor snelle connectiviteit met ingebedde verwerkingsplatforms zoals microcontrollers met laag vermogen en moderne neuromorfe processorarchitecturen. Privacy op sensorniveau wordt gewaarborgd door de schaarse frameloze gebeurtenisgegevens van gebeurtenissensoren en omvat het verwijderen van statische scènes.

Op gebeurtenissen gebaseerde sensoren blijven zich ontwikkelen om aan de behoeften van een breder scala aan toepassingen te voldoen. De meest recente sensor van Prophesee, de Genx320, maakt hem zeer geschikt voor de eisen van veel IoT-gebruiksscenario's die moeten werken in systemen met een lager vermogen en kleine vormfactor. (Afbeelding:Profeet)

Op gebeurtenissen gebaseerde sensoren worden nu in een breder scala aan toepassingen gebruikt. Door deze sensoren te integreren met IoT-platforms komen productontwikkelaars tegemoet aan specifieke marktbehoeften met betrekking tot energieverbruik en omvang. Gebruiksscenario's omvatten foveated rendering voor verbeterde AR/VR-ervaringen, eye-tracking voor mens-machine-interfaces en veiligheidstoepassingen zoals bestuurdersmonitoringsystemen en emotiedetectie. Ze ondersteunen ook 'altijd aan'-mogelijkheden voor beveiligingsdoeleinden, zoals valdetectiecamera's en gebaren-/handtracking voor meeslepende interfaces. In het AR/VR-domein maken toepassingen zoals inside-out tracking en constellatie-tracking op basis van flikkerende LCD's nauwkeurige tracking van objecten of controllers mogelijk.

Verdere nieuwe gebruiksscenario's, mogelijk gemaakt door verbeteringen in de siliciumtechnologie, zijn in ontwikkeling, waaronder snelle 3D-technologie met gestructureerd licht die het genereren van puntenwolken met herhalingssnelheden van kilohertz voor industriële toepassingen mogelijk maakt. Privacybewuste smart home-systemen zoals valdetectie-eenheden worden ook steeds breder verspreid, omdat de vision-technologie privacyproblemen aanpakt door geen beelden vast te leggen of te verzenden.

Op gebeurtenissen gebaseerde visie is goed op weg zich te vestigen als een paradigma dat een nieuwe standaard zal creëren in veel markten die efficiëntie vereisen in de manier waarop machines kunnen zien. De afgelopen jaren is het met succes geëvolueerd om aan een breder scala aan toepassingen te voldoen. En door ons te blijven aanpassen en tegemoet te komen aan de vereisten van veel toepassingen, zullen we overal om ons heen meer op gebeurtenissen gebaseerde camera's zien.

Dit artikel is geschreven door Luca Verre, CEO en medeoprichter van Prophesee (Parijs, Frankrijk). Bezoek hier  . voor meer informatie