Machine Vision gerevolutioneerd: Hoe eventsensors snellere, slimme beeldverwerking drijven

De toename in content gegenereerd door camera's, in zowel consumenten- als industriële sectoren, heeft een zware last gelegd op de capaciteit van machines om visuele data op een praktische en efficiënte manier effectief te verwerven, te verwerken en te benutten. De huidige uitdagingen omvatten: een overmacht aan data die wordt verzameld (veel waarvan irrelevant is voor machines); onvoldoende verwerkingscapaciteiten (vooral in toepassingen beperkt door grootte en vermogen): en de vraag naar real-time verwerking. Als gevolg zoeken ontwikkelaars van vision-enabled systemen — varierend van smartphones, wearables, slimme huizen, IoT-systemen, automotieve technologieën tot industriële automatiseringsapparatuur — naar manieren om de traditionele benadering van visuele waarneming en data-acquisitie te transformeren.

Omdat cameratechnologie oorspronkelijk bedoeld was om beelden voor menselijke consumptie te leveren, blijkt de voortgang ervan door de geschiedenis heen — voornamelijk gebaseerd op frame-gebaseerde methoden — ontoereikend om te voldoen aan de eisen van moderne machine vision. Jarenlang is machine vision afhankelijk geweest van visuele informatie die verworven en gestructureerd was voor menselijke interpretatie: videostromen samengesteld uit opeenvolgende beelden vastgelegd door een beeldsensor. Elk beeld vertegenwoordigt een statische momentopname op een bepaald moment zonder dynamische informatie. Deze methode van het verzamelen van visuele data is prevalerend in de meeste machine vision systemen ontworpen voor het monitoren van veranderingen en bewegingen in dynamische omgevingen.

Door gebruik te maken van neuromorfische technieken geïnspireerd op het menselijke visuele systeem, zoekt de event-gebaseerde visie-benadering de efficiëntie en prestaties te verbeteren in diverse vision-enabled systemen over consumenten, industriële, automobiele en andere sectoren om veiligheid, productiviteit en gebruikerservaring te verhogen. (Afbeelding: Prophesee)

De predominante uitdaging ontstaat wanneer er beweging of verandering in een scène is, wat algemeen is in de meeste machine vision toepassingen, en de inherentie beperkingen van visuele frame-acquisitie worden duidelijk. Ongeacht de ingestelde frame rate, als een camera probeert een bewegende scène vast te leggen, zal het consistent onnauwkeurig zijn. Omdat verschillende delen van een scène doorgaans variërende dynamica tegelijkertijd vertonen, resulteert het gebruik van een enkele bemonsteringssnelheid om pixelbelichting over een beeldarray te regelen onvermijdelijk in onvoldoende vastlegging van deze diverse scènedynamica die gelijktijdig plaatsvinden.

Minder is meer bij het waarnemen van events

De uitdaging wordt verergerd doordat traditionele beeldsensoren traag en energie-intensief zijn, terwijl ze excessieve redundante data produceren en een beperkt dynamisch bereik hebben, wat ze ongeschikt maakt voor machine vision taken, met name die in veeleisende operationele omgevingen. Als gevolg ontstaan biologisch geïnspireerde "neuromorfische" event-gebaseerde visiesystemen als alternatieven die verhoogde snelheid, minimale latentie, betere energie-efficiëntie en breder dynamisch bereik bieden die goed passen bij diverse machine vision toepassingen.

Event-gebaseerde visie markeert een paradigma-shift in hoe visuele informatie wordt verworven en verwerkt voor moderne machine vision toepassingen. Door gebruik te maken van neuromorfische technieken geïnspireerd op het menselijke visuele systeem, zoekt deze benadering de efficiëntie en prestaties te verbeteren in diverse vision-enabled systemen over consumenten, industriële, automobiele en andere sectoren om veiligheid, productiviteit en gebruikerservaring te verhogen.

Event-gebaseerde visie werkt anders dan traditionele camera's omdat het afwijkt van een uniforme acquisitiesnelheid voor alle pixels. In plaats daarvan bepaalt elke pixel onafhankelijk zijn bemonsteringstijd gebaseerd op veranderingen in invallicht dankzij toegewijde intelligentie per pixel. Contrastdetectie-informatie wordt ingepakt in 'events', bestaande uit de x,y-coördinaten van de pixel en de exacte gebeurtenisgeneratietijd. Met Prophesee's gepatenteerde event-gebaseerde sensoren activeren pixels intelligent bij het detecteren van contrastveranderingen (beweging), wat de continue vastlegging van essentiële bewegingsdetails op pixelniveau faciliteert.

Het verschil met vaste frame rates is hoe elke pixel zijn bemonsteringssnelheid kan aanpassen volgens zijn visuele invoer. Deze gepersonaliseerde benadering stelt elke pixel in staat zijn bemonsteringspunten te bepalen door te reageren op variaties in invallichtniveaus. Gevolglijk wordt het bemonsteringsproces niet langer gedicteerd door een kunstmatige tijdbron, maar door het signaal zelf of specifiek door temporele signaalamplitudefluctuaties. Het resultaat dat door dergelijke camera's geproduceerd wordt, evolueert van beeldreeksen naar een continue stroom individuele pixeldata gegenereerd conditioneel gebaseerd op scènedynamica.

Eventsensoren bieden diverse voordelen, waaronder hoge-snelheid operatie (equivalent aan 10.000 fps), uiterst efficiënt energieverbruik (tot in het microwatt-bereik), lage latentie voor snellere reactietijden, verminderde dataverwerkingsbehoefte (10-10.000x minder dan frame-gebaseerde systemen), en een hoog dynamisch bereik van tot 120dB. Deze kenmerken maken eventsensoren geschikt voor diverse toepassingen en producten.

Toepassing van event-gebaseerde visie

Neuromorfische eventsensoren kunnen gebruikt worden voor diverse industriële automatiseringstaken, helpen productiviteit, kwaliteit, veiligheid, beveiliging en preventief onderhoud te verbeteren. (Afbeelding: Prophesee)

Initiëel vonden neuromorfische eventsensoren commercieel gebruik niet in machines maar voor mensen, voor visierherstel bij visueel beperkte individuen. Dit leidde tot use cases in industriële automatisering en procesmonitoring. Deze toepassingen toonden de voordelen van eventsensoren voor talrijke visietaken, met name die betreffende snel bewegende en veranderende elementen, onvoorspelbare omgevingsverlichtingsomstandigheden en beperkte middelen. Opvolgende generaties van event-gebaseerde systemen zijn toegepast in industriële omgevingen voor taken zoals hoge-snelheid tellen, preventief onderhoud (bijv. trillingsmonitoring), verbetering van robot-efficiëntie en veiligheid, oog- of gebaar-tracking voor AR/VR alsook diverse logistieke en veiligheids-/beveiligingstoepassingen.

Deze inherentie voordelen maken eventsensoren ideaal voor IoT-toepassingen. Energieverbruik speelt een cruciale rol in IoT-apparaten, met name die afhankelijk van batterijen. Event-gebaseerde visie is goed geschikt voor dergelijke scenario's omdat het op significant lagere energieniveaus werkt vergeleken met frame-gebaseerde camerasystemen. Bovendien blinken event-gebaseerde camera's uit in uitdagende verlichtingsomstandigheden die algemeen zijn in veel IoT-toepassingen door hun licht-onafhankelijke informatieverwerking. Hun hoge dynamische bereik stelt ze in staat een breed scala aan lichtintensiteiten binnen een enkel frame vast te leggen, wat ze perfect maakt voor omgevingen met wisselende verlichtingsomstandigheden zoals buitenscènes met heldere zonlicht of nachtinstellingen.

Met een dynamisch bereik van meer dan 120dB kunnen event-gebaseerde camera's effectief functioneren in omgevingen waar traditionele camera's worstelen met wisselende verlichtingsomstandigheden — of het nu extrem heldere instellingen zijn zoals openbare ruimtes of voertuigen overdag of gedimde scenario's zoals nachtoperaties of donkere fabrieksomgevingen waar eventsensoren gebruikt kunnen worden voor preventief onderhoud en veiligheidsmonitoringtaken. (Afbeelding: Prophesee)

Met een dynamisch bereik van meer dan 120dB kunnen event-gebaseerde camera's effectief functioneren in omgevingen waar traditionele camera's worstelen met wisselende verlichtingsomstandigheden — of het nu extrem heldere instellingen zijn zoals openbare ruimtes of voertuigen overdag of gedimde scenario's zoals nachtoperaties of donkere fabrieksomgevingen. Bovendien bieden deze camera's minimale latentie door informatie alleen over te dragen wanneer er een verandering in helderheid in de scène is. Real-time reactie is voordelig in snel veranderende verlichtingssituaties, zoals abrupte verschuivingen van licht naar donker of vice versa. Event-gebaseerde camera's, die individuele veranderingen in lichtintensiteit detecteren, zijn minder gevoelig voor bewegingsvervuiling vergeleken met conventionele frame-gebaseerde camera's.

Deze functie is bijzonder waardevol in scenario's met snelle bewegingen, waar scherpe beeldkwaliteit gewaarborgd wordt. Nieuwe toepassingen die gebruikmaken van dit voordeel worden ontwikkeld voor camera's in smartphones, bijvoorbeeld Prophesee's partnerschap met Qualcomm om de event-gebaseerde technologie te integreren met het populaire Snapdragon-platform.

Verdere ontwikkeling in eventsensoren voor IoT omvat het aanpassen ervan voor edge vision taken met beperkte onboard rekenmogelijkheden door het verkrijgen van sparse data. Uitdagingen zoals onconventionele dataformaten, variabele datasnelheden en niet-standaard interfaces hebben bredere adoptie gehinderd. Om dit probleem aan te pakken, is de laatste generatie eventsensoren, geïllustreerd door Prophesee's GenX320, gericht op het verbeteren van integratie en bruikbaarheid in embedded edge vision systemen door functies zoals event data pre-verwerking en formattering, compatibele data-interfaces, en lage-latentie connectiviteit met diverse verwerkingsplatforms inclusief energie-efficiënte neuromorfische processors te incorporeren. Bijvoorbeeld, de GenX320 biedt meerdere pre-verwerkingsfuncties, aanpasbare interfaces en energiemanagement-opties om efficiënt te voldoen aan energiegevoelige visietoepassingen.

Ondanks hun operationele efficiëntie, blijft het optimaliseren van eventsensoren voor laag-energiegebruik geschikt voor IoT-opstellingen kritiek. Het implementeren van een reeks energiemodi en toepassingsspecifieke operatiemodi kan de energie-efficiëntie aanzienlijk verbeteren voor 'always on' toepassingen. Het benutten van on-chip intelligente energiemanagement-mechanismen en strategieën kan de sensorflexibiliteit en bruikbaarheid verder verfijnen; Prophesee's oplossingen hebben verminderd energieverbruik tot 36µW met slimme wake-on-events functionaliteit ingeschakeld. Daarnaast kunnen diepe slaap- en stand-by modi nuttig zijn.

Specifieke overwegingen voor een eventsensor gericht op IoT-toepassingen omvatten het bereiken van microseconde-resolutie tijdstempeling van events met minimale latentie samen met naadloze interface-mogelijkheden met standaard SoCs via geïntegreerde event data pre-verwerkingsfuncties. Het benutten van MIPI of CPI output interfaces zorgt voor snelle connectiviteit met embedded verwerkingsplatforms zoals lage-energie microcontrollers en moderne neuromorfische processorarchitecturen. Sensor-niveau privacy is gewaarborgd door de sparse framelose event data van eventsensoren en omvat statische scène verwijdering.

Event-gebaseerde sensoren evolueren voortdurend om aan de behoeften van een breder scala aan toepassingen te voldoen. Prophesee's meest recente sensor, de GenX320, maakt het goed geschikt voor de eisen van veel IoT use cases die in lagere energie en kleine vormfactor systemen moeten opereren. (Afbeelding: Prophesee)

Event-gebaseerde sensoren worden nu gebruikt in een breder scala aan toepassingen. Door deze sensoren te integreren met IoT-platforms, voldoen productontwikkelaars aan specifieke marktbehoeften gerelateerd aan energieverbruik en grootte. Use cases omvatten foveated rendering voor verbeterde AR/VR-ervaringen, oogtracking voor mens-machine interfaces en veiligheidstoepassingen zoals bestuurdermonitoringssystemen en emotiedetectie. Ze ondersteunen ook always-on mogelijkheden voor beveiligingsdoeleinden zoals valdetectiecamera's en gebaar/handtracking voor immersieve interfaces. In het AR/VR-domein maken toepassingen zoals inside-out tracking en constellation tracking gebaseerd op knipperende LCD's nauwkeurige object- of controller-tracking mogelijk.

Verder nieuwe use cases, mogelijk gemaakt door verbeteringen in siliciumtechnologie, zijn in ontwikkeling, waaronder hoge-snelheid gestructureerde licht 3D-technologie die puntwolkengeneratie op kilohertz herhalingssnelheden mogelijk maakt voor industriële toepassingen. Privacy-bewuste slimme huissystemen zoals valdetectie-eenheden prolifereren ook breder naarmate de visietechnologie privacyzorgen adressert door geen beelden vast te leggen of over te dragen.

Event-gebaseerde visie is op weg om zich te vestigen als een paradigma dat een nieuwe standaard zal creëren in veel markten die efficiëntie vereisen in hoe machines kunnen zien. De afgelopen jaren heeft het met succes geëvolueerd om aan een breder scala aan toepassingen te voldoen. En door door te gaan met aanpassen en adresseren van de eisen van veel toepassingen, zullen we meer event-gebaseerde camera's overal om ons heen zien.

Dit artikel is geschreven door Luca Verre, CEO en Co-Founder, Prophesee (Parijs, Frankrijk). Voor meer informatie, bezoek hier.