Ingenieurs van de Universiteit van Maryland creëren een geavanceerde, op het oog geïnspireerde camera die het robotzicht verbetert

Universiteit van Maryland, College Park, MD

Een diagram van het nieuwe AMI-EV-camerasysteem. (Afbeelding:met dank aan het UMIACS Computer Vision Laboratory)

Een team onder leiding van computerwetenschappers van de Universiteit van Maryland heeft een cameramechanisme uitgevonden dat de manier verbetert waarop robots de wereld om hen heen zien en erop reageren. Geïnspireerd door de manier waarop het menselijk oog werkt, bootst hun innovatieve camerasysteem de kleine onwillekeurige bewegingen na die door het oog worden gebruikt om in de loop van de tijd een helder en stabiel zicht te behouden. Het prototypen en testen van de camera door het team – de Artificial Microsaccade-Enhanced Event Camera (AMI-EV) genoemd – werd gedetailleerd beschreven in een artikel gepubliceerd in het tijdschrift Science Robotics in mei 2024.

"Gebeurteniscamera's zijn een relatief nieuwe technologie die bewegende objecten beter kan volgen dan traditionele camera's, maar de hedendaagse camera's van gebeurtenissen hebben moeite om scherpe, onscherpe beelden vast te leggen als er veel beweging bij betrokken is", zegt Botao He, hoofdauteur van het artikel, doctor in de computerwetenschappen. student aan de Universiteit van Maryland. "Het is een groot probleem omdat robots en vele andere technologieën, zoals zelfrijdende auto's, afhankelijk zijn van nauwkeurige en tijdige beelden om correct te kunnen reageren op een veranderende omgeving. Daarom vroegen we ons af:hoe zorgen mensen en dieren ervoor dat hun zicht gericht blijft op een bewegend object?"

Voor het team van He was het antwoord microsaccades, kleine en snelle oogbewegingen die onwillekeurig optreden wanneer iemand zijn blik probeert te concentreren. Door deze minieme maar continue bewegingen kan het menselijk oog de focus op een object en de visuele structuren ervan (zoals kleur, diepte en schaduwen) nauwkeurig in de loop van de tijd behouden.

"We dachten dat net zoals onze ogen die kleine bewegingen nodig hebben om gefocust te blijven, een camera een soortgelijk principe zou kunnen gebruiken om heldere en nauwkeurige beelden vast te leggen zonder door beweging veroorzaakte onscherpte," zei hij.

Het team heeft met succes microsaccades gerepliceerd door een roterend prisma in de AMI-EV te plaatsen om de door de lens opgevangen lichtstralen om te leiden. De continue roterende beweging van het prisma simuleerde de bewegingen die van nature voorkomen in het menselijk oog, waardoor de camera de texturen van een opgenomen object kon stabiliseren, net zoals een mens dat zou doen. Het team ontwikkelde vervolgens software om de beweging van het prisma binnen de AMI-EV te compenseren om stabiele beelden van de veranderende lichten te consolideren.

Co-auteur van het onderzoek Yiannis Aloimonos, hoogleraar computerwetenschappen aan de Universiteit van Maryland, beschouwt de uitvinding van het team als een grote stap voorwaarts op het gebied van robotvisie.

"Onze ogen maken foto's van de wereld om ons heen en die foto's worden naar onze hersenen gestuurd, waar de beelden worden geanalyseerd. Waarneming gebeurt via dat proces en zo begrijpen we de wereld", legt Aloisonos uit, die tevens directeur is van het Computer Vision Laboratory van het University of Maryland Institute for Advanced Computer Studies (UMIACS). "Als je met robots werkt, vervang dan de ogen door een camera en de hersenen door een computer. Betere camera's betekenen betere perceptie en reacties voor robots."

De onderzoekers zijn ook van mening dat hun innovatie aanzienlijke gevolgen kan hebben die verder gaan dan robotica en nationale defensie. Wetenschappers die werkzaam zijn in sectoren die afhankelijk zijn van nauwkeurige beeldregistratie en vormdetectie zijn voortdurend op zoek naar manieren om hun camera's te verbeteren, en AMI-EV zou een belangrijke oplossing kunnen zijn voor veel van de problemen waarmee zij worden geconfronteerd.

“Met hun unieke kenmerken staan gebeurtenissensoren en AMI-EV klaar om centraal te staan op het gebied van slimme wearables”, zegt onderzoekswetenschapper Cornelia Fermüller, senior auteur van het artikel. "Ze hebben duidelijke voordelen ten opzichte van klassieke camera's, zoals superieure prestaties bij extreme lichtomstandigheden, lage latentie en een laag stroomverbruik. Deze functies zijn bijvoorbeeld ideaal voor virtual reality-toepassingen, waarbij een naadloze ervaring en snelle berekeningen van hoofd- en lichaamsbewegingen noodzakelijk zijn."

Bij vroege tests was AMI-EV in staat bewegingen nauwkeurig vast te leggen en weer te geven in verschillende contexten, waaronder menselijke polsdetectie en snel bewegende vormidentificatie. De onderzoekers ontdekten ook dat AMI-EV beweging in tienduizenden frames per seconde kon vastleggen, wat beter presteert dan de meeste doorgaans verkrijgbare commerciële camera's, die gemiddeld 30 tot 1000 frames per seconde vastleggen. Deze vloeiendere en realistischere weergave van beweging zou van cruciaal belang kunnen zijn voor alles, van het creëren van meer meeslepende augmented reality-ervaringen en betere beveiligingsmonitoring tot het verbeteren van de manier waarop astronomen beelden in de ruimte vastleggen.

“Ons nieuwe camerasysteem kan veel specifieke problemen oplossen, zoals een zelfrijdende auto helpen erachter te komen wat op de weg een mens is en wat niet”, aldus Aloisonos. "Als gevolg hiervan heeft het veel toepassingen waar een groot deel van het grote publiek al mee in aanraking komt, zoals autonome rijsystemen of zelfs smartphonecamera's. Wij geloven dat ons nieuwe camerasysteem de weg vrijmaakt voor meer geavanceerde en capabele systemen in de toekomst."

Neem voor meer informatie contact op met Georgia Jiang op Dit e-mailadres wordt beschermd tegen spambots. U heeft Javascript nodig om het te kunnen zien..