Universiteit van Maryland-ingenieurs creëren geavanceerde oog-geïnspireerde camera die robotvisie verbetert

University of Maryland, College Park, MD

Een diagram dat het nieuwe AMI-EV-camerasysteem afbeeldt. (Afbeelding: Met toestemming van de UMIACS Computer Vision Laboratory)

Naar de menselijke oog voor inspiratie

Een team geleid door computerv Wetenschappers van de Universiteit van Maryland ontwierp een cameramechanisme dat verbetert hoe robots de wereld om hen zien en erop reageren. Geïnspireerd op hoe het menselijk oog werkt, imiteert hun innovatieve camerasysteem de kleine ongewone bewegingen die het oog gebruikt om heldere en stabiele visie over tijd te behouden. Het prototypen en testen van de camera — de Artificial Microsaccade-Enhanced Event Camera (AMI-EV) genoemd — werd gedetailleerd in een papier gepubliceerd in het tijdschrift Science Robotics in mei 2024.

„Eventcamera's zijn een relatief nieuwe technologie die beter is in het volgen van bewegende objecten dan traditionele camera's, maar de huidige eventcamera's worstelen om scherpe, vervaging-vrije afbeeldingen vast te leggen wanneer er veel beweging betrokken is,” zei de hoofdauteur van het papier Botao He, een informatica Ph.D.-student aan de Universiteit van Maryland. „Het is een groot probleem omdat robots en veel andere technologieën, zoals zelfrijdende auto's, vertrouwen op accurate en tijdige afbeeldingen om correct te reageren op een veranderende omgeving. Dus we vroegen ons af: Hoe zorgen mensen en dieren ervoor dat hun visie gefocust blijft op een bewegend object?”

Voor He's team was het antwoord microsaccades, kleine en snelle oogbewegingen die ongewenselijk optreden wanneer een persoon probeert hun blik te focussen. Door deze minieme maar continue bewegingen kan het menselijke oog focus behouden op een object en zijn visuele texturen — zoals kleur, diepte en schaduwing — accurate over tijd.

„We beseften dat net zoals onze ogen die kleine bewegingen nodig hebben om gefocust te blijven, een camera een vergelijkbaar principe kan gebruiken om heldere en accurate afbeeldingen vast te leggen zonder bewegingsvervaging,” zei He.

Technische implementatie

Het team repliceerde microsaccades met succes door een roterend prisma in de AMI-EV te plaatsen om lichtstralen die door de lens worden gevangen, om te leiden. De continue rotatiebeweging van het prisma simuleerde de bewegingen die natuurlijk in een menselijk oog voorkomen, waardoor de camera de texturen van een opgenomen object kon stabiliseren net zoals een mens dat zou doen. Het team ontwikkelde vervolgens software om de beweging van het prisma binnen de AMI-EV te compenseren om stabiele afbeeldingen te consolideren uit de verschuivende lichten.

Medeauteur Yiannis Aloimonos, professor Informatica aan de Universiteit van Maryland, ziet de uitvinding van het team als een grote stap voorwaarts op het gebied van robotvisie.

„Onze ogen nemen foto's van de wereld om ons heen en die foto's worden naar onze hersenen gestuurd, waar de afbeeldingen geanalyseerd worden. Perceptie gebeurt door dat proces en dat is hoe we de wereld begrijpen,” legde Aloimonos uit, die ook directeur is van het Computer Vision Laboratory aan het University of Maryland Institute for Advanced Computer Studies (UMIACS). „Als je werkt met robots, vervang je de ogen door een camera en de hersenen door een computer. Betere camera's betekenen betere perceptie en reacties voor robots.”

Breder toepassingsbereik

De onderzoekers geloven ook dat hun innovatie significante implicaties kan hebben buiten robotica en nationale verdediging. Wetenschappers die werken in industrieën die vertrouwen op accurate afbeeldingvastlegging en vormdetectie, zijn constant op zoek naar manieren om hun camera's te verbeteren, en AMI-EV kan een sleuteloplossing zijn voor veel van de problemen waarmee ze geconfronteerd worden.

„Met hun unieke kenmerken zijn eventsensoren en AMI-EV klaar om de centrale rol te spelen in het domein van slimme wearables,” zei onderzoekswetenschapper Cornelia Fermüller, senior auteur van het papier. „Ze hebben duidelijke voordelen ten opzichte van klassieke camera's, zoals superieure prestaties in extreme verlichtingsomstandigheden, lage latentie, en laag stroomverbruik. Deze kenmerken zijn ideaal voor virtuele realiteit applicaties, bijvoorbeeld, waar een naadloze ervaring en snelle berekeningen van hoofd- en lichaamsbewegingen noodzakelijk zijn.”

In vroege tests was AMI-EV in staat beweging accurate vast te leggen en weer te geven in diverse contexten, waaronder hartslagdetectie en snelle bewegende vormidentificatie. De onderzoekers vonden ook dat AMI-EV beweging kon vastleggen in tienduizenden frames per seconde, wat de meeste commercieel beschikbare camera's overtreft, die gemiddeld 30 tot 1000 frames per seconde vastleggen. Deze gladere en realistischere weergave van beweging kan cruciaal blijken voor alles van het creëren van meer immersive augmented reality-ervaringen en betere beveiligingsmonitoring tot het verbeteren van hoe astronomen beelden in de ruimte vastleggen.

„Ons nieuwe camerasysteem kan veel specifieke problemen oplossen, zoals een zelfrijdende auto helpen uit te maken wat op de weg een mens is en wat niet,” zei Aloimonos. „Als resultaat heeft het veel toepassingen waar het grote publiek al mee in contact komt, zoals autonome rijsystemen of zelfs smartphonecamera's. We geloven dat ons nieuwe camerasysteem de weg baant voor meer geavanceerde en capabele systemen die zullen komen.”

Voor meer informatie, neem contact op met Georgia Jiang via dit e-mailadres (beveiligd tegen spambots, JavaScript vereist).