Het AI-systeem van Duke University geeft robots menselijke waarneming voor veiliger navigatie

Duke Universiteit, Durham, NC

WildFusion gebruikt een combinatie van zicht, aanraking, geluid en balans om vierpotige robots te helpen beter door moeilijk terrein zoals dichte bossen te navigeren. (Afbeelding:Duke Universiteit)

De rijkdom aan informatie die door onze zintuigen wordt geleverd en waarmee onze hersenen door de wereld om ons heen kunnen navigeren, is opmerkelijk. Aanraking, reuk, gehoor en een sterk evenwichtsgevoel zijn cruciaal om door een voor ons makkelijke omgeving te komen, zoals een ontspannende wandeling op een weekendochtend.

Een aangeboren begrip van het bladerdak boven ons helpt ons erachter te komen waar het pad naartoe leidt. Het scherpe geluid van takken of het zachte kussen van mos informeert ons over de stabiliteit van onze voet. Het gedonder van een vallende boom of het dansen van takken bij harde wind laat ons weten dat er potentiële gevaren in de buurt zijn.

Robots vertrouwen daarentegen lange tijd uitsluitend op visuele informatie zoals camera's of LiDAR om zich door de wereld te verplaatsen. Buiten Hollywood is multisensorische navigatie lange tijd een uitdaging gebleven voor machines. Het bos, met zijn prachtige chaos van dicht struikgewas, omgevallen boomstammen en steeds veranderend terrein, is een doolhof van onzekerheid voor traditionele robots.

Nu hebben onderzoekers van Duke University een nieuw raamwerk ontwikkeld, genaamd WildFusion, dat zicht, trillingen en aanraking combineert om robots in staat te stellen complexe buitenomgevingen te ‘voelen’, net zoals mensen dat doen.

"WildFusion opent een nieuw hoofdstuk in robotnavigatie en 3D-mapping", zegt Boyuan Chen, assistent-professor van de Dickinson Family in werktuigbouwkunde en materiaalkunde, elektrische en computertechniek en computerwetenschappen aan de Duke University. “Het helpt robots om met meer vertrouwen te opereren in ongestructureerde, onvoorspelbare omgevingen zoals bossen, rampgebieden en offroad-terrein.”

“Typische robots zijn sterk afhankelijk van visie of alleen LiDAR, die vaak haperen zonder duidelijke paden of voorspelbare oriëntatiepunten”, zegt Yanbaihui Liu, hoofdstudentauteur en tweedejaars Ph.D. student in Chen’s General Robotics Lab. "Zelfs geavanceerde 3D-kaartmethoden hebben moeite om een continue kaart te reconstrueren wanneer de sensorgegevens schaars, luidruchtig of onvolledig zijn, wat een veel voorkomend probleem is in ongestructureerde buitenomgevingen. Dat is precies de uitdaging die WildFusion moest oplossen."

WildFusion, gebouwd op een viervoetige robot, integreert meerdere detectiemodaliteiten, waaronder een RGB-camera, LiDAR, traagheidssensoren en, met name, contactmicrofoons en tactiele sensoren. Net als bij traditionele benaderingen leggen de camera en de LiDAR de geometrie, kleur, afstand en andere visuele details van de omgeving vast. Wat WildFusion bijzonder maakt is het gebruik van akoestische trillingen en aanraking.

Terwijl de robot loopt, registreren contactmicrofoons de unieke trillingen die bij elke stap worden gegenereerd, waardoor subtiele verschillen worden vastgelegd, zoals het knarsen van droge bladeren versus het zachte geknars van modder. Ondertussen meten de tactiele sensoren hoeveel kracht er op elke voet wordt uitgeoefend, waardoor de robot in realtime stabiliteit of gladheid kan waarnemen. Deze extra zintuigen worden ook aangevuld door de traagheidssensor die versnellingsgegevens verzamelt om te beoordelen hoeveel de robot wiebelt, stampt of rolt terwijl hij over oneffen terrein rijdt.

Elk type sensorische data wordt vervolgens verwerkt door gespecialiseerde encoders en samengevoegd tot één rijke representatie. De kern van WildFusion is een deep learning-model gebaseerd op het idee van impliciete neurale representaties. In tegenstelling tot traditionele methoden die de omgeving behandelen als een verzameling afzonderlijke punten, modelleert deze aanpak voortdurend complexe oppervlakken en kenmerken, waardoor de robot slimmere, intuïtievere beslissingen kan nemen over waar hij moet stappen, zelfs als zijn zicht geblokkeerd of dubbelzinnig is.

“Zie het als het oplossen van een puzzel waarvan sommige stukjes ontbreken, maar je kunt je toch intuïtief het volledige plaatje voorstellen”, legt Chen uit. “Dankzij de multimodale aanpak van WildFusion kan de robot ‘de lege plekken invullen’ wanneer sensorgegevens schaars of luidruchtig zijn, net zoals mensen dat doen.”

WildFusion werd getest in het Eno River State Park in North Carolina, vlakbij de campus van Duke, en hielp een robot met succes bij het navigeren door dichte bossen, graslanden en grindpaden. “Het was ongelooflijk de moeite waard om te zien hoe de robot vol vertrouwen over het terrein navigeerde,” vertelde Liu.

"Deze tests in de echte wereld bewezen het opmerkelijke vermogen van WildFusion om de berijdbaarheid nauwkeurig te voorspellen, waardoor de besluitvorming van de robot op veilige paden door uitdagend terrein aanzienlijk werd verbeterd", aldus Liu.

Vooruitkijkend is het team van plan het systeem uit te breiden door extra sensoren op te nemen, zoals thermische of vochtigheidsdetectoren, om het vermogen van een robot om complexe omgevingen te begrijpen en zich eraan aan te passen verder te vergroten. Met zijn flexibele modulaire ontwerp biedt WildFusion enorme potentiële toepassingen buiten bospaden, inclusief rampenbestrijding op onvoorspelbaar terrein, inspectie van afgelegen infrastructuur en autonome verkenning. “Een van de belangrijkste uitdagingen voor de hedendaagse robotica is het ontwikkelen van systemen die niet alleen goed presteren in het laboratorium, maar ook betrouwbaar functioneren in de praktijk”, aldus Chen. “Dat betekent robots die zich kunnen aanpassen, beslissingen kunnen nemen en in beweging kunnen blijven.”

Neem voor meer informatie contact op met Boyuan Chen op Dit e-mailadres wordt beschermd tegen spambots. U heeft Javascript nodig om het te kunnen zien..