Duke University's AI-systeem geeft robotten menselijke sensing voor veiligere navigatie

Duke University, Durham, NC

WildFusion gebruikt een combinatie van zicht, tast, geluid en balans om vierpotige robotten te helpen moeilijk terrein zoals dichte bossen te navigeren. (Afbeelding: Duke University)

De uitdaging: multisensorische navigatie voor robots

De rijkdom aan informatie die onze zintuigen ons geven waardoor ons brein de wereld om ons heen kan navigeren, is opmerkelijk. Tast, ruik, gehoor en een sterk balansgevoel zijn cruciaal om door wat voor ons makkelijke omgevingen lijken te komen, zoals een ontspannende wandeling op een weekendochtend.

Een aangeboren begrip van het blad dak boven ons helpt ons uitvinden waar de pad leidt. Het scherpe knappen van takken of het zachte kussen van mos informeert ons over de stabiliteit van ons voetwerk. De donder van een vallende boom of takken die dansen in sterke wind laten ons weten van potentiële gevaren in de buurt.

Robots, in tegenstelling, hebben lang uitsluitend gesteund op visuele informatie zoals camera's of LiDAR om door de wereld te bewegen. Buiten Hollywood is multisensorische navigatie lang uitdagend gebleven voor machines. Het bos, met zijn mooie chaos van dichte onderbegroei, gevallen bomen en steeds veranderend terrein, is een doolhof van onzekerheid voor traditionele robots.

WildFusion: visie, vibratie en tast gecombineerd

Nu hebben onderzoekers van Duke University een nieuw framework genaamd WildFusion ontwikkeld dat visie, vibratie en tast fuseert om robots in staat te stellen "te voelen" complexe buitenomgevingen zoals mensen dat doen.

"WildFusion opent een nieuw hoofdstuk in robotnavigatie en 3D-mapping," aldus Boyuan Chen, de Dickinson Family Assistant Professor of Mechanical Engineering and Materials Science, Electrical and Computer Engineering, en Computer Science aan Duke University. "Het helpt robots om met meer vertrouwen te opereren in ongestructureerde, onvoorspelbare omgevingen zoals bossen, rampenzones en off-road terrein."

"Typische robotten vertrouwen zwaar op visie of LiDAR alleen, wat vaak struikelt zonder duidelijke paden of voorspelbare landmarks," voegde Yanbaihui Liu toe, de leidende studentauteur en een tweedejaars Ph.D. student in Chen's General Robotics Lab. "Zelfs geavanceerde 3D-mapping methoden worstelen om een continu kaart te reconstrueren wanneer sensordata spaarzam, ruisvol of incomplete is, wat een frequent probleem is in ongestructureerde buitenomgevingen. Dat is precies de uitdaging waar WildFusion voor ontworpen is om op te lossen."

Hoe WildFusion werkt

WildFusion, gebouwd op een vierpotige robot, integreert meerdere sensormodaliteiten, inclusief een RGB-camera, LiDAR, inertiële sensoren, en opvallend, contactmicrofoons en tactiele sensoren. Zoals in traditionele benaderen, vangen de camera en de LiDAR de geometrie, kleur, afstand en andere visuele details van de omgeving. Wat WildFusion bijzonder maakt is het gebruik van akoestische vibraties en tast.

Terwijl de robot loopt, registreren contactmicrofoons de unieke vibraties gegenereerd door elke stap, subtiliteiten vastlegend zoals het kraken van droge bladen versus het zachte knijpen van modder. Tegelijkertijd meten tactiele sensoren hoeveel kracht op elke voet wordt toegepast, wat de robot helpt stabiliteit of gladheid in realtime te voelen. Deze toegevoegde zintuigen worden ook gecomplementeerd door de inertiële sensor die versnellingsdata verzamelt om te beoordelen hoeveel de robot wobbelt, kantelt of rolt terwijl het oneffen terrein overkwamt.

Elk type sensorische data wordt dan verwerkt door gespecialiseerde encoders en gefuseerd in een enkele, rijke representatie. In het hart van WildFusion zit een deep learning model gebaseerd op het idee van impliciete neurale representaties. In tegenstelling tot traditionele methoden die de omgeving behandelen als een verzameling discrete punten, modelleert deze benadering complexe oppervlakken en kenmerken continu, wat de robot in staat stelt om slimere, meer intuïtieve beslissingen te nemen over waar te stappen, zelfs wanneer zicht geblokkeerd of ambigu is.

"Denk erbij als het oplossen van een puzzel waar sommige stukken ontbreken, maar je toch in staat bent om intuitief het complete plaatje te verbeelden," legde Chen uit. "WildFusion's multimodale benadering laat de robot 'de gaten vullen' wanneer sensordata spaarzam of ruisvol is, net zoals mensen doen."

Realtime tests in Eno River State Park

WildFusion werd getest in Eno River State Park in North Carolina bij Duke's campus, met succes een robot helpen navigeren door dichte bossen, graslanden en grindpaden. "Het zien van de robot met vertrouwen door het terrein navigeren was ongelooflijk belonend," deelde Liu.

"Deze realworld tests bewijzen WildFusion's opmerkelijke vermogen om traversability nauwkeurig te voorspellen, wat de besluitvorming van de robot over veilige paden door uitdagend terrein aanzienlijk verbetert," aldus Liu.

Toekomstige uitbreiding

Vooruitkijkend, plannen het team het systeem uit te breiden door additionele sensoren te incorporeren, zoals thermische of vochtigheidsdetectoren, om de vermogen van een robot om complexe omgevingen te begrijpen en zich aan te passen, verder te verbeteren. Met zijn flexibele modulaire ontwerp biedt WildFusion vast potentieel voor toepassingen buiten bospaden, inclusief rampenrespons op onvoorspelbare terreinen, inspectie van remote infrastructuur en autonoom exploratie. "Een van de belangrijkste uitdagingen voor robotica vandaag is het ontwikkelen van systemen die niet alleen goed presteren in de lab maar die betrouwbaar functioneren in realworld omstandigheden," aldus Chen. "Dat betekent robots die kunnen aanpassen, beslissingen nemen en doorgaan met bewegen."

Voor meer informatie, contacteer Boyuan Chen via dit e-mailadres is beschermd tegen spambots. U heeft JavaScript ingeschakeld om het te kunnen zien..