SonicSense: Robots laten luisteren als mensen voor slimme interactie

Nieuwe benadering voor robotperceptie: akoestische trillingen

Nieuw onderzoek van Duke University detailleert een systeem gedoopt SonicSense dat robots in staat stelt om met hun omgeving te interacteren op manieren die voorheen beperkt waren tot mensen.

"Robots vandaag de dag vertrouwen voornamelijk op visie om de wereld te interpreteren," uitgelegd Door Eerste Auteur Jiaxun Liu, eerstejaars Ph.D. student in het laboratorium van Boyuan Chen, Professor Mechanical Engineering and Materials Science aan Duke. "We wilden een oplossing creëren die met complexe en diverse objecten die op dagelijkse basis gevonden worden, kon werken, robots een veel rijker vermogen geven om te 'voelen' en de wereld te begrijpen."

Hoe SonicSense werkt

SonicSense heeft een robotische hand met vier vingers, elk uitgerust met een contactmicrofoon ingebouwd in de vingertop. Deze sensoren detecteren en registreren trillingen gegenereerd wanneer de robot tikkt, grijpt of een object schudt. En omdat de microfoons in contact zijn met het object, stelt het de robot in staat om omgevingsgeluiden te filteren.

Op basis van de interacties en gedetecteerde signalen, extraheert SonicSense frequentiekenmerken en gebruikt zijn eerdere kennis, gepaard met recente vooruitgang in AI, om uit te zoeken uit welk materiaal het object gemaakt is en wat de 3D-vorm is. Als het een object is dat het systeem nog nooit heeft gezien, kan het 20 verschillende interacties kosten voor het systeem tot een conclusie te komen. Maar als het een object is dat al in de database zit, kan het het correct identificeren in slechts vier interacties.

Interview met Professor Boyuan Chen

Tech Briefs: Wat was de grootste technische uitdaging die je tegenkwam tijdens het ontwikkelen van SonicSense?

Chen: Ik denk dat de eerste is dat er echt geen uitgebreide studies zijn geweest over het gebruik van akoestische trillingen voor robotperceptie. Meeste van het eerdere werk was met een enkele vinger of was heel preliminair. Maar, dit op een echte robotische hand zetten en in staat zijn om te interacteren met een verscheidenheid aan mogelijke objecten is geen makkelijke taak.

Tech Briefs: Hoe kwam dit project tot stand? Wat was de katalysator voor je werk?

Chen: Dit is een heel interessant verhaal. Deel een van mijn werk heette boombox, dit was tijdens COVID. Ik dacht dat ik werk wilde doen over robots en visie. Dus ik was al geïnteresseerd een paar jaar geleden in het brengen van akoestische trillingen in sensing, omdat we akoestische geluidstrillingen veel gebruiken. In de neurowetenschap heeft de menselijke huid trillingszenuwen. Dus las ik over deze dingen en dacht na over hoe we dit naar robots kunnen brengen. Maar tijdens COVID had ik geen toegang tot robots. Ik deed mijn Ph.D. aan Columbia, dus woonde in een kleine kamer in New York City, maar ik wilde echt dit onderzoek doen. Ik had een willekeurig idee een dag: 'Wat kan ik zonder robots doen om te tonen dat dit nuttig is?'

Ik had een speelgoedbak in mijn kamer. Door willekeurig objecten erin te gooien, realiseerde ik me: 'Hey, ik moet gaan en dit object ophalen, maar ik weet niet waar het is. Wat voor object heb ik erin gegooid?' Dat was een perfect onderzoeksvraagstuk. Ik begon met drie verschillende houten dozen met verschillende vormen, en gooide ze in de bak. Ik trainde een AI-systeem dat de vorm van het object dat ik erin gooide voorspelde en waar het object na mijn gooien terechtkwam omdat ik het niet kon zien. Dus dit was het project.

Het idee was eigenlijk je hebt vier contactmicrofoons. Je bevestigt ze rond de wand van de bak. Je neemt alleen akoestische trillingen op van de vier kanalen van microfoons. Ik gebruikte microfoons die gebruikt worden om geluid van een gitaar op te pikken. Ik plakte ze op de bak, en ik trainde een systeem dat ging van geluid naar de voorspelling van deze 3D operatie. En dat was het begin van dat project. Toen, natuurlijk, wilde ik dit voor robots doen. Dat was min of meer de geboorteplaats van SonicSense.

Tech Briefs: Kun je in eenvoudige termen uitleggen hoe het werkt?

Chen: Het is een geïntegreerd hardware en software systeem. De hardware kant heeft een robotgreifer met vier vingers, en elk van de vingertoppen heeft een ingebouwde contactmicrofoon. Deze contactmicrofoon zint niet wat we zeggen, maar het zint de trillingen van fysiek contact. De software kant stelt de robot in staat om autonoom omgevingen te verkennen door een eenvoudig tikken of grijpen van een object met een container en het schudden. De software verzamelt de signalen van de vier contactmicrofoons en de motorsignalen samen. We trainen een kunstmatig intelligentienetwerk om dingen te voorspellen zoals: 'Hoeveel dobbelstenen heb je in een container? Hoeveel randen heeft deze dobbelsteen? Hoeveel vloeistof zit er in deze waterfles? Hoeveel giet je in een andere container?'

Tech Briefs: Wat zijn jullie volgende stappen?

Chen: We kijken naar een paar nieuwe ideeën in termen van, allereerst, welke andere sensormodaliteiten nodig zijn voor ons om menselijke-niveau vaardigheid van manipulatie te bereiken. Maar, nog meer voor breder inhoud voor robotica, niet alleen voor manipulatie. Maar ook voor locomotie, navigatie, en alles. Zijn er andere sensormodaliteiten die we nodig hebben? Dus nieuwe modaliteiten verkennen die robots kunnen in staat stellen of robots kunnen bemachtigen om capaciteiten te hebben die zelfs mensen of dieren niet hebben, is één richting.

Een andere richting waar we naar kijken is, andere modaliteiten die we al in robots hebben. Bijvoorbeeld, visie — en hoe voegen we alle modaliteiten samen om een coherente begrip van de wereld te hebben in plaats van slechts één perspectief? Dus veel sensormodaliteiten samenbrengen en een geünificeerd begrip leren.

Een derde richting waar we naar kijken is om dit te brengen tot de echte menselijke vectoren van manipulatiecapaciteit — het huidige ontwerp is heel erg een prototype. We willen dit doen door zowel de morfologie als de sensormogelijkheid van de hand op een veel grotere schaal te schalen. Dit betekent veel sensoren op een veel meer menselijke hand, en om echt vaardige manipulatiemogelijkheden te tonen. Nu doen we alleen objectperceptie, maar we willen in staat zijn om objecten te manipuleren met veel geavanceerdere mogelijkheden.

Resultaten uit transcript

De transcript benadrukt dat SonicSense een holistisch ontwerp is op zowel hardware als algoritme voordelen voor objectperceptie door verbeterde akoestische trillingsensing. De robothand heeft vier vingers met ingebouwde contactmicrofoons en tegengewichten. Het systeem kan geometrie en inventarisstatus van objecten in een container afleiden uit unieke akoestische trillinghandtekeningen tijdens interacties. Ze leidden 12 interpreteerbare kenmerken af gebaseerd op traditionele akoestische signaalverwerkingsmethoden. Materiaalclassificatie bereikte een gemiddelde F1-score van 0.763. Vormreconstructie bereikte een gemiddelde Chamfer distance score van 0.876. Object heridentificatie na 15 nieuwe interacties: meer dan 92% nauwkeurigheid. De hele robothand kost $215 met commercieel beschikbare componenten en 3D-printen.