SonicSense:robots in staat stellen om als mensen te luisteren voor slimmere interactie

Nieuw onderzoek van Duke University beschrijft een systeem genaamd SonicSense waarmee robots met hun omgeving kunnen communiceren op manieren die voorheen beperkt waren tot mensen.

“Robots vertrouwen tegenwoordig vooral op visie om de wereld te interpreteren”, legt hoofdauteur Jiaxun Liu, eerstejaars Ph.D. student in het laboratorium van Boyuan Chen, hoogleraar werktuigbouwkunde en materiaalkunde aan Duke. “We wilden een oplossing creëren die zou kunnen werken met complexe en diverse objecten die je dagelijks tegenkomt, waardoor robots een veel rijker vermogen krijgen om de wereld te ‘voelen’ en te begrijpen.”

SonicSense beschikt over een robothand met vier vingers, elk uitgerust met een contactmicrofoon ingebed in de vingertop. Deze sensoren detecteren en registreren trillingen die worden gegenereerd wanneer de robot op een voorwerp tikt, vastpakt of schudt. En omdat de microfoons in contact staan met het object, kan de robot omgevingsgeluiden dempen.

Op basis van de interacties en gedetecteerde signalen extraheert SonicSense frequentiekenmerken en gebruikt het zijn eerdere kennis, gecombineerd met recente ontwikkelingen op het gebied van AI, om erachter te komen uit welk materiaal het object is gemaakt en wat de 3D-vorm ervan is. Als het een object is dat het systeem nog nooit eerder heeft gezien, kan het twintig verschillende interacties duren voordat het systeem tot een conclusie komt. Maar als het een object is dat al in de database staat, kan het het in slechts vier stappen correct identificeren.

Hier is een exclusieve Tech Briefs interview, bewerkt voor lengte en duidelijkheid, met Chen.

Technische slips :Wat was de grootste technische uitdaging waarmee u te maken kreeg tijdens de ontwikkeling van SonicSense?

Chen :Ik denk dat de eerste is dat er echt geen uitgebreide onderzoeken zijn gedaan naar het gebruik van akoestische trillingen voor robotperceptie. Het meeste van het voorgaande werk is met één vinger gedaan of was zeer voorlopig. Maar dit op een echte robothand zetten en met een verscheidenheid aan mogelijke objecten kunnen communiceren, is geen gemakkelijke taak.

Technische slips :Hoe is dit project tot stand gekomen? Wat was de katalysator voor je werk?

Chen :Dit is een heel interessant verhaal. Deel één van mijn werk heette boombox, dit was tijdens COVID. Ik dacht dat ik aan robots en visie wilde werken. Een paar jaar geleden was ik dus al geïnteresseerd in het waarnemen van akoestische trillingen, omdat we veel gebruik maken van akoestische geluidstrillingen.

In de neurowetenschappen heeft de menselijke huid trillingsneuronen. Dus ik las over deze dingen en dacht erover na hoe we dit naar robots kunnen brengen. Maar tijdens COVID had ik geen toegang tot robots. Ik heb mijn Ph.D. in Columbia, dus ik woonde in een klein studentenhuis in New York City, maar ik wilde dit onderzoek heel graag doen. Op een dag had ik een willekeurig idee:‘Wat kan ik doen zonder robots om te laten zien dat dit nuttig is?

Ik had een speelgoedbak in mijn kamer. Door er willekeurig voorwerpen in te gooien, realiseerde ik me:‘Hé, ik moet dit voorwerp gaan halen, maar ik weet niet waar het is. Welk voorwerp heb ik erin gegooid?’ Dat was een perfecte onderzoeksvraag.

Ik begon met drie verschillende houten kisten met verschillende vormen, en ik gooide ze in de prullenbak. Ik heb een AI-systeem getraind dat de vorm voorspelde van het object dat ik erin gooide en waar het object terechtkwam nadat ik het gooide, omdat ik het niet kon zien. Dit was dus het project.

Het idee was dat je eigenlijk vier contactmicrofoons hebt. Je bevestigt ze rond de wand van de bak. Je neemt alleen akoestische trillingen op van de vier kanalen microfoons. Ik gebruikte microfoons die worden gebruikt om geluid van een gitaar op te pikken. Ik plakte ze op de bak en trainde een systeem dat van geluid naar de voorspelling van deze 3D-operatie ging. En dat was het begin van dat project.

Toen wilde ik dit natuurlijk voor robots doen. Dat was zo ongeveer de geboorteplaats van SonicSense.

Technische slips :Kunt u in eenvoudige bewoordingen uitleggen hoe het werkt?

Chen :Het is een geïntegreerd hardware- en softwaresysteem. Het hardwaregedeelte heeft een robotgrijper met vier vingers, en elk van de vingertoppen heeft een ingebouwde contactmicrofoon. Deze contactmicrofoon voelt niet wat we zeggen, maar wel de trillingen van fysiek contact.

De softwarekant stelt de robot in principe in staat om autonoom omgevingen te exporteren door simpelweg op een object te tikken of het met een container vast te pakken en te schudden. De software verzamelt de signalen van de vier contactmicrofoons en de motorsignalen samen.

We trainen een kunstmatige-intelligentienetwerk om zaken te voorspellen als ‘Hoeveel dobbelstenen heb je in een container? Hoeveel randen heeft deze dobbelsteen? Hoeveel vloeistof zit er in deze waterfles? Hoeveel giet je in een andere container?’

Technische slips :Wat zijn je volgende stappen?

Chen :We onderzoeken een aantal nieuwe ideeën in termen van, in de eerste plaats, welke andere detectiemodaliteiten nodig zijn om manipulatieve behendigheid op menselijk niveau te bereiken. Maar nog meer voor bredere inhoud voor robotica, niet alleen voor manipulatie. Maar ook voor voortbeweging, navigatie en alles. Zijn er andere detectiemodaliteiten die we nodig hebben? Het onderzoeken van nieuwe modaliteiten die robots in staat kunnen stellen of robots in staat kunnen stellen capaciteiten te hebben die zelfs mensen of dieren niet hebben, is dus één richting.

Een andere richting waar we naar kijken zijn andere modaliteiten die we al hebben in robots. Visie bijvoorbeeld – en hoe kunnen we alle modaliteiten samenvoegen om een ​​samenhangend begrip van de wereld te krijgen in plaats van slechts één perspectief? Dus door veel sensormodaliteiten samen te laten komen en een verenigd begrip te leren.

Een derde richting waar we naar kijken is om dit naar de echte menselijke vectoren van manipulatievermogen te brengen; het huidige ontwerp is in hoge mate een prototype. We willen dit doen door zowel de morfologie als het detectievermogen van de hand op een veel grotere schaal te schalen. Dit betekent dat we veel sensoren op een veel menselijkere hand moeten plaatsen en dat we de behendige manipulatiemogelijkheden echt moeten laten zien. Op dit moment doen we alleen objectperceptie, maar we willen objecten kunnen manipuleren met veel geavanceerdere mogelijkheden.

Transcriptie

00:00:00 we hebben Sonic sense geïntroduceerd, een geïntegreerd hardware- en softwareframework om akoestische trillingsdetectie mogelijk te maken voor rijke objectperceptie van robots. Recent werk heeft akoestische trillingsdetectie gebruikt voor objectmateriaal en categorieclassificatie, positievoorspelling, waarbij de hoeveelheid en stroom van korrelig materiaal wordt geschat en gezamenlijk ruimtelijke redenering van objecten wordt uitgevoerd voor

00:00:23 visuele reconstructie, maar eerder werk concentreerde zich op een klein aantal primitieve objecten met een homogene materiaalsamenstelling beperkte instellingen voor gegevensverzameling en testen met één vinger. Daarom is het niet duidelijk of akoestische trillingsdetectie nuttig kan zijn voor objectperceptie onder luidruchtige en minder gecontroleerde omstandigheden.

00:00:44 heden Sonic Sense een holistisch ontwerp van zowel hardware- als algoritme-verbeteringen voor objectperceptie door het verbeteren van akoestische trillingsdetectie. Onze robothand heeft vier vingers. Een elektrische contactmicrofoon is ingebed in elke vingertop en rond het contragewicht is op het buitenste schaaloppervlak gemonteerd om het momentum van de vingerbeweging te vergroten. Ons intuïtieve mechanische ontwerp.

00:01:07 maakt een reeks interactieve bewegingen mogelijk Primitieven voor objectperceptie, waaronder tik-, grijp- en schudbewegingen. De ingebouwde contactmicrofoon kan hoogfrequente akoestische trillingen verzamelen die worden gecreëerd door het contact tussen objectobjecten of objecthandinteracties. Onze robot kan de geometrie en inventarisstatus van verschillende objecten in een container afleiden uit

00:01:31 hun unieke akoestische trillingssignaturen tijdens interacties leiden we 12 interpreteerbare kenmerken af op basis van traditionele akoestische signaalverwerkingsmethoden om deze verschillende akoestische trillingssignaturen te helpen onderscheiden. We hebben een niet-lineaire dimensionaliteitsreductie zonder toezicht uitgevoerd met tne op deze 12-dimensionale kenmerkvector door de container te schudden die onze robot kan

00:01:54 We kunnen met succes verschillende aantallen dobbelstenen of dobbelstenen met verschillende vormen in de container onderscheiden wanneer we water in de fles gieten die door onze robot wordt vastgehouden. We kunnen de subtiele verschillen in akoestische kenmerken detecteren op basis van verschillende bestaande hoeveelheden water in de fles. Onze robot kan ook verschillende hoeveelheden water in de fles detecteren wanneer deze er meer in wordt geschud.

00:02:15 uitdagende objectperceptietaken we hebben een dataset ontwikkeld met 83 verschillende Real World-objecten onze objecten bestrijken negen materiaalcategorieën en een verscheidenheid aan geometrieën, van eenvoudige primitieven tot complexe vormen, in tegenstelling tot eerder werk waarbij mensen de hand van de robot handmatig vasthouden om met objecten te communiceren of vaste interactiehoudingen en krachten voor herhaling te ontwerpen, leiden we een eenvoudige maar effectieve

00:02:40 op heuristisch gebaseerd interactiebeleid om autonoom de akoestische trillingsrespons van objecten te verzamelen. ons beleid werkt goed voor al onze objecten in de echte wereld die variabele afmetingen en geometrieën omvatten. we hebben een materiaalclassificatiemodel getraind dat het Mel-spectrogram van ons verzamelde akoestische trillingssignaal van het impactgeluid in zich opneemt en leert de

00:03:02 materiaallabel het netwerk heeft de vorm van drie convolutionele neurale netwerklagen gevolgd door twee MLP-lagen. het aanvankelijke resultaat van onze methode leidt tot een F1-score van 0,523, maar we hebben waargenomen dat objectmaterialen relatief uniform en glad zijn rond lokale regio's. Op basis van deze aanname kunnen we onze voorspelling iteratief verfijnen, ons uiteindelijke gemiddelde F1

00:03:25 score bereikt 0,763. Ons Shape Recon-constructiemodel gebruikt de schaarse en luidruchtige contactpunten om een dichte en volledige 3D-vorm van het object te genereren. We stapelen twee puntige lagen om de invoer te coderen en voeren vervolgens de globale feature Vector in een decodernetwerk met volledig verbonden lagen om de uiteindelijke puntenwolk te produceren. Onze resultaten behaalden een gemiddelde van z. Z

00:03:50 Z 876 M kampioen voor afstandsscore de voorspelling op objecten met primitieve vormen presteert over het algemeen vrijwel perfect. Bovendien biedt onze methode de mogelijkheid om objecten met complexe vormen alleen te reconstrueren door middel van rondhouten en luidruchtige contactpuntschattingen wanneer een object interactie heeft gehad met de robot met zijn akoestische trillingsreacties die we nastreven

00:04:13 Laat onze robot het object opnieuw identificeren via een reeks van 15 nieuwe tikinteracties. We voeren 15 zowel de verzameling Mel-spectrogrammen als de bijbehorende contactpunten in het netwerk in om het label van dit object te voorspellen uit de 82 objecten in onze dataset. Onze robot kan hetzelfde object opnieuw identificeren met een nauwkeurigheid van meer dan 92%. Onze robot is sterk bestand tegen omgevingsinvloeden.

00:04:37 geluiden en richt zich alleen op trillingssignalen via fysiek contact. Dit garandeert hoge kwaliteit en betrouwbare detectiegegevens onder uitdagende omgevingsomstandigheden. Onze hele robothand kost $215 met in de handel verkrijgbare componenten en 3D-printen. Onze experimentele resultaten demonstreren de veelzijdigheid en doeltreffendheid van ons ontwerp op verschillende manieren van objectperceptie.

00:05:01 taken inclusief schatting van de inventarisstatus van vaste en vloeibare objecten in containers materiaalclassificatie 3D-vormreconstructie en heridentificatie van objecten in het algemeen levert onze methode unieke bijdragen aan tactiele waarneming met akoestische trillingen en opent nieuwe mogelijkheden voor toekomstige robotontwerpen om een robuuster geheel te bouwen

00:05:23 veelzijdig en holistisch perceptueel model van de wereld