Zachte sensor verhoogt vingertopgevoeligheid voor robots

In een paper gepubliceerd in Nature Machine Intelligence , introduceerde een team van wetenschappers van het Max Planck Institute for Intelligent Systems (MPI-IS) een robuuste zachte haptische sensor genaamd "Insight" die computervisie en een diep neuraal netwerk gebruikt om nauwkeurig in te schatten waar objecten in contact komen met de sensor en hoe groot zijn de uitgeoefende krachten. Het onderzoeksproject is een belangrijke stap in de richting van robots die hun omgeving net zo nauwkeurig kunnen voelen als mensen en dieren. Net als zijn natuurlijke tegenhanger is de vingertopsensor erg gevoelig, robuust en met een hoge resolutie.

De duimvormige sensor is gemaakt van een zachte schaal die is gebouwd rond een lichtgewicht stijf skelet. Dit skelet houdt de structuur op dezelfde manier als botten het zachte vingerweefsel stabiliseren. De schaal is gemaakt van een elastomeer vermengd met donkere maar reflecterende aluminiumvlokken, wat resulteert in een ondoorzichtige grijsachtige kleur die voorkomt dat er extern licht naar binnen komt. Verborgen in deze vingergrote dop zit een kleine 160-graden fish-eye-camera die opneemt kleurrijke afbeeldingen verlicht door een ring van LED's.

Verwante artikelen

Zachte tactiele sensor met huidvergelijkbare kenmerken voor robots

Zachte sensor verwerkt de druk

Wanneer objecten de behuizing van de sensor raken, verandert het uiterlijk van het kleurenpatroon in de sensor. De camera neemt vele malen per seconde beelden op en voedt met deze data een diep neuraal netwerk. Het algoritme detecteert zelfs de kleinste verandering in licht in elke pixel. Binnen een fractie van een seconde kan het getrainde machine learning-model in kaart brengen waar de vinger precies contact maakt met een object, bepalen hoe sterk de krachten zijn en de krachtrichting aangeven. Het model leidt af wat wetenschappers een krachtenkaart noemen:het biedt een krachtvector voor elk punt in de driedimensionale vingertop.

"We hebben deze uitstekende detectieprestaties bereikt door het innovatieve mechanische ontwerp van de schaal, het op maat gemaakte beeldvormingssysteem aan de binnenkant, automatische gegevensverzameling en geavanceerde deep learning", zegt Georg Martius, Max Planck Research Group Leader bij MPI-IS, waar hij staat aan het hoofd van de Autonome Leergroep. “Onze unieke hybride structuur van een softshell die een stijf skelet omhult, zorgt voor een hoge gevoeligheid en robuustheid. Onze camera kan zelfs de kleinste vervormingen van het oppervlak van één enkel beeld detecteren,” voegde zijn Ph.D. student Huanbo Sun. Tijdens het testen van de sensor realiseerden de onderzoekers zich dat deze gevoelig genoeg was om zijn eigen oriëntatie ten opzichte van de zwaartekracht te voelen.

Maar hoe leert zo'n sensor? Huanbo Sun ontwierp een testbed om de trainingsgegevens te genereren die nodig zijn voor het machine-learningmodel om de correlatie tussen de verandering in onbewerkte beeldpixels en de uitgeoefende krachten te begrijpen. Het testbed tast de sensor rondom het oppervlak af en registreert de werkelijke contactkrachtvector samen met het camerabeeld in de sensor. Op deze manier werden ongeveer 200.000 metingen gegenereerd. Het duurde bijna drie weken om de gegevens te verzamelen en nog een dag om het machine learning-model te trainen. Het overleven van dit lange experiment met zoveel verschillende contactkrachten heeft geholpen om de robuustheid van het mechanische ontwerp van Insight te bewijzen, en tests met een grotere sonde lieten zien hoe goed het sensorsysteem generaliseert.

Een ander bijzonder kenmerk van de duimvormige sensor is dat deze een nagelvormige zone heeft met een dunnere elastomeerlaag. Deze tactiele fovea is ontworpen om zelfs kleine krachten en gedetailleerde objectvormen te detecteren. Voor deze supergevoelige zone kozen de wetenschappers een elastomeerdikte van 1,2 mm in plaats van de 4 mm die ze voor de rest van de vingersensor gebruikten.

"Het hardware- en softwareontwerp dat we in ons werk presenteren, kan worden overgebracht naar een breed scala aan robotonderdelen met verschillende vormen en precisie-eisen. De machine-learning architectuur, training en het inferentieproces zijn allemaal algemeen en kunnen worden toegepast op veel andere sensorontwerpen,” zei Huanbo Sun.