Insight: Een zachte haptische sensor verbetert robot tastgevoeligheid

In een artikel gepubliceerd in Nature Machine Intelligence, introduceerde een team wetenschappers van het Max Planck Institute for Intelligent Systems (MPI-IS) een robuuste zachte haptische sensor genaamd „Insight” die computervisie en een diep neuronaal netwerk gebruikt om nauwkeurig te schatten waar objecten contact maken met de sensor en hoe groot de toegepaste krachten zijn. Het onderzoeksproject is een belangrijke stap naar robots die hun omgeving net zo nauwkeurig kunnen voelen als mensen en dieren. Als zijn natuurlijke tegenhanger is de vingertopsensor zeer gevoelig, robuust en van hoge resolutie.

Constructie van de duimsensor

De duimvormige sensor bestaat uit een zachte schil gebouwd om een lichtgewicht stijf skelet. Dit skelet houdt de structuur oprecht, net zoals botten het zachte vingerveel stabiliseren. De schil is gemaakt van een elastomere gemengd met donkere maar reflecterende aluminiumvlokken, wat resulteert in een opaak grijsachtige kleur die voorkomt dat extern licht binnenkomt. Verborgen in deze vingergrote kap zit een kleine 160-graden visooog-camera die kleurrijke afbeeldingen opneemt verlicht door een ring van LEDs.

Werking via diep leren

Wanneer een object de schil van de sensor aanraakt, verandert de kleurpatroonbinnenin de sensor. De camera neemt vele keren per seconde afbeeldingen op en voedt een diep neuronaal netwerk met deze data. Het algoritme detecteert zelfs de kleinste lichtverandering in elke pixel. Binnen een fractie van een seconde kan het getrainde machine-learningmodel uitmappen waar precies de vingertop een object aanraakt, bepalen hoe sterk de krachten zijn, en de krachtrichting aanwijzen. Het model deduceert wat wetenschappers een krachtkaart noemen: het levert een krachtvector voor elk punt in de driedimensionale vingertop.

„We bereikten deze uitstekende sensoringprestaties door het innovatieve mechanische ontwerp van de schil, het aangepaste beeldvormingssysteem binnenin, automatische dataverzameling, en state-of-the-art diep leren,” zei Georg Martius, Max Planck Research Group Leader bij MPI-IS, waar hij de Autonomous Learning Group leidt. „Onze unieke hybride structuur van een zachte schil die een stijf skelet omhult, zorgt voor hoge gevoeligheid en robuustheid. Onze camera kan zelfs de minste deformaties van het oppervlak detecteren vanaf één enkele afbeelding,” voegde zijn PhD-student Huanbo Sun toe. Tijdens het testen van de sensor realiseerden de onderzoekers zich dat het gevoelig genoeg was om zijn eigen oriëntatie ten opzichte van de zwaartekracht te voelen.

Trainingsproces en tactiele fovea

Hoe leert zo'n sensor? Huanbo Sun ontwierp een testomgeving om de trainingsdata te genereren die nodig is voor het machine-learningmodel om de correlatie te begrijpen tussen de verandering in ruwe beeldpixels en de toegepaste krachten. De testomgeving tast de sensor over heel zijn oppervlak af en noteert de ware contactkrachtvector samen met de camera-afbeelding binnenin de sensor. Op deze manier werden ongeveer 200.000 metingen gegenereerd. Het duurde bijna drie weken om de data te verzamelen en nog een dag om het machine-learningmodel te trainen. Het doorstaan van dit lange experiment met zoveel verschillende contactkrachten bewijsd de robuustheid van Insight's mechanische ontwerp, en tests met een grotere tasttoon lieten zien hoe goed het sensoringssysteem generaliseert.

Een ander bijzonder kenmerk van de duimvormige sensor is dat het een nagelvormige zone bezit met een dunner elastomeerlaag. Deze tactiele fovea is ontworpen om zelfs minuscule krachten en gedetailleerde objectvormen te detecteren. Voor deze super-gevoelige zone kozen de wetenschappers een elastomeerdikte van 1,2 mm in plaats van de 4 mm die ze op de rest van de vingersensor gebruikten.

„De hardware- en software-ontwerp die we in ons werk presenteren, kan overgedragen worden naar een grote verscheidenheid van robotonderdelen met verschillende vormen en precisie-eisen. De machine-learning-architectuur, training en inferentieproces zijn allemaal algemeen en kunnen toegepast worden op veel andere sensorontwerpen,” zei Huanbo Sun.