Zachte robots gebruiken camera en schaduw om menselijke aanraking te voelen

Onderzoekers hebben een goedkope methode ontwikkeld waarmee zachte, vervormbare robots een reeks fysieke interacties kunnen detecteren, van klopjes tot stoten tot knuffels, zonder helemaal afhankelijk te zijn van aanraking. In plaats daarvan legt een USB-camera in de robot de schaduwbewegingen van handgebaren op de huid van de robot vast en classificeert deze met machine learning-software.

Aanraking is een belangrijke manier van communicatie voor de meeste organismen, maar is vrijwel afwezig geweest in de interactie tussen mens en robot. Een van de redenen is dat voor aanraking van het hele lichaam vroeger een enorm aantal sensoren nodig was en daarom niet praktisch te implementeren was.

De ShadowSense-technologie is ontstaan ​​door het ontwikkelen van opblaasbare robots die mensen in veiligheid kunnen brengen tijdens noodevacuaties. Zo'n robot zou in extreme omstandigheden en omgevingen met mensen moeten kunnen communiceren. Stel je een robot voor die iemand fysiek door een lawaaierige, met rook gevulde gang leidt door de druk van de hand van de persoon te detecteren.

In plaats van een groot aantal contactsensoren te installeren - die de robot zwaarder en ingewikkelder zouden maken en moeilijk in te bedden in een vervormende huid zouden zijn - koos het team een ​​contra-intuïtieve benadering. Om aanraking te meten, keken ze naar het zicht. Door een camera in de robot te plaatsen, kunnen ze door naar de schaduwbeelden te kijken afleiden hoe de persoon de robot aanraakt en wat de bedoeling van de persoon is.

De prototyperobot bestaat uit een zachte, opblaasbare blaas van nylonhuid die is gespannen rond een cilindrisch skelet van ongeveer 1,2 meter hoog dat op een mobiele basis is gemonteerd. Onder de huid van de robot bevindt zich een USB-camera die wordt aangesloten op een laptop. De onderzoekers ontwikkelden een neuraal netwerkgebaseerd algoritme dat eerder geregistreerde trainingsgegevens gebruikt om onderscheid te maken tussen zes aanraakbewegingen - aanraken met een handpalm, ponsen, aanraken met twee handen, knuffelen, wijzen en helemaal niet aanraken - met een nauwkeurigheid van 87,5 tot 96%, afhankelijk van de verlichting.

De robot kan worden geprogrammeerd om te reageren op bepaalde aanrakingen en gebaren, zoals wegrollen of een bericht via een luidspreker. En de huid van de robot kan in een interactief scherm worden veranderd. Door voldoende gegevens te verzamelen, kan een robot worden getraind om een ​​nog breder vocabulaire van interacties te herkennen, aangepast aan de taak van de robot.

De robot hoeft niet eens een robot te zijn. ShadowSense-technologie kan worden geïntegreerd in andere materialen, zoals ballonnen, waardoor ze worden omgezet in aanraakgevoelige apparaten. In de toekomst zullen de onderzoekers proberen optische apparaten zoals lenzen en spiegels te gebruiken om extra vormfactoren mogelijk te maken.

ShadowSense biedt ook privacy. Als de robot een mens alleen in de vorm van zijn schaduw kan zien, kan hij detecteren wat de persoon doet zonder hifi-afbeeldingen van hun uiterlijk te maken. Dit zorgt voor een fysieke filter en bescherming, en biedt psychologisch comfort.

Het vermogen om fysiek met elkaar om te gaan en de bewegingen en stemmingen van een persoon te begrijpen, kan uiteindelijk net zo belangrijk zijn voor de persoon als voor de robot.