Kunstmatige intelligentie helpt robot objecten te herkennen door aanraking

• Het nieuwe op machine learning gebaseerde waarnemingskader kan meer dan 90 verschillende objecten op aanraking herkennen.
• Het maakt gebruik van zowel visuele als tactiele waarnemingen om te bepalen of deze waarnemingen overeenkomen met hetzelfde object.

Mensen zijn goed in het associëren van het uiterlijk en de materiaaleigenschappen van objecten over meerdere modaliteiten heen. Als we een schaar zien, kunnen we ons voorstellen wat onze vingers zouden voelen als ze het metalen oppervlak zouden aanraken, we kunnen het ons in gedachten voorstellen - niet alleen de identiteit, maar ook de grootte, vorm en verhoudingen.

De perceptie van robots is daarentegen niet inherent multimodaal. Hoewel bestaande robots die zijn uitgerust met geavanceerde camera's in staat zijn om onderscheid te maken tussen twee verschillende objecten, kan het zicht alleen vaak onvoldoende zijn, vooral in de aanwezigheid van occlusie en slechte lichtomstandigheden.

Nu hebben onderzoekers van de University of California, Berkeley een methode ontwikkeld waarmee de robotmanipulator mensachtige multimodale associaties kan leren. Het gebruikt zowel visuele als tactiele waarnemingen om erachter te komen of deze waarnemingen al dan niet overeenkomen met hetzelfde object.

Wat deden ze precies?

Het onderzoeksteam gebruikte aanraakdetectie met hoge resolutie via twee GelSight-sensoren (bevestigd aan de vinger van de robot) en convolutionele neurale netwerken (CNN's) voor multimodale associatie.

Deze sensoren genereren metingen door middel van een camera die is geïntegreerd met een elastomeergel, die inkepingen in de gel registreert die zijn ontstaan ​​door contact met objecten. Deze metingen worden vervolgens naar CNN's gevoerd voor gegevensverwerking.

Onderzoekers hebben deze CNN's getraind om de tactiele metingen van sensoren en het objectbeeld van een camera op te nemen en te bepalen of deze ingangen hetzelfde object vertegenwoordigen of niet. Om instantieherkenning uit te voeren, combineerden ze de tactiele metingen van de robot met de visuele observatie van het zoekobject.

Referentie:arXiv:1903.03591 | UC Berkeley

Ze gebruikten NVIDIA GeForce GTX 1080 en TITAN X GPU's met CUDA deep learning-framework om de CNN te trainen en te testen voor multimodale associatie op meer dan 33.000 afbeeldingen.

Robot (links) bestaande uit twee GelSight-tactiele sensoren (één op elke vinger) en een frontale RGB-camera | Voorbeelden van tactiele waarnemingen (midden) en objectafbeeldingen (rechts) die overeenkomen met een enkel object | Met dank aan onderzoekers 

De resultaten tonen aan dat het mogelijk is om objectinstanties te herkennen aan alleen tactiele metingen, inclusief instanties die nooit in training zijn gebruikt. CNN presteerde zelfs beter dan sommige menselijke vrijwilligers en alternatieve methoden.

Wat nu?

Tot nu toe hebben onderzoekers alleen individuele grepen overwogen. In de volgende studie zullen ze meerdere tactiele interacties gebruiken om een ​​vollediger beeld te krijgen van het zoekobject.

Lees:15 verschillende soorten robots | Uitgelegd

Het team is ook van plan om hun systeem uit te breiden naar gerobotiseerde magazijnen waar robots naar productafbeeldingen kijken en deze ophalen door objecten op planken te voelen. Deze nieuwe methode kan worden toegepast op robots in een thuisomgeving om ze objecten van moeilijk bereikbare plekken te laten ophalen.