AI stelt robots in staat 90+ objecten te herkennen door tasten

Het nieuwe machine learning-gebaseerde perceptie-framework kan meer dan 90 verschillende objecten herkennen door tasten. Het gebruikt zowel visuele als tastbare observaties om te identificeren of deze observaties overeenkomen met hetzelfde object.

Wat precies deden ze?

Het onderzoeksploeg gebruikte hoge-resolutie tastzensing via twee GelSight-sensoren (bevestigd aan de vingers van de robot) en convolutionele neurale netwerken (CNNs) voor multi-modale associatie.

Deze sensoren genereren metingen door middel van een camera geïntegreerd met een elastomeer gel, dat indentaties in het gel opneemt die ontstaan door contact met objecten. Deze metingen worden vervolgens in de CNNs gevoed voor dataverwerking.

Onderzoekers trainden deze CNNs om de tastmetingen van sensoren en objectafbeeldingen van een camera op te nemen, en te identificeren of deze invoer hetzelfde object vertegenwoordigt of niet. Om instantieherkenning uit te voeren, combineerden ze de tastmetingen van de robot met de visuele observatie van het bevraagde object.

Referentie: arXiv:1903.03591 | UC Berkeley

Ze gebruikten NVIDIA GeForce GTX 1080 en TITAN X GPU's met CUDA deep learning framework om de CNN te trainen en testen voor multi-modale associatie op meer dan 33.000 afbeeldingen.

Robot (links) bestaande uit twee GelSight tastsensoren (één aan elke vinger) en een frontale RGB-camera | Voorbeelden van tastobservaties (midden) en objectafbeeldingen (rechts) die overeenkomen met een enkel object | Met dank aan de onderzoekers

De resultaten tonen aan dat het mogelijk is om objectinstanties te herkennen door alleen tastmetingen, inclusief instanties die nooit in training werden gebruikt. Feitelijk presteerde de CNN beter dan sommige menselijke vrijwilligers en alternatieve methoden.

Wat is de volgende stap?

Tot nu toe hebben onderzoekers alleen individuele grijpen overwogen. In de volgende studie zullen ze meerdere tastinteracties gebruiken om een completer beeld van het bevraagde object te verkrijgen.

Het team plannet ook hun systeem uit te breiden naar robotische magazijnen waar robots naar productafbeeldingen kijken en ze ophalen door te tasten naar objecten op planken. Deze nieuwe methode kan toegepast worden op robots in een thuismilieu om ze objecten uit moeilijk bereikbare plekken te laten halen.