Robotarm beheerst Jenga met visie en tastende AI

Onderzoekers ontwikkelen een robotarm die tasten en visie gebruikt om het spel Jenga te leren. De machine learning-methode die in dit werk ontwikkeld is, kan robots helpen consumentenproducten te monteren en andere taken uit te voeren die zorgvuldige fysieke interactie vereisen.

Jenga-spelende robot

Jenga is een complex spel dat precieze oog-handcoördinatie en strategie vereist. Als mensen integreren we naadloos onze zintuigen van zicht en tast om dit spel te beheersen. Robots daarentegen bezitten nog niet dit niveau van sophistication.

Meeste robotische leersystemen gebruiken alleen visuele data, zonder tastzin, wat hun vermogen om te leren over de externe wereld basis beperkt. Bestaande leeralgoritmes gebaseerd op model-vrije reinforcement learning-technieken hebben weinig tot geen vermogen om kennis over fysieke objecten, contacten of krachten te benutten.

Onlangs ontwikkelden onderzoekers van MIT's MCube Lab een algoritme om deze vaardigheid na te bootsen met een robot. In tegenstelling tot conventionele machine learning-technieken die massive datasets gebruiken om hun volgende beste zet te evalueren, leert deze robot en benut een hiërarchisch model dat zachte en nauwkeurige extractie van stukken mogelijk maakt.

Hoe het werkt

De robot is uitgerust met een externe RGB-camera, zachte greifer en een krachtmetende polsmanchet. Al deze componenten staan de robot toe de Jenga-toren en de individuele blokken te observeren en te voelen.

De onderzoekers maatten een industriële ABB IRB 120 robotarm aan en zetten een Jenga-toren binnen bereik op. Als de arm zachtjes tegen een blok duwt, vangt een computer tastbare en visuele feedback van de manchet en camera op, en vergelijkt deze metingen met de vorige zetten van de robot.

Referentie: ScienceRobotics | doi:10.1126/scirobotics.aav3123 | MIT

Dit model stelt de robot in staat de toestand van een stuk nauwkeurig te schatten, volgende mogelijke zetten te simuleren, en een gunstige te kiezen. In real-time leert de machine of het moet blijven duwen of naar een nieuw blok moet gaan, om de structuur van instorten te bewaren.

Dit is uitdagender dan AI voor schaak of Go ontwikkelen, omdat Jenga basale fysieke vaardigheden vereist zoals trekken, duwen, plaatsen en uitlijnen van individuele blokken.

De robot die in dit werk ontwikkeld is, identificeert efficiënt wanneer een blok vastzit of vrij is en besluit hoe het te extraheren met veel minder data. Het is getraind op bijna 300 pogingen (in plaats van tienduizenden). Pogingen met vergelijkbare uitkomsten en metingen worden gegroepeerd in clusters en elk cluster vertegenwoordigt specifiek blokgedrag.

Voor elke enkele datacluster ontwikkelde de machine een model om het gedrag van een blok te schatten gegeven zijn huidige tastbare en visuele metingen. Deze clusteringstrategie — geïnspireerd op de natuurlijke manier waarop mensen leren — verhoogt de efficiëntie waarmee de robot kan leren het spel te spelen.

Toepassingen

Deze methode is een succesvol voorbeeld van kunstmatige intelligentie die de fysieke wereld ingaat. Terwijl de robot met zijn omgeving interageert, leert het enkele van de basale vaardigheden die menselijke manipulatie definiëren.

Dit tastleersysteem kan toegepast worden op taken buiten het spel Jenga, met name diegenen die zorgvuldige fysieke interactie vereisen. Bijvoorbeeld: het monteren van consumentenproducten en het scheiden van recycleerbare materialen van stortafval.

In een smartphone- en laptop-assemblage lijn vereisen de meeste stappen tast- en krachtactions in plaats van alleen visie, en deze technologie zou dergelijke assemblage lijnen drastisch kunnen verbeteren.