TossingBot: Snelle robotarm gooit 500 objecten per uur met 85% nauwkeurigheid

Nieuwe robot leert willekeurige objecten op te pakken en in specifieke locaties te gooien. Het gebruikt zowel deep learning als projectielfysica om objecten nauwkeurig en snel in ongestructureerde omgevingen te werpen. Binnen 14 uur trainingsduur bereikte het een gooienauwkeurigheid van 85%, met 85% greepbetrouwbaarheid in clutter.

Uitdagingen

Iets gooien is geen makkelijke taak voor robots. Er zijn talloze factoren betrokken, van hoe objecten van verschillende vormen opgepakt worden tot fysieke eigenschappen van objecten zoals massa, aerodynamica en wrijving.

Bijvoorbeeld: als je een zwaar, lang object van de rand oppakt en gooit, zou het verder weg landen dan als je het van het midden had opgepakt. Maar als je een licht object als een pingpongbal oppakt, heb je een grote kracht nodig (vanwege luchtweerstand) om het op dezelfde afstand te gooien.

Handmatig een techniek ontwikkelen die al deze parameters expliciet controleert voor elk willekeurig object is bijna onmogelijk. Proberen-en-fouten is ook geen goed idee omdat het zowel duur als tijdrovend is.

Deep learning en fysica combineren

Terwijl deep learning de robot kan helpen leren uit ervaring in plaats van te vertrouwen op case-by-case mechanismen, vereist het precies werpen van objecten naar hun doelpositie een goed begrip van projectielfysica.

Referentie: arXiv:1903.11239 | Google AI Blog

Door beide functies te integreren, stonden ingenieurs TossingBot in staat om snel te trainen en te generaliseren naar nieuwe scenario's. Met behulp van een aantal fundamentele wetten van projectielfysica ontwikkelt de robot initiële controllers, bijvoorbeeld berekent het hoeveel worpsnelheid nodig is om een specifiek object op een doelpositie te werpen.

Vervolgens voorspellen neurale netwerken correcties bovenop die fysicaberekeningen, om te compenseren voor externe factoren zoals variabiliteit en ruis in de echte wereld. Naast training, vertrouwt de robotarm op de NVIDIA Titan GPU voor het reconstructeren van scènes (vastgelegd met RGB dieptecamera's) in 3D in real-time en het aggregeren van 3D-data terwijl de arm zich beweegt.

Binnen 14 uur trainingsduur bereikte TossingBot een gooienauwkeurigheid van 85%, met 87% greepbetrouwbaarheid in clutter. Het kon meer dan 500 willekeurige objecten in dozen plaatsen die buiten zijn maximale bereik liggen.

Wat is de volgende stap?

Hoewel de resultaten indrukwekkend lijken, heeft de robot zijn tekortkomingen. Bijvoorbeeld, het veronderstelt dat objecten sterk genoeg zijn om landingsbotsingen te weerstaan. Ook evalueert het controlevariabelen alleen vanuit visuele informatie.

In de volgende studie zullen onderzoekers hun systeem trainen om objecten op te vangen op manieren die de landing dempen. Ze plannen ook additionele sensormodaliteiten (zoals tasten en kracht-koppel) te verkennen die de robotarm in staat kunnen stellen om zijn worpsnelheden beter aan te passen.