Robot detecteert en deelt veranderingen in 3D in realtime

Zelfs kleine veranderingen in de omgeving van een soldaat kunnen wijzen op gevaar. Nu kan een robot die veranderingen detecteren en een waarschuwing kan de soldaat onmiddellijk waarschuwen via een display in haar bril. Onderzoekers demonstreerden in een echte wereld het eerste mens-robot-team waarin de robot fysieke veranderingen in 3D detecteert en die informatie in realtime met een mens deelt via augmented reality. De mens is dan in staat om de ontvangen informatie te evalueren en vervolgacties te beslissen.

Het werk werd gedaan om contextueel bewustzijn te bieden aan autonome robotachtige grondplatforms in manoeuvre- en mobiliteitsscenario's. Het meeste academische onderzoek naar het gebruik van mixed reality-interfaces voor mens-robot-teaming komt niet in de echte wereld, maar gebruikt eerder externe instrumenten in een laboratorium om de berekeningen te beheren die nodig zijn om informatie tussen een mens en een robot te delen. Evenzo wordt bij de meeste technische inspanningen om mensen te voorzien van mixed-reality-interfaces niet gekeken naar samenwerking met autonome mobiele robots.

Het nieuwe onderzoek koppelde een kleine autonome mobiele grondrobot, uitgerust met lasersensoren die bekend staan ​​als LiDAR, om een ​​weergave van de omgeving te bouwen met een menselijke teamgenoot die een augmented reality-bril draagt. Terwijl de robot door de omgeving patrouilleerde, vergeleek hij de huidige en eerdere metingen om veranderingen in de omgeving te detecteren. Die veranderingen werden vervolgens onmiddellijk weergegeven in de bril van de mens om te bepalen of de mens de veranderingen in de omgeving kon interpreteren.

Bij het bestuderen van de communicatie tussen de robot en het menselijke team, testten de onderzoekers LiDAR-sensoren met verschillende resolutie op de robot om metingen van de omgeving te verzamelen en veranderingen te detecteren. Toen die veranderingen werden gedeeld met behulp van augmented reality voor de mens, ontdekten de onderzoekers dat menselijke teamgenoten veranderingen konden interpreteren die zelfs de LiDAR's met een lagere resolutie detecteerden. Dit geeft aan dat, afhankelijk van de omvang van de verwachte veranderingen, lichtere, kleinere en goedkopere sensoren net zo goed zouden kunnen presteren en sneller zouden kunnen werken.

Toekomstige studies zullen blijven onderzoeken hoe de samenwerking tussen mensen en autonome agenten kan worden versterkt door de mens te laten interageren met de gedetecteerde veranderingen, wat de robot meer informatie zal geven over de context van de verandering; bijvoorbeeld veranderingen gemaakt door tegenstanders versus natuurlijke omgevingsveranderingen of valse positieven. Dit zal het autonome contextbegrip en de redeneermogelijkheden van het robotplatform verbeteren, bijvoorbeeld door de robot in staat te stellen te leren en te voorspellen welke soorten veranderingen een bedreiging vormen. Door dit inzicht in autonomie te verschaffen, zullen onderzoekers op hun beurt leren hoe ze de samenwerking tussen soldaten met autonome platforms kunnen verbeteren.