Real-time 3D veranderingdetectie door robot verhoogt soldaatveiligheid via AR

Zelfs kleine veranderingen in de omgeving van een soldaat kunnen gevaar aangeven. Nu kan een robot die veranderingen detecteren en een waarschuwing direct de soldaat alerteren via een display in haar bril. Onderzoekers demonstreerden in een real-world omgeving het eerste mens-robot team waarin de robot fysieke veranderingen in 3D detecteert en die informatie in real-time deelt met een mens via augmented reality. De mens is dan in staat de ontvangen informatie te evalueren en een opvolgactie te beslissen.

Het werk werd gedaan om contextuele bewustzijn te bieden aan autonome robotische grondplatforms in manoeuvreer- en mobiliteitsscenario's. Meeste academische onderzoek in het gebruik van mixed reality interfaces voor mens-robot teaming gaat niet in real-world omgevingen, maar gebruikt externe instrumentatie in een lab om de berekeningen te managen die nodig zijn om informatie te delen tussen een mens en robot. Evenzo onderzoeken de meeste engineering-inspanningen om mensen mixed-reality interfaces te bieden, geen teaming met autonome mobiele robots.

Het nieuwe onderzoek koppelde een kleine autonoom mobiele grondrobot, uitgerust met laser-afstandssensoren bekend als LiDAR, om een representatie van de omgeving te bouwen met een menselijke teamgenoot die augmented reality bril droeg. Terwijl de robot de omgeving patrouilleerde, vergelijkde het zijn huidige en eerdere metingen om veranderingen in de omgeving te detecteren. Die veranderingen werden dan onmiddellijk weergegeven in de bril van de mens om te bepalen of de mens de veranderingen in de omgeving kon interpreteren.

In het bestuderen van communicatie tussen de robot en menselijke team, testten de onderzoekers verschillende resolutie LiDAR-sensoren op de robot om metingen van de omgeving te verzamelen en veranderingen te detecteren. Toen die veranderingen gedeeld werden via augmented reality met de mens, vonden de onderzoekers dat menselijke teamgenoten veranderingen konden interpreteren die zelfs de lagere-resolutie LiDARs detecteerden. Dit wijst erop dat, afhankelijk van de grootte van de verwachte veranderingen, lichtere, kleinere en goedkopere sensoren even goed kunnen presteren en sneller lopen.

Toekomstige studies zullen doorgaan met het verkennen hoe de teaming tussen mensen en autonome agenten te versterken door de mens te laten interacteren met de gedetecteerde veranderingen, wat meer informatie aan de robot geeft over de context van de verandering; bijvoorbeeld veranderingen gemaakt door vijanden versus natuurlijke omgevingsveranderingen of false positives. Dit zal de autonoom contextbegrip en redeneringscapaciteiten van het robotische platform verbeteren, zoals door de robot in staat te stellen te leren en te voorspellen welke typen veranderingen een dreiging vormen. Op zijn beurt zal het leveren van dit begrip aan autonomie helpen onderzoekers leren hoe de teaming van soldaten met autonome platforms te verbeteren.