Geavanceerde polsmontage huidsensor vertaalt vingermovements naar real-time 3D virtuele hand

Een aangedreven, enkelvoudig-gespannen elektronische huidsensor is ontwikkeld die menselijke beweging op afstand kan vastleggen. De reksensor, geplaatst op de pols, decodeert complexe vijf-vinger bewegingen in realtime met een virtuele 3D-hand die de oorspronkelijke bewegingen spiegelt. Het diepe neurale netwerk versterkt door rapid situation learning (RSL) zorgt voor stabiele operatie ongeacht de positie op het huidoppervlak.

Conventionele benaderingen vereisen meerdere sensornetwerken die de hele kromme oppervlakken van het doelgebied bedekken. In tegenstelling tot conventionele wafer-gebaseerde fabricatie, biedt deze laserfabricatie een nieuw sensoparadigma voor bewegingstracking. Het meetsysteem extraheert signalen corresponderend met meerdere vingermovements door kraken in metaal-nanopartijelfilms te genereren met lasertechnologie. De sensorpatch werd vervolgens aan de pols van een gebruiker bevestigd om de beweging van de vingers te detecteren.

Het concept van dit onderzoek startte vanuit het idee dat het aanwijzen van een enkel gebied efficiënter zou zijn voor het identificeren van bewegingen dan sensoren op elk gewricht en spier bevestigen. Om deze targeteringsstrategie te laten werken, moet het de signalen van verschillende gebieden op het punt waar ze allemaal convergeren nauwkeurig vastleggen en dan de informatie die verstrengeld is in de geconvergeerde signalen ontwarten. Om de bruikbaarheid en mobiliteit van gebruikers te maximaliseren, gebruikte het onderzoeksteam een einkanaalsensor om de signalen te genereren die corresponderen met complexe handbewegingen.

Het RSL-systeem verzamelt data willekeurige delen op de pols en traint het model automatisch in een realtime-demonstratie met een virtuele 3D-hand die de oorspronkelijke bewegingen spiegelt. Om de gevoeligheid van de sensor te verbeteren, gebruikten onderzoekers laser-geïnduceerde nanoschaal-kraken.

Dit sensorische systeem kan de beweging van het hele lichaam volgen met een klein sensorisch netwerk en de indirecte remote meting van menselijke bewegingen faciliteren, wat toepasbaar is voor draagbare VR/AR-systemen. Het onderzoeksteam analyseerde de sensor signaalpatronen in een latente ruimte die temporeel sensorengedrag omvat en mappen de latente vectoren naar vingermovements metrische ruimtes.

Het systeem is uitbreidbaar naar andere lichaamsdelen; bijvoorbeeld is het in staat om loopbewegingen te extraheren uit een bekken. Deze technologie verwacht toepassingen te vinden in gezondheidsmonitoring, bewegingstracking en zachte robotica.