Nauwkeurigheid Meten van Dynamisch Object Tracking in Motion Capture Systemen

Er is al een breed werkbestand waarin beoordelingen van diverse motion capture systemen een breed scala aan verschillende resultaten hebben geproduceerd. Deze studies produceren nuttige en relevante resultaten voor specifieke use cases, maar ze meten vaak verschillende dingen en de methoden, of zelfs de terminologie die gebruikt wordt, variëren significant in diverse belangrijke manieren.

De aard van optische motion capture systemen betekent dat er een groot bereik aan variabelen is, wat het beantwoorden van vragen over nauwkeurigheid gecompliceerd maakt, en sommige van de belangrijkste factoren in systeemprestaties zijn ook contra-intuïtief. Condities die data-kwaliteit beïnvloeden kunnen zijn: de grootte van de ruimte, de geometrie en snelheid van het object, de aard van de beweging, en veranderingen in omgevingscondities – alsook de kenmerken van het systeem zelf – zoals het aantal, resolutie, en kwaliteit van camera's; de kwaliteit en grootte van markers; het camera-kalibratieproces; en de algoritmes gebruikt om de rigide object pose uit de camera-data te berekenen.

Zelfs met een volledig gecontroleerde omgeving, kan de beweging van objecten de metingen beïnvloeden. Bijvoorbeeld, we kunnen de lengte van een testobject continu observeren. Het is mogelijk om een hoogst significante verschil te observeren, afhankelijk van of het object in rust is of in beweging. Dit toont hoe cruciaal consistentie en controle van de variabelen zijn voordat vergelijkingen gemaakt kunnen worden.

Terminologie kan vaak verschillende dingen betekenen in verschillende contexten, met termen als 'nauwkeurigheid' en 'precisie' die heel verschillende betekenissen aan nemen. Daarnaast zijn ze vaak case-specifiek: bijvoorbeeld, de betekenis van de term 'nauwkeurigheid' kan anders begrepen worden in de studie van biomechanica dan in robotica tot visual effects.

Als onderdeel van dit werk, wilden we echt informatie bieden die informatief zou zijn en ingenieurs helpen begrijpen welk prestatieniveau ze konden verwachten. Dit vereiste een methode die passend was voor de doelgroep die het meest over dit onderwerp vroeg, makkelijk uitlegbaar was, en zinvolle resultaten produceerde over een bereik van verschillende gebruiken.

We wilden ook een gesprek starten – intern tijdens ontwikkeling, alsook extern – met een methode die begrepen werd, zodat toekomstige ontwikkelingen en verbeteringen in die context gecommuniceerd konden worden. We vonden het belangrijk om een extern gepubliceerde methode te gebruiken, om volledig transparant te zijn over die methode en dus over welke resultaten behaald worden.

Vicon bracht een groep samen, geleid door toenmalige Engineering Product Manager Tim Massey, met een wijd scala aan ervaring in de details van hoe motion capture in de praktijk werkte, niet alleen in theorie. Ze waren een groep die wist hoe we deze probleem op een manier konden helpen begrijpen die nuttig en informatief zou zijn voor onze doelgroep.

Over een periode van maanden keken we naar een reeks externe methoden, probeerden een aantal van de meest belovende, om hun effectiviteit en relevantie te beoordelen voor hoe de systemen gebruikt werden. We besloten dat een methode ontwikkeld en beoordeeld door de subcommissie voor 3D-meetsystemen bij de American Society for Testing and Materials (ASTM E57) het meest passend was. ASTM stichtte de E57-commissie in juni 2002 specifiek om standaarden te ontwikkelen die gebruikt konden worden om de prestaties van 3D-systemen te evalueren. De methode E3064 ('Standard Test Method for Evaluating the Performance of Optical Tracking Systems that Measure Six Degrees of Freedom (6DOF) Pose') is een eenvoudige methode die een uniforme meting tussen twee rigide objecten toestaat terwijl ze op een gecontroleerde manier bewegen in een optisch motion capture volume.

Deze methode heeft het voordeel dat het simpel te begrijpen en uit te leggen is. Maar het heeft ook het voordeel dat het een continu bewegend object beoordeelt (een kritisch component van een motion capture systeem, en een variabele die een significant verschil kan maken) en fouten snel op veel locaties binnen het capture volume beoordeelt.

Het is wel belangrijk om te vermelden dat er geen 'correcte' methode is. Er zijn ook veel verschillende alternatieven, en elke methode heeft verschillende merites. Echter, het werd gevoeld dat dit een informatieve methode was om mensen te helpen begrijpen het type prestatie dat ze kunnen verwachten met een beoordeling die relevant was voor hoe Vicon-systemen door ingenieurs worden gebruikt.

We testen twee afzonderlijke maar vergelijkbare setups, samengesteld uit Vantage 5 MP of 16 MP camera's, en meetten de afstand tussen twee rigide objecten. Dit was een bekende vaste afstand die geconstrueerd was uit thermisch neutraal plastic om, zoveel mogelijk, fysieke verschillen die kunnen ontstaan door beweging of temperatuurveranderingen, te elimineren. Dit stelde de meetnauwkeurheid in staat om consistent tegen deze bekende vaste referentie te worden bepaald terwijl het door het volume bewog, evenals het mogelijk maken van nauwkeurige beoordeling van de metingen. Observatie was consistent ondanks dat het object over het capture volume werd bewogen en in continue beweging was.

Dit werk stelt ons nu in staat om beter te communiceren hoe nieuwe ontwikkelingen de kwaliteit die Vicon levert verbeteren. Een goed voorbeeld hiervan is de recente release van Vantage+ waar we nu in staat zijn om niet alleen de voordelen die verhoogde frame rates kunnen leveren duidelijk uit te leggen, maar ook de inherente trade-offs die binnen de technologie bestaan.

Dit artikel is geschreven door Dr. Felix Tsui, Product Manager, Vicon (Oxford, UK). Voor meer informatie, bezoek hier .