Bepalen van de nauwkeurigheid van dynamische objectvolging

Er is al een breed oeuvre waarin beoordelingen van verschillende motion capture-systemen een breed scala aan verschillende resultaten hebben opgeleverd. Deze onderzoeken leveren nuttige en relevante resultaten op voor specifieke gebruikssituaties, maar ze meten vaak verschillende dingen en de methoden, of zelfs de terminologie die wordt gebruikt, variëren aanzienlijk op verschillende belangrijke manieren.

De aard van optische motion capture-systemen betekent dat er een groot aantal variabelen is, wat het beantwoorden van vragen over nauwkeurigheid ingewikkeld maakt, en enkele van de belangrijkste factoren in systeemprestaties zijn ook niet intuïtief. Omstandigheden die van invloed zijn op de gegevenskwaliteit kunnen zijn:de grootte van de ruimte, de geometrie en snelheid van het object, de aard van de beweging en veranderingen in omgevingsomstandigheden – evenals de kenmerken van het systeem zelf – zoals het aantal, resolutie, en kwaliteit van camera's; de kwaliteit en grootte van de gebruikte markeringen; het camerakalibratieproces; en de algoritmen die zijn gebruikt om de starre objecthouding uit de cameragegevens te berekenen.

Zelfs met een volledig gecontroleerde omgeving kan de beweging van objecten de metingen beïnvloeden. We kunnen bijvoorbeeld continu de lengte van een testobject observeren. Het is mogelijk om een ​​zeer significant verschil waar te nemen, afhankelijk van of het object in rust of in beweging is. Dit laat zien hoe cruciaal consistentie en controle van de variabelen zijn voordat vergelijkingen kunnen worden gemaakt.

Terminologie kan vaak verschillende dingen betekenen in verschillende contexten, waarbij termen als 'nauwkeurigheid' en 'precisie' heel verschillende betekenissen krijgen. Bovendien zijn ze vaak casusspecifiek:de betekenis van de term 'nauwkeurigheid' kan bijvoorbeeld anders worden opgevat in de studie van biomechanica dan robotica tot visuele effecten.

Als onderdeel van dit werk wilden we informatie verstrekken die informatief zou zijn en ingenieurs zou helpen begrijpen welk prestatieniveau ze konden verwachten. Dit vereiste een methode die geschikt was voor het publiek dat het vaakst naar dit onderwerp werd gevraagd, gemakkelijk uit te leggen was en zinnige resultaten opleverde voor een groot aantal verschillende toepassingen.

Ook wilden we – zowel intern tijdens de ontwikkeling als extern – het gesprek aangaan met een methode die begrepen werd, zodat in dat kader toekomstige ontwikkelingen en verbeteringen gecommuniceerd konden worden. We vonden het belangrijk om een ​​extern gepubliceerde methode te gebruiken, om volledig transparant te zijn over die methode en dus over welke resultaten worden behaald.

Vicon bracht een groep samen, geleid door de toenmalige Engineering Product Manager Tim Massey, met een brede ervaring in de details van hoe motion capture in de praktijk werkte, niet alleen in theorie. Het was een groep die wist hoe we konden helpen dit probleem te begrijpen op een manier die nuttig en informatief zou zijn voor ons publiek.

Gedurende een periode van maanden hebben we een reeks externe methoden beoordeeld, waarbij we enkele van de meest veelbelovende hebben geprobeerd, om hun effectiviteit en relevantie voor de manier waarop de systemen werden gebruikt te beoordelen. We besloten dat een methode ontwikkeld en beoordeeld door de subcommissie voor 3D-meetsystemen van de American Society for Testing and Materials (ASTM E57) het meest geschikt was. ASTM heeft in juni 2006 de E57-commissie opgericht, specifiek om normen te ontwikkelen die kunnen worden gebruikt om de prestaties van 3D-systemen te evalueren. De methode E3064 ("Standard Test Method for Evaluating the Performance of Optical Tracking Systems that Measure Six Degrees of Freedom (6DOF) Pose") is een eenvoudige methode die een uniforme meting tussen twee starre objecten mogelijk maakt terwijl ze op een gecontroleerde manier in een optische volume voor bewegingsopname.

Deze methode heeft het voordeel dat ze eenvoudig te begrijpen en uit te leggen is. Maar het heeft ook het voordeel dat het een continu bewegend object kan beoordelen (een cruciaal onderdeel van een motion capture-systeem en een variabele die een aanzienlijk verschil kan maken) en snel fouten kan beoordelen op veel locaties binnen het opnamevolume.

Het is echter belangrijk om te vermelden dat er geen 'juiste' methode is. Er zijn ook veel verschillende alternatieven en elke methode heeft zijn eigen voordelen. Men was echter van mening dat dit een informatieve methode was om mensen te helpen uitleggen welk type prestatie ze kunnen verwachten met een beoordeling die relevant was voor hoe Vicon-systemen door technici worden gebruikt.

We hebben twee afzonderlijke maar vergelijkbare opstellingen getest, bestaande uit Vantage 5 MP- of 16 MP-camera's, en de afstand tussen twee starre objecten gemeten. Dit was een bekende vaste afstand die was gemaakt van thermisch neutraal plastic om fysieke verschillen die zouden kunnen voortvloeien uit beweging of temperatuurveranderingen zoveel mogelijk te elimineren. Hierdoor kon de meetnauwkeurigheid consistent worden bepaald aan de hand van deze bekende vaste referentie terwijl deze over het volume bewoog, en was ook een nauwkeurige beoordeling van de metingen mogelijk. De waarneming was consistent, hoewel het object over het opnamevolume werd bewogen en continu in beweging was.

Door dit werk kunnen we nu beter communiceren hoe nieuwe ontwikkelingen de kwaliteit die Vicon levert verbeteren. Een goed voorbeeld hiervan is de recente release van Vantage+, waar we nu niet alleen de voordelen van hogere framesnelheden duidelijk kunnen uitleggen, maar ook de inherente compromissen die binnen de technologie bestaan.

Dit artikel is geschreven door Dr. Felix Tsui, Product Manager, Vicon (Oxford, VK). Ga voor meer informatie naar hier .