Nauwkeurige bewegingsregistratie in draagbare consumentenapparaten

Onze levens zijn getransformeerd door draagbare, verbonden gadgets - het meest duidelijk de smartphone, maar ook een groot aantal andere, zoals smartwatches, fitnesstrackers en hearables. Deze apparaten combineren gegevensverzameling met verwerkingskracht en draadloze connectiviteit.

Maar naast al hun andere functies, is het gemakkelijk om het belang van bewegingssensoren over het hoofd te zien om onze gadgets functioneler en intuïtiever te maken. Of het nu gaat om het veranderen van de schermoriëntatie op onze telefoons, het tellen van stappen op een smartwatch, het afstemmen van de bewegingen van ons hoofd met onze XR-bril of het tikken op oordopjes om het nummer te veranderen, bewegingsdetectie is een essentieel onderdeel van de gebruikerservaring en interface.

Voor embedded engineers kan het kiezen en integreren van bewegingssensoren lastig zijn. Hoe kunt u ervoor zorgen dat u de juiste technologie kiest om de nauwkeurigheid te krijgen die u nodig hebt, zonder de kosten of het stroomverbruik onnodig te verhogen? En hoe zorgt u ervoor dat u het maximale uit de sensoren haalt en geen prestaties of functies misloopt die uw eindproduct kunnen verbeteren?

Basisprincipes van bewegingssensoren

Eerst een korte samenvatting van wat we bedoelen met bewegingssensoren. Er zijn drie soorten die gewoonlijk worden gebruikt:versnellingsmeter, gyroscoop en magnetometer.

De versnellingsmeter meet versnelling, waaronder versnelling door zwaartekracht. Dit betekent dat het de richting van de zwaartekracht ten opzichte van de sensor kan detecteren - in feite welke kant omhoog is. De gyroscoop meet de verandering in hoekpositie door de hoeksnelheid te meten.

Met drie vrijheidsgraden of assen voor elk van de versnellingsmeter en gyroscoop, geeft de combinatie van beide ons een bewegingssensor met 6 assen of traagheidsmeeteenheid (IMU) (zie figuur 1). Voor veel toepassingen moeten we een magnetometer toevoegen, die de sterkte en richting van het aardmagnetisch veld meet, zodat we onze koers kunnen schatten. Door een 3-assige magnetometer bovenop de accelerometer en gyroscoop toe te voegen, ontstaat een 9-assige IMU.

Voor de doeleinden van dit bericht gaan we IMU's bespreken. Hoewel er bepaalde eigenschappen zijn die we bespreken die op zichzelf kunnen worden toegepast op een versnellingsmeter, gyroscoop of magnetometer, willen we de uitdagingen van het combineren van ten minste twee van deze sensoren belichten.

Figuur 1:Bewegingsdetectie met een IMU (Bron:CEVA)

Houd het nauwkeurig

Dus nu hebben we onszelf herinnerd aan de theorie, hoe werkt het in de praktijk? Hoe kunnen we de nauwkeurigheid krijgen die we nodig hebben?

Voor een IMU is de nauwkeurigheid die wordt bereikt bij het bepalen van de koers van ons apparaat een basisstatistiek waarvan we kunnen uitgaan. Onze vereisten kunnen binnen een graad of twee liggen, terwijl minder nauwkeurigheid acceptabel zou kunnen zijn voor een andere toepassing. De nauwkeurigheidseisen van een XR-headset zullen bijvoorbeeld veel strenger zijn dan die van een robotspeelgoed voor kinderen. We moeten dan rekening houden met de stabiliteit van deze gegevens en of deze in de loop van de tijd en met de temperatuur zullen variëren.

Om de hoogste nauwkeurigheidsoutput van onze IMU te verkrijgen, is het gebruik van sensorfusie vereist, wat het concept is van het combineren van gegevens van meerdere sensoren om een ​​som te creëren die groter is dan de delen ervan. Elke sensor van onze IMU heeft verschillende sterke en zwakke punten die kunnen worden gesmolten samen voor die oplossing.

Een manier om over sensorfusie na te denken, is door het te baseren op 'vertrouwen'. In dit geval kunnen we 'vertrouwen' gebruiken om aan te geven dat de gegevens van een bepaalde sensor een redelijk niveau van vertrouwen hebben voor de nauwkeurigheid en relevantie ervan. Stel dat u de president van een land bent en het beleid moet bepalen. Je hebt een economisch, gezondheids- en militair adviseur. Elk geeft je input, maar ze kennen allemaal verschillende gebieden. Ze hebben gissingen over hoe hun mening hun tegenhangers zou beïnvloeden, maar helaas zijn het slechts gissingen. Het is aan jou om hun informatie te verwerken en samen te voegen tot de beste beslissing.

Evenzo heb je twee of drie 'adviseurs' op wie je een beroep kunt doen voor oriëntatiegegevens van je IMU:de versnellingsmeter, gyroscoop en soms de magnetometer. De gyroscoop is het gemakkelijkst uit te leggen. Gyroscopen van consumentenkwaliteit kunnen worden vertrouwd voor relatieve oriëntatieveranderingen over korte perioden van een paar seconden, maar de uitvoer zal over langere tijdsintervallen, tientallen seconden plus, afdrijven. De versnellingsmeter is handig om de zwaartekracht op lange termijn te meten, maar kan door bepaalde scenario's worden verward, zoals constante acceleratie in een auto. We kunnen de magnetometer vertrouwen in stabiele magnetische omgevingen, zoals op het platteland of in het bos, maar minder wanneer er magnetische interferentie is, bijvoorbeeld in een kantoor dat is gebouwd met stalen pilaren.

Kortom, de gyroscoop is nauwkeurig voor metingen op korte termijn, en versnellingsmeter en magnetometer voor metingen op langere termijn. Met een goed begrip van hun beperkingen, kunnen hun gegevens worden samengevoegd voor een nauwkeuriger beeld van de oriëntatie van een apparaat.

Wanneer we meerdere sensoruitgangen hebben, zoals een 9-assige IMU, geeft sensorfusie ons de mogelijkheid om gegevens te combineren en te vergelijken om de nauwkeurigheid te verbeteren. Als onze sensorfusiesoftware bijvoorbeeld een algoritme bevat om onverwachte of plotselinge veranderingen in de output van de magnetometer als gevolg van magnetische interferentie te detecteren, kan het automatisch meer vertrouwen stellen in de accelerometer- en gyroscoopgegevens, totdat de magnetometer weer stabiel is.

De samplefrequentie is ook belangrijk voor de nauwkeurigheid - levert de door u gekozen sensor gegevens vaak genoeg om aan uw behoeften te voldoen? Dit is natuurlijk afhankelijk van de toepassing:een paar metingen per seconde kunnen bijvoorbeeld voldoende zijn voor een eenvoudige stappenteller, maar voor de meeste toepassingen wordt 100 Hz tot 400 Hz aanbevolen. Er kunnen echter samplefrequenties van 1 kHz of hoger nodig zijn voor nauwkeurige head-tracking in XR-toepassingen (XR is een verzamelnaam voor Virtual, Mixed en Augmented Reality). Een snelle samplefrequentie is ook belangrijk om een ​​lage latentie te bereiken, wat in ons head-tracking-voorbeeld het verschil is tussen een meeslepende VR-ervaring en bewegingsziekte!

We moeten ook rekening houden met kalibratie. Veel sensoren worden geleverd 'zoals ze zijn' met weinig meer dan wat op de datasheet staat om te overwegen. Elke vorm van kalibratie die kan worden uitgevoerd, zal helpen om consistente prestaties tussen verschillende individuele sensoren te maximaliseren. Fabriekskalibratie kan een krachtige manier zijn om individuele prestaties te verbeteren, maar is relatief duur. Dynamische kalibratie in het veld is een andere optie die een gedetailleerd begrip van de sensoren zelf vereist, of in ieder geval van uw toepassing. Sensoren ervaren vooringenomenheid die, wanneer ze niet worden verklaard, een negatieve invloed kan hebben op de algehele output tot een punt dat bestaande fouten verergert.

Ten slotte moeten we nadenken over hoe we de sensorgegevens kunnen verifiëren die we hebben verkregen en samengevoegd. Hoewel dit afhangt van wat we volgen, is het basisprincipe het gebruik van een andere, onafhankelijke informatiebron om ons een waarheid te geven waaraan we onze output kunnen toetsen. Een robotarm zou bijvoorbeeld herhaaldelijk heel precies naar een bekend punt kunnen worden bewogen, en dan kunnen we kijken of onze sensoren ons dezelfde positiegegevens geven. Wanneer we een fout detecteren, is het misschien mogelijk om deze te compenseren met een berekening, of het moet mogelijk worden gemarkeerd als een fout die verdere aandacht behoeft.

Nieuwe functies inschakelen

Als we eenmaal de mogelijkheid hebben om beweging met hoge nauwkeurigheid te meten, helpt het niet alleen met bestaande toepassingen - het kan de mogelijkheid openen voor nieuwe mogelijkheden in draagbare apparaten. Met hearables (Figuur 2) zijn conventionele gebruikersinterfaces bijvoorbeeld problematisch:gebruikers willen niet vastbesloten zijn om hun telefoon te pakken om ze te bedienen, en de hearables zelf zijn te klein om handige knoppen te hebben. In plaats daarvan kunnen tikken op de hearables worden gebruikt om een ​​nummer over te slaan, en het detecteren van de beweging om ze uit je oren te halen, kan worden gebruikt om alle audio te dempen - omdat dit waarschijnlijk is wanneer je wilt dat het geluid toch stopt. Het gebruik van beweging en 'classifiers', algoritmen om verschillende bewegingen te identificeren, leidt tot een handiger en intuïtievere gebruikerservaring.

Figuur 2:Hearables (Bron:CEVA)

Nauwkeurige informatie van bewegingssensoren kan ook betekenen dat uw draagbare apparaat meer idee heeft van wat er om u heen gebeurt, of welke activiteit u uitvoert. Dit staat bekend als contextbewustzijn en kan worden gebruikt om een ​​meer meeslepende ervaring te bieden, zoals zoals het verminderen van het volume van je muziek wanneer een hoorbaar detecteert dat je naar een zebrapad bent gelopen om je de sirene van een nabijgelegen ambulance te laten horen.

Voor fitness-trackingtoepassingen kan verhoogde precisie onderscheid maken tussen verschillende gebruikersactiviteiten. Als uw stappenteller bijvoorbeeld de grootte, snelheid of andere kenmerken van uw bewegingen kan meten, kan het bepalen of u gewoon normaal loopt, of misschien trappen beklimt of afdaalt. In combinatie met andere sensorgegevens, zoals luchtdruk en van GPS afgeleide locatie, kan software een gedetailleerd beeld van uw bewegingen maken en de verbrande calorieën schatten.

Samenvoegen:sensorfusie en software

Zoals we hebben besproken, is het niet voldoende om simpelweg een onbewerkte datafeed te produceren om de nauwkeurigheid en bruikbaarheid van bewegingsgegevens te maximaliseren. Apparaten moeten de gegevens verwerken, systematische onnauwkeurigheden compenseren en informatie van meerdere sensoren combineren.

Hier komt veel bij kijken. Sensorfusie is ingewikkeld en vereist een zekere knowhow om de beste resultaten in een klein pakket te bereiken. Er zijn echter verschillende producten beschikbaar die de vereiste sensoren en verwerking integreren - bijvoorbeeld de BNO080/085, ontwikkeld door een samenwerking tussen Bosch en CEVA Hillcrest Labs, bevat een hoogwaardige accelerometer, magnetometer en gyroscoop, evenals een lage -power 32-bit ARM Cortex M0+ MCU.

De MotionEngine™-sensorhub-software van Hillcrest Labs, die voorgeprogrammeerd is op de BNO085, biedt 6-assige en 9-assige bewegingsregistratie, evenals intelligente functies zoals het classificeren van gebruikersactiviteiten zoals lopen, rennen en staan ​​(Figuur 3). De MotionEngine-sensorhub is compatibel met de toonaangevende embedded processing-architecturen en besturingssystemen, met gespecialiseerde versies beschikbaar voor hearables, smart TV, robotica, mobiel computergebruik, afstandsbedieningen, energiezuinige mobiele applicaties en meer.

klik voor afbeelding op volledige grootte

Figuur 3:Uitgebreide sensorfusie en algoritmen (bron:CEVA)

Het kan een uitdaging zijn om al deze gegevens in realtime samen te brengen en vereist een niet-triviale hoeveelheid verwerkingsprestaties. Het is misschien het beste om geïntegreerde sensoren te kiezen die sommige van deze algoritmen uitvoeren op een MCU-kern in het sensorapparaat zelf, in plaats van een hoofdtoepassingsprocessor te vereisen om deze taken op zich te nemen. Met name voor 'altijd aan'-taken zoals het tellen van stappen, als we kunnen voorkomen dat de hoofdprocessor elke keer dat een beweging wordt gedetecteerd, uit de slaapstand wordt gehaald, kan deze in de slaapstand blijven - waardoor het algehele stroomverbruik wordt verminderd en de levensduur van de batterij wordt verlengd. Om terug te keren naar onze eerdere analogie:een SiP die zich richt op sensorfusie is als een vice-president die bepaalde beslissingen neemt, zodat de president, de hoofdprocessor, zich kan concentreren op meer directe taken.

Conclusies

Bewegingssensoren spelen een belangrijke rol in veel toepassingen, maar het is niet altijd duidelijk hoe u het juiste apparaat kiest en hoe u de nauwkeurigheid bereikt die nodig is voor uw toepassing - of zelfs hoe nauwkeurig u moet zijn. Verschillende gebruiksscenario's vereisen verschillende niveaus van precisie en hebben verschillende vereisten voor het soort gegevens dat nodig is.

Geïntegreerde sensoren en sensorfusie kunnen vaak een oplossing bieden voor dit probleem. Door met een geschikte leverancier samen te werken, kunt u ervoor zorgen dat u geen compromissen sluit bij het verkrijgen van nauwkeurige, betrouwbare gegevens en functies met toegevoegde waarde voor specifieke toepassingen, terwijl u de kosten en het stroomverbruik tot een minimum beperkt.