Van Basis tot Slim: HeadFi Verandert Gewone Hoofdtelefoons in Multifunctionele Gezondheidsmonitors

Hoe HeadFi Gewone Hoofdtelefoons in Slimme Gezondheidssensoren Verandert

Het verschil tussen slimme en gewone hoofdtelefoons ligt in de functionaliteit: slimme modellen gaan verder dan alleen muziek afspelen. Ze kunnen fungeren als fysiologische monitors en virtuele touchscreens. Xiaoran Fan, toen doctoraalkandidaat aan Rutgers University, leidde een onderzoeksteam dat een methode ontwikkelde genaamd HeadFi, die gewone hoofdtelefoons als sensoren gebruikt.

De Oorsprong van het Project

Tech Briefs: Hoe begon dit project?

Xiaoran Fan: Ik ben een audiofiel, dus ik ben al lang geïnteresseerd in hoofdtelefoons. Hoewel eenvoudige hoofdtelefoons worden gebruikt voor studio-mixers en thuisaudio, zien we recent slimme hoofdtelefoons van Apple, Samsung en Microsoft.

We wisten al dat de drivers in hoofdtelefoons in principe vergelijkbaar werken met microfoons – ze zijn wederkerig. Aangezien microfoons signalen kunnen opvangen, kunnen hoofdtelefoons dat standaard ook. Hoewel hoofdtelefoons dus potentieel slim waren, had nog niemand die IQ benut. Dat was de initiële motivatie. Mijn begeleider, Rich Howard, heeft zijn carrière besteed aan kleine-signaalmetingen, en toen ik hem dit idee voorlegde, wees hij me op methoden die ik kon proberen. Na veel experimenteren en verkennen konden we een paper publiceren over ons werk.

Hoe Hoofdtelefoons als Microfoons Functioneren

Tech Briefs: Hoe worden hoofdtelefoons als microfoons gebruikt?

Fan: De driver is complex – het heeft weerstand, capaciteit en inductie, een complex impedantiesysteem. De exacte technologie hangt af van het type hoofdtelefoon, maar eigenlijk zijn ze allemaal transducers die elektrische signalen omzetten in mechanische signalen. Deze transducers kunnen in principe in omgekeerde richting werken. Mechanische trillingen laten het membrane trillen, wat de spooil heen en weer beweegt en elektrische signalen genereert; dus in principe zijn ze wederkerig.

Het probleem is dat hoofdtelefoons geoptimaliseerd zijn voor het afspelen van muziek – het muzieksignaal is dominant. Hoewel je een excitatiesignaal van buitenaf kunt opnemen, kan dat 1000 keer kleiner zijn dan het muzieksignaal. De uitdaging was hoe je een sensorische taak kunt uitvoeren terwijl de hoofdtelefoon nog muziek speelt. Als de gebruiker de muziek moet stoppen voor de sensorfunctie, is het niet nuttig.

We deden iets interessants. Hoofdtelefoons komen in paren, met een linker- en rechterdriver. We maakten gebruik van het feit dat de linker- en rechterdrivers op elkaar afgestemd zijn. De geluidssignalen in beide zijn gebalanceerd. We kunnen daarom het invoersignaal van de linker driver gebruiken om het invoersignaal van de rechter driver te annuleren, omdat we het exacte muzieksignaal kennen dat we voor beide kanalen afspelen. Als er een verschil is tussen de uitgangen van de linker- en rechterdriver, levert aftrekking een verschilsignaal op.

Stel dat ik spreek – beide hoofdtelefoons vangen mijn stem op, maar de stem van mijn mond naar de linker driver en naar de rechter driver propageert via verschillende kanalen. Het fysieke kanaal tussen mijn stem en mijn linkeroor en dat tussen mijn stem en mijn rechteroor zijn niet hetzelfde, omdat mijn botten en weefsels links en rechts anders gestructureerd zijn.

Door aftrekking ontstaat een verschil tussen de linker- en rechterdriver, dat vastgelegd kan worden. Deze aftrekking annuleert de muzieksignalen, maar stelt ons in staat het sensorische verschilsignaal te vangen. We kunnen dat kleine stukje informatie gebruiken om iets te doen.

Toepassingen: Gebruikersidentificatie, Hartslagmonitoring en Gebarenherkenning

Tech Briefs: Kun je uitleggen hoe je hoofdtelefoons kunt gebruiken voor het identificeren van de gebruiker, hartslagmonitoring en gebarenherkenning?

Fan: We presenteerden vier toepassingen in onze paper: gebarenherkenning, hartslagmonitoring, gebruikersidentificatie en – de eenvoudigste – stemcommunicatie.

Neem hartslagmonitoring als voorbeeld. Als je haast hebt, pompt je hart – het produceert een mechanische trilling door je hele lichaam, die de hoofdtelefoons kunnen opvangen.

Net als bij stem, zijn de kanalen van je hart naar de linker- en rechterhoofdtelefoon verschillend. Door het verschilsignaal door ons algoritme te laten lopen, kunnen we de periode van je hartslag bepalen.

Voor gebarenherkenning: als je op de rechter behuizing tikt, ontvangt de rechter driver het tiksignaal, maar de linker een veel zwakkere. Na aftrekking weet je de fase. Als de stijgende flank in de ene richting is, is het de rechter telefoon; in de andere richting is het een tik op de linker.

Er zijn geavanceerdere manieren om een gebaar te definiëren. Het signaal van een krabbeweging is complexer. Dan kun je diepe leer methoden toepassen om het signaalpatroon te leren en het gebaar te identificeren.

De meest interessante toepassing vind ik gebruikersidentificatie. De hoofdtelefoon genereert een 'swipe'-signaal – een frequentieband die omhoog gaat en het signaal in je oor stuurt. Het signaal propageert door je gehoorgang, reflecteert terug, en wordt gevangen door dezelfde driver die het genereerde. Linker- en rechterdriver vangen het signaal en trekken het af. Het interessante is dat ieders gehoorgang een andere structuur heeft – als een vingerafdruk – dus het echo dat de hoofdtelefoons ontvangen verschilt per persoon. Nog interessanter: voor iedereen zijn de linker- en rechtergehoorgangen verschillend, dus na aftrekking ontstaat een verschilsignaal dat ook per persoon uniek is – zelfs tussen een tweeling. We deden experimenten met een tweeling en hadden een succespercentage van meer dan 95%. Dat vind ik een coole toepassing.

Waarom een Hoogfrequent Signaal?

Tech Briefs: Waarom gebruik je een hoogfrequent signaal?

Fan: Omdat het een beetje is als een CT-scan – een ultrasonische CT-scan. We 'vegen' een bereik aan frequenties af omdat onze gehoorgang verschillende structuren heeft die hogere frequenties met betere resolutie kunnen verkennen, om de unieke vorm van een bepaalde gehoorgang te identificeren. We veegen de frequenties om te vinden welke de beste resultaten geeft voor dat oor.

Hoe het Sweep-signaal Gegenereerd Wordt

Tech Briefs: Hoe genereer je het sweep-signaal?

Fan: Een chirp-generator zit in onze software ingebouwd.

We hebben een volledig geautomatiseerd proces in twee stappen. De eerste stap is detecteren of de hoofdtelefoons op je hoofd zitten, daarna start de applicatie.

We gebruiken een slimme truc om te checken of de hoofdtelefoons op je hoofd zitten, gebaseerd op het zeeschelp-effect. Als je op het strand een zeeschelp pakt en dicht bij je oor houdt, hoor je een zeegeluid. Dat komt doordat de zeeschelp en je gehoorgang een half-afgesloten ruimte vormen die resoneren en bepaalde frequenties versterken.

Hetzelfde geldt voor hoofdtelefoons. Als je ze op je oor hebt, is een bepaalde frequentie versterkt en kunnen we detecteren of de hoofdtelefoon op je oor zit door de signaalsterkte bij verschillende frequenties te bekijken. Als de hoofdtelefoon op je hoofd zit, beginnen we een chirp te sturen.

We zijn niet beperkt tot deze vier toepassingen. We kunnen ook stappen tellen en ademhaling monitoren.

Verschil tussen Stappen en Ademhaling

Tech Briefs: Hoe weet je of een invoer van stappen of ademhaling komt?

Fan: De signalen verschillen van elkaar, dus je kunt een diep leer model gebruiken om ze te onderscheiden.

Dit kan ook gebruikt worden voor ouderenzorg. Het kan herkennen als iemand valt, zodat we 112 kunnen bellen. We plannen ook aan dat te werken.

De kern van onze intellectuele bijdrage is dat we een platform presenteerden dat standaard hoofdtelefoons slim maakt, wat een reeks toepassingen mogelijk maakt. Op hoog niveau kan deze technologie een alomtegenwoordige mens/hoofdtelefoon/netwerk-interface mogelijk maken, omdat zoveel bestaande 'domme' hoofdtelefoons ervoor kunnen profiteren.

Platform: Software en Hardware

Tech Briefs: Bedoel je met platform software?

Fan: Het is een software/hardware-oplossing. De hardware is een Wheatstone-brug om de annulering tussen linker- en rechterdriver te doen. Daarna hebben we signaalverwerking nodig voor taken zoals classificatie, inclusief support vector machines of diep leer frameworks. Hoewel het een gecombineerde oplossing is, kan de hardware extreem simpel zijn – zo simpel als twee weerstanden.

Tech Briefs: Heb je een adapter die je insteekt?

Fan: Ja, dat is onze huidige hardware-prototype.

Tech Briefs: En dan moet je een app ontwerpen om op de smartphone te downloaden?

Fan: Ja, de adapter die we nu gebruiken heeft een USB-C-aansluiting, wat tegenwoordig veelvoorkomend is bij hoofdtelefoons en telefoons.

Tech Briefs: Heb je een idee wanneer dit gecommercialiseerd kan worden?

Fan: We gebruiken de commercialisatiewebsite van Rutgers om op zoek te gaan naar een partner en verkennen potentiële partners zoals Apple, Samsung of Microsoft. We ontwikkelen ook verbeterde hardware, omdat onze huidige adapter een open printplaat is. We hebben de printplaat al verkleind tot 3 cm x 2 cm. We streven ernaar het plug-and-play te maken en schrijven Android-software om het gemakkelijk te demonstreren.

Een bewerkte versie van dit interview verscheen in de mei 2021-editie van Tech Briefs.