Vraag en antwoord:platform converteert hoofdtelefoon van dom naar slim

Het verschil tussen slimme en domme koptelefoons is dat de slimme koptelefoons verder gaan dan het afspelen van muziek - het kunnen fysiologische monitoren en virtuele touchscreens zijn. Xiaoran Fan, promovendus aan de Rutgers University, leidde een team van onderzoekers die een methode ontwikkelden met de naam HeadFi die gewone koptelefoons als sensoren gebruikt.

Tech Briefs: Hoe is dit project begonnen?

Xiaoran-fan: Ik ben een audiofiel, dus ik was geïnteresseerd in koptelefoons. Hoewel eenvoudige, rechttoe rechtaan hoofdtelefoons worden gebruikt voor toepassingen zoals studiomixers en home audio, zien we de laatste tijd slimme hoofdtelefoons van Apple, Samsung en Microsoft.

We hebben altijd geweten dat de stuurprogramma's in hoofdtelefoons in principe op dezelfde manier werken als microfoons, dus in zekere zin zijn ze wederkerig. Omdat microfoons signalen kunnen detecteren, betekent dit dat een koptelefoon dit standaard ook kan. Dus hoewel koptelefoons de potentie hadden om slim te zijn, had nog niemand dat IQ gebruikt. Dat was de eerste stimulans die me in deze richting bracht. Bovendien heeft mijn adviseur, Rich Howard, zijn leven lang kleine signaalmetingen gedaan, dus toen ik met hem over dit idee sprak, wees hij me op enkele methoden die ik zou kunnen proberen. Toen dook ik erin en na veel onderzoek en experimenten konden we een paper over ons werk publiceren.

Tech Briefs: Hoe worden koptelefoons als microfoon gebruikt?

Fan: De driver zelf is ingewikkeld - hij heeft weerstand, capaciteit en inductantie - het is een complex impedantiesysteem. De exacte technologie hangt af van het type hoofdtelefoon dat u heeft, maar in feite zijn het allemaal transducers die elektrische signalen omzetten in mechanische signalen. Deze omzetters kunnen in principe omgekeerd werkend worden gemaakt. Mechanische signalen zouden het diafragma kunnen doen trillen, waardoor de spreekspoel heen en weer zou bewegen om elektrische signalen te genereren; dus in principe zijn ze wederkerig.

Maar het probleem is dat de koptelefoon is geoptimaliseerd voor het afspelen van muziek - het muzieksignaal is dominant. Hoewel je tegelijkertijd een bekrachtigingssignaal van buiten kunt opnemen, kan het 1000 keer kleiner zijn dan het muzieksignaal. De uitdaging was dus hoe je een detectietaak kunt uitvoeren terwijl de hoofdtelefoon nog steeds muziek afspeelt. Als we dat niet kunnen en de gebruiker moet de muziek stoppen om de detectiefunctie te gebruiken, dan is dit niet handig.

Dus we hebben iets heel interessants gedaan. Koptelefoons worden per paar geleverd, met een linker driver en een rechter driver. We hebben geprofiteerd van het feit dat hoofdtelefoons zo zijn gemaakt dat de linker- en rechterdrivers bij elkaar passen. Dat betekent dat de geluidssignalen in de twee gebalanceerd zijn. We kunnen daarom het ingangssignaal van de linker driver gebruiken om het ingangssignaal van de rechter driver te annuleren, omdat we het exacte muzieksignaal weten dat we voor beide kanalen afspelen. Als er daarom een ​​verschil is tussen de uitgangen van de linker- en rechterdriver, zal het aftrekken van de uitgangen een verschilsignaal produceren.

Laten we zeggen dat ik spreek - de twee koptelefoons vangen mijn stem op, maar de stem van mijn mond naar de linker driver en de stem van mijn mond naar de rechter driver verspreidt zich via verschillende kanalen. Het fysieke kanaal tussen mijn stem en mijn linkeroor en dat tussen mijn stem en het rechteroor zijn niet hetzelfde. Dit komt omdat mijn botten en weefsels van links naar rechts anders zijn gestructureerd.

Dus als u een aftrekking doet, is er een verschil tussen linker- en rechterstuurprogramma's, dat kan worden vastgelegd. Deze aftrekking annuleert de muzieksignalen, maar stelt ons in staat om het detectiesignaalverschil vast te leggen. We kunnen dat kleine stukje informatie gebruiken om iets te doen.

Tech Briefs :Kun je me uitleggen hoe je de koptelefoon kunt gebruiken om dingen te meten, zoals het identificeren van de gebruiker; hartslag bewaken; en het herkennen van gebaren.

Ventilator :We hebben in onze paper eigenlijk vier toepassingen gepresenteerd:gebarenherkenning, hartslagmeting, gebruikersidentificatie en ook - de eenvoudigste - spraakcommunicatie.

Neem als voorbeeld hartslagmeting. Als je haast hebt, pompt je hart - het produceert een mechanische vibratie door je hele lichaam, die de koptelefoon kan opvangen.

Maar net als bij spraak zijn de kanalen van je hart naar de linker koptelefoon en naar de rechter koptelefoon anders. Door het verschilsignaal door ons algoritme te laten lopen, kunnen we de periode van je hartslag vinden.

Wat betreft gebarenherkenning, laten we zeggen dat u op de rechterbehuizing van de hoofdtelefoon tikt of deze aanraakt. De rechter driver ontvangt het aanraaksignaal, maar de linker een veel zwakker aanraaksignaal. Nadat je de aftrekking hebt gedaan, weet je de fase. Als de stijgende flank in één richting is, betekent dit dat het de juiste telefoon is. Als de stijgende flank in de andere richting is, is het een aanraking aan de linkerkant.

Maar er zijn andere, meer geavanceerde manieren om een ​​gebaar te definiëren. Het signaal dat door een kras wordt geproduceerd, zal bijvoorbeeld ingewikkelder zijn. In dat geval kunt u enkele diepgaande leermethoden toepassen om het signaalpatroon te leren om het gebaar te identificeren.

Maar ik denk dat de meest interessante toepassing gebruikersidentificatie is. De manier waarop het werkt, is dat de hoofdtelefoon een veegsignaal genereert - een frequentieband omhoog vegen en het signaal naar uw oor sturen. Het signaal plant zich voort door uw gehoorgang, reflecteert terug en wordt opgevangen door dezelfde hoofdtelefoondriver die het heeft gegenereerd. De linker- en rechterdrivers vangen beide het signaal op en doen de aftrekking. Het interessante is dat de gehoorgang van iedereen een andere structuur heeft - het is als een vingerafdruk - dus dat betekent dat de echo die door de koptelefoon wordt ontvangen voor iedereen anders zal zijn. Wat het nog interessanter maakt, is dat voor iedereen de linker en rechter gehoorgang anders zijn, dus als je de aftrekking doet, is er een verschilsignaal. En dat verschil is ook verschillend van persoon tot persoon - zelfs tussen identieke tweelingen. We deden experimenten met identieke tweelingen en we hadden een slagingspercentage van meer dan 95%. Ik vind dat een cool onderdeel van de applicatie.

Tech Briefs :Waarom gebruik je een hoogfrequent signaal?

Ventilator :De reden dat we een hoge frequentie genereren is omdat het een soort CT-scan is - een ultrasone CT-scan. We vegen een reeks frequenties omdat onze gehoorgang verschillende structuren heeft die hogere frequenties kunnen verkennen met een betere resolutie, om de kenmerkende vorm van een bepaalde gehoorgang te identificeren. We vegen de frequenties om degene te vinden die ons de beste resultaten geeft voor dat oor.

Tech Briefs :Hoe genereer je het sweep-signaal?

Ventilator :Een chirp-generator is inbegrepen in onze software.

We hebben een volledig geautomatiseerd proces. Er zijn twee stappen. De eerste stap is om te detecteren of je koptelefoon op je hoofd zit, en dan start je de applicatie.

We gebruiken een interessante truc om te controleren of de koptelefoon op je hoofd zit. Het is gebaseerd op het schelpeffect. Als je op de kust loopt, als je een schelp oppakt en dicht bij je oor klemt, hoor je zoiets als een zeegeluid. Dat komt omdat de zeeschelp en je gehoorgang een semi-afgesloten ruimte vormen die resoneert en een bepaalde frequentie versterkt.

Het is hetzelfde met een koptelefoon. Als je de koptelefoon op je oor hebt, is een bepaalde frequentie versterkt en kunnen we detecteren of de koptelefoon op je oor zit door simpelweg te kijken naar de signaalsterkte op verschillende frequenties. Als de koptelefoon op je hoofd zit, beginnen we een piepje te sturen.

Maar we zijn niet beperkt tot deze vier toepassingen. We kunnen ook metingen doen zoals stappentellingen en ademhalingsmonitoring.

Tech Briefs :Hoe weet je of een input afkomstig is van stappen of van ademhaling?

Ventilator :De signalen zouden van elkaar verschillen, dus je zou een diepgaand leermodel kunnen gebruiken om ze te onderscheiden.

Dit kan ook worden gebruikt voor ouderenzorg. Het kan herkennen of een persoon is gevallen, dus we moeten 112 bellen. We zijn ook van plan daaraan te werken.

De belangrijkste intellectuele bijdrage voor ons project is dat we een platform hebben gepresenteerd dat standaardhoofdtelefoons slim kan maken, wat een scala aan mogelijke toepassingen mogelijk maakt. Op een hoog niveau kan deze technologie een alomtegenwoordige mens/hoofdtelefoon/netwerkinterface mogelijk maken, omdat zoveel bestaande "domme" hoofdtelefoons kunnen profiteren van HeadFi.

Tech Briefs :Als je platform zegt, bedoel je dan software?

Ventilator :Het is een software/hardware-oplossing. De hardware is een Wheatstone-brug om de annulering tussen de linker- en rechterdrivers te doen. Daarna moeten we signaalverwerking doen voor taken zoals classificatie, inclusief ondersteuning voor vectormachine- of deep learning-frameworks. Dus hoewel het een gecombineerde software/hardware-oplossing is, kan de hardware extreem eenvoudig zijn - zo simpel als slechts twee weerstanden.

Tech Briefs :Heeft u een adapter die u aansluit?

Ventilator :Ja, dat is ons huidige prototype van de hardware.

Tech Briefs :En dan zou je een app moeten ontwerpen om te downloaden naar de smartphone?

Ventilator :Ja, de adapter die we momenteel gebruiken heeft een USB Type C-aansluiting, wat op dit moment vrij gebruikelijk is bij koptelefoons en mobiele telefoons.

Tech Briefs :Heeft u een ruw idee van wanneer dit gecommercialiseerd zou kunnen worden?

Ventilator :We gebruiken de Rutgers-website van het commercialisatiecentrum om op dit moment een partner te zoeken en onderzoeken mogelijke partners zoals Apple of Samsung of Microsoft. We ontwikkelen ook geüpgradede hardware, aangezien onze huidige adapter slechts een open printplaat is. Tot nu toe hebben we het bord op dit moment kunnen verkleinen tot 3 cm x 2 cm. We streven ernaar om het plug-and-play te maken en we schrijven ook Android-software om het gemakkelijk te demonstreren te maken.

Een bewerkte versie van dit interview verscheen in de Tech Briefs van mei 2021.