Oortelefoon volgt gezichtsuitdrukkingen, zelfs met een gezichtsmasker

Onderzoekers hebben een oortelefoon uitgevonden die continu volledige gezichtsuitdrukkingen kan volgen door de contouren van de wangen te observeren - en die uitdrukkingen vervolgens kan vertalen in emoji's of stille spraakopdrachten. Met het op het oor gemonteerde apparaat (C-Face genaamd) konden gebruikers hun emoties uiten aan online medewerkers zonder camera's voor hun gezicht te houden - een bijzonder handig communicatiemiddel aangezien een groot deel van de wereld zich bezighoudt met werken of leren op afstand.

Het apparaat is eenvoudiger, minder opdringerig en beter in staat dan bestaande op het oor gemonteerde draagbare technologieën voor het volgen van gezichtsuitdrukkingen. In eerdere draagbare technologie gericht op het herkennen van gezichtsuitdrukkingen, waren de meeste oplossingen nodig om sensoren op het gezicht te bevestigen; zelfs met zoveel instrumentatie konden ze maar een beperkt aantal discrete gezichtsuitdrukkingen herkennen.

Met C-Face kunnen avatars in virtual reality-omgevingen uitdrukken hoe hun gebruikers zich werkelijk voelen en kunnen instructeurs waardevolle informatie krijgen over de betrokkenheid van studenten tijdens online lessen. Het kan ook worden gebruikt om een ​​computersysteem, zoals een muziekspeler, aan te sturen met alleen gezichtssignalen. Omdat het werkt door spierbewegingen te detecteren, kan C-Face gezichtsuitdrukkingen vastleggen, zelfs wanneer gebruikers maskers dragen.

Het apparaat bestaat uit twee miniatuur RGB-camera's - digitale camera's die rode, groene en blauwe lichtbanden vastleggen - die onder elk oor zijn geplaatst met een koptelefoon of oortelefoon. De camera's registreren veranderingen in gezichtscontouren die worden veroorzaakt wanneer gezichtsspieren bewegen. Bij het uitvoeren van een gezichtsuitdrukking rekken en trekken de gezichtsspieren zich samen, duwen en trekken ze aan de huid en beïnvloeden ze de spanning van de nabijgelegen gezichtsspieren. Dit effect zorgt ervoor dat de contouren van de wangen (contouren) veranderen vanuit het gezichtspunt van het oor.

Zodra de beelden zijn vastgelegd, worden ze gereconstrueerd met behulp van computervisie en een deep learning-model. Omdat de onbewerkte gegevens in 2D zijn, helpt een convolutief neuraal netwerk - een soort kunstmatige-intelligentiemodel dat goed is in het classificeren, detecteren en ophalen van afbeeldingen - de contouren in uitdrukkingen te reconstrueren. Het model vertaalt de afbeeldingen van wangen naar 42 gezichtskenmerken, of oriëntatiepunten, die de vormen en posities van de mond, ogen en wenkbrauwen vertegenwoordigen, aangezien deze kenmerken het meest worden beïnvloed door veranderingen in uitdrukking.

Vanwege beperkingen veroorzaakt door de COVID-19-pandemie, konden de onderzoekers het apparaat testen op slechts negen deelnemers. Ze vergeleken de prestaties met een ultramoderne computervisiebibliotheek, die gezichtsoriëntatiepunten extraheert uit het beeld van een volledig gezicht dat is vastgelegd door frontale camera's. De gemiddelde fout van de gereconstrueerde oriëntatiepunten was minder dan 0,8 mm.

Deze gereconstrueerde gezichtsuitdrukkingen, vertegenwoordigd door 42 kenmerkende punten, kunnen ook worden vertaald naar acht emoji's, waaronder 'natuurlijk' en 'boos', evenals acht stille spraakopdrachten die zijn ontworpen om een ​​muziekapparaat te bedienen, zoals 'afspelen', 'volgende nummer' en ' volume omhoog.”

De mogelijkheid om apparaten te sturen met gezichtsuitdrukkingen kan bijvoorbeeld handig zijn voor het werken in gedeelde werkruimten, waar mensen anderen misschien niet willen storen door hardop te spreken. Door uitdrukkingen in emoji's te vertalen, kunnen mensen in virtual reality-samenwerkingen naadlooser communiceren.

Een beperking van C-Face is de beperkte batterijcapaciteit van de oortelefoons. Als volgende stap is het team van plan te werken aan een sensortechnologie die minder stroom verbruikt.