Oortelefoon die gezichtsuitdrukkingen detecteert zelfs met mondmaskers

Onderzoekers hebben een oortelefoon uitgevonden die continu volledige gezichtsuitdrukkingen kan volgen door de contour van de wangen te observeren — en die dan uitdrukkingen kan vertalen naar emojis of stille spraakcommando's. Met het oor-gemonteerde apparaat (C-Face genoemd) kunnen gebruikers emoties uiten aan online medewerkers zonder camera's voor hun gezichten te hoeven houden — een met name nuttig communicatietool nu zoveel van de wereld betrokken is bij remote werk of leren.

Het apparaat is eenvoudiger, minder opvallend en meer capabel dan bestaande oor-gemonteerde draagbare technologieën voor het volgen van gezichtsuitdrukkingen. In eerdere draagbare technologie die gericht was op het herkennen van gezichtsuitdrukkingen, hadden de meeste oplossingen sensoren op het gezicht nodig; zelfs met zoveel instrumentatie, konden ze slechts een beperkte set discrete gezichtsuitdrukkingen herkennen.

Met C-Face kunnen avatar's in virtuele realiteit omgevingen uiten hoe hun gebruikers zich eigenlijk voelen en instructeurs waardevolle informatie krijgen over studentenbetrokkenheid tijdens online lessen. Het kan ook gebruikt worden om een computersysteem te sturen, zoals een muziekspeler, met alleen gezichtscues. Omdat het werkt door spierbeweging te detecteren, kan C-Face gezichtsuitdrukkingen vastleggen zelfs wanneer gebruikers mondmaskers dragen.

Het apparaat bestaat uit twee miniatuur RGB camera's — digitale camera's die rode, groene en blauwe banden van licht vastleggen — gepositioneerd onder elk oor met hoofdtelefoons of oorstekers. De camera's registreren veranderingen in gezichtscontouren veroorzaakt wanneer gezichtsspieren bewegen. Bij het uitvoeren van een gezichtsuitdrukking, rekken en contracteren gezichtsspieren, duwen en trekken de huid en beïnvloeden de spanning van nabijgelegen gezichtsspieren. Dit effect zorgt ervoor dat de contour van de wangen (contouren) verandert vanuit het standpunt van het oor.

Eenmaal de beelden vastgelegd, worden ze gereconstrueerd met behulp van computer vision en een deep learning model. Aangezien de ruwe data in 2D is, helpt een convolutioneel neuronaal netwerk — een soort kunstmatige intelligentie model dat goed is in classificeren, detecteren en ophalen van beelden — de contouren te reconstrueren tot uitdrukkingen. Het model vertaalt de beelden van wangen naar 42 gezichtskenmerkpunten, of landmarks, die de vormen en posities van de mond, ogen en wenkbrauwen vertegenwoordigen, aangezien die kenmerken het meest beïnvloed worden door veranderingen in expressie.

Vanwege beperkingen veroorzaakt door de COVID-19 pandemie, konden de onderzoekers het apparaat alleen testen op negen deelnemers. Ze vergelijken de prestaties met een state-of-the-art computer vision bibliotheek, die gezichtslandmarks extraheert uit het beeld van een vol gezicht vastgelegd frontale camera's. De gemiddelde fout van de gereconstrueerde landmarks was minder dan 0,8 mm.

Deze gereconstrueerde gezichtsuitdrukkingen vertegenwoordigd door 42 kenmerkpunten kunnen ook vertaald worden naar acht emojis inclusief „natuurlijk” en „boos” alsook acht stille spraakcommando's ontworpen om een muziekapparaat te besturen zoals „play,” „volgend nummer,” en „volume omhoog.”

De mogelijkheid om apparaten te sturen met gezichtsuitdrukkingen kan nuttig zijn voor het werken in gedeelde werkruimtes, bijvoorbeeld, waar mensen anderen niet willen storen door luid te spreken. Het vertalen van uitdrukkingen naar emojis kan helpen diegenen in virtuele realiteit collaboraties om naadlozer te communiceren.

Een beperking van C-Face is de beperkte batterijcapaciteit van de oorstekers. Als volgende stap plannet het team te werken aan een sensing technologie die minder stroom verbruikt.