Systeem gebruikt smartphone- of computercamera's om gezondheid te meten

Telehealth is een cruciale manier geworden voor artsen om nog steeds gezondheidszorg te verlenen en persoonlijk contact tijdens COVID-19 tot een minimum te beperken. Maar met telefonische of online afspraken is het voor artsen moeilijker om belangrijke vitale functies van een patiënt, zoals hun hartslag of ademhalingsfrequentie, in realtime te krijgen.

Een methode gebruikt de camera op de smartphone of computer van een persoon om hun hartslag en ademhalingssignaal te nemen van een realtime video van hun gezicht. Om machine learning nuttig te laten zijn bij het detecteren van de gezondheid op afstand, moet het systeem het interessegebied in een video identificeren dat de sterkste bron van fysiologische informatie bevat, zoals hartslag, en dat vervolgens in de loop van de tijd meten. Aangezien elke persoon anders is, moet het systeem zich snel aanpassen aan de unieke fysiologische kenmerken van elke persoon en dit scheiden van andere variaties, zoals hoe ze eruit zien en in welke omgeving ze zich bevinden.

Het systeem van het team beschermt de privacy - het draait op het apparaat in plaats van in de cloud - en maakt gebruik van machine learning om subtiele veranderingen vast te leggen in hoe licht weerkaatst op het gezicht van een persoon, wat gecorreleerd is met veranderende bloedstroom. Vervolgens zet het deze veranderingen om in zowel hartslag als ademhalingsfrequentie.

De eerste versie van dit systeem werd getraind met een dataset die zowel video's van de gezichten van mensen als informatie over de 'grondwaarheid' bevatte:de hartslag en ademhalingsfrequentie van elke persoon gemeten met standaardinstrumenten in het veld. Het systeem gebruikte vervolgens ruimtelijke en temporele informatie uit de video's om beide vitale functies te berekenen. Het presteerde beter dan vergelijkbare machine learning-systemen op video's waarin onderwerpen bewogen en praatten. Maar hoewel het systeem op sommige datasets goed werkte, worstelde het nog steeds met andere met verschillende mensen, achtergronden en belichting - een veelvoorkomend probleem dat bekend staat als 'overfitting'.

De onderzoekers verbeterden het systeem door het voor elk individu een gepersonaliseerd machine learning-model te laten maken. Het helpt met name bij het zoeken naar belangrijke gebieden in een videoframe die waarschijnlijk fysiologische kenmerken bevatten die verband houden met de veranderende bloedstroom in een gezicht onder verschillende contexten, zoals verschillende huidtinten, lichtomstandigheden en omgevingen. Van daaruit kan het zich op dat gebied concentreren en de hartslag en ademhalingsfrequentie meten.

Hoewel dit nieuwe systeem beter presteert dan zijn voorganger met meer uitdagende datasets, vooral voor mensen met een donkere huidskleur, is er nog meer werk aan de winkel. Er is nog steeds een trend naar inferieure prestaties wanneer het huidtype van het onderwerp donkerder is, deels omdat het licht anders weerkaatst op een donkere huid, wat resulteert in een zwakker signaal voor de camera om op te pikken.

Elke mogelijkheid om de hartslag of ademhalingsfrequentie op afstand te detecteren, biedt nieuwe mogelijkheden voor patiëntenzorg op afstand en telegeneeskunde. Dit kan zelfzorg, nazorg of triage zijn, vooral wanneer iemand geen gemakkelijke toegang tot een kliniek heeft.