Realtime gezondheidsmonitoring met smartphone en computer camera's

Telehealth is een kritieke manier geworden voor dokters om nog steeds gezondheidszorg te leveren terwijl persoonlijk contact geminimaliseerd wordt tijdens COVID-19. Maar met telefoon of online afspraken, is het lastiger voor dokters om belangrijke vitale tekens van een patiënt te krijgen, zoals hun pols of ademhalingsfrequentie, in realtime.

Een methode gebruikt de camera op een persoon's smartphone of computer om hun pols en ademhalingssignaal te nemen van een realtime video van hun gezicht. Voor machine learning om nuttig te zijn in remote gezondheidszensing, moet het systeem de regio van belang in een video identificeren die de sterkste bron van fysiologische informatie bevat — zoals pols — en die dan over tijd meten. Aangezien iedere persoon anders is, moet het systeem snel aanpassen aan elk persoon's unieke fysiologische handtekening en deze scheiden van andere variaties zoals hoe ze eruitzien en in welke omgeving ze zijn.

Het systeem van het team is privacy beschermend — het draait op het apparaat in plaats van in de cloud — en gebruikt machine learning om subtiele veranderingen vast te leggen in hoe licht reflecteert van een persoon's gezicht, wat gecorreleerd is met veranderende bloedstroom. Dan converteert het deze veranderingen in zowel pols als ademhalingsfrequentie.

De eerste versie van dit systeem was getraind met een dataset die zowel video's van mensen's gezichten als "ground truth" informatie bevatte: elk persoon's pols en ademhalingsfrequentie gemeten door standaard instrumenten in het veld. Het systeem gebruikte dan ruimtelijke en temporale informatie uit de video's om beide vitale tekens te berekenen. Het presteerde beter dan vergelijkbare machine learning systemen op video's waar proefpersonen bewogen en praatten. Maar hoewel het systeem goed werkte op sommige datasets, worstelde het nog met andere die verschillende mensen, achtergronden, en verlichting bevatten — een veelvoorkomend probleem bekend als "overfitting."

De onderzoekers verbeterden het systeem door het een gepersonaliseerd machine learning model voor elk individu te laten produceren. Specifiek, het helpt zoeken naar belangrijke gebieden in een video frame die waarschijnlijk fysiologische kenmerken bevatten gecorreleerd met veranderende bloedstroom in een gezicht onder verschillende contexten zoals verschillende huidskleuren, verlichtingscondities, en omgevingen. Vanaf daar kan het zich op dat gebied richten en de pols en ademhalingsfrequentie meten.

Hoewel dit nieuwe systeem zijn voorganger outpresteert wanneer gegeven meer uitdagende datasets, met name voor mensen met donkerdere huidskleuren, is er nog meer werk te doen. Er is nog steeds een trend naar inferieure prestaties wanneer het proefpersoon's huidtype donkerder is, deels omdat licht anders reflecteert van donkerdere huid, wat resulteert in een zwakkere signaal voor de camera op te pikken.

Elke capaciteit om pols of ademhalingsfrequentie remote te voelen biedt nieuwe kansen voor remote patiëntenzorg en telemedicine. Dit kan zelfzorg, opvolgzorg, of triage omvatten, met name wanneer iemand geen gemakkelijke toegang heeft tot een kliniek.