Le système utilise des caméras de smartphone ou d'ordinateur pour mesurer la santé

La télésanté est devenue un moyen essentiel pour les médecins de continuer à fournir des soins de santé tout en minimisant les contacts en personne pendant la COVID-19. Mais avec les rendez-vous téléphoniques ou en ligne, il est plus difficile pour les médecins d'obtenir les signes vitaux importants d'un patient, tels que son pouls ou sa fréquence respiratoire, en temps réel.

Une méthode utilise la caméra sur le smartphone ou l'ordinateur d'une personne pour prendre son pouls et son signal respiratoire à partir d'une vidéo en temps réel de son visage. Pour que l'apprentissage automatique soit utile dans la télédétection de la santé, le système doit identifier la région d'intérêt dans une vidéo qui contient la source d'informations physiologiques la plus puissante, telle que le pouls, puis la mesurer au fil du temps. Étant donné que chaque personne est différente, le système doit s'adapter rapidement à la signature physiologique unique de chaque personne et la séparer des autres variations telles que son apparence et l'environnement dans lequel elle se trouve.

Le système de l'équipe préserve la confidentialité - il fonctionne sur l'appareil plutôt que dans le cloud - et utilise l'apprentissage automatique pour capturer les changements subtils dans la façon dont la lumière se reflète sur le visage d'une personne, ce qui est corrélé à l'évolution du flux sanguin. Ensuite, il convertit ces changements en fréquence cardiaque et respiratoire.

La première version de ce système a été entraînée avec un ensemble de données contenant à la fois des vidéos de visages de personnes et des informations de «vérité terrain»:le pouls et la fréquence respiratoire de chaque personne mesurés par des instruments standard sur le terrain. Le système a ensuite utilisé les informations spatiales et temporelles des vidéos pour calculer les deux signes vitaux. Il a surpassé les systèmes d'apprentissage automatique similaires sur des vidéos où les sujets bougeaient et parlaient. Mais alors que le système fonctionnait bien sur certains ensembles de données, il avait encore du mal avec d'autres qui contenaient des personnes, des arrière-plans et un éclairage différents - un problème courant connu sous le nom de "surajustement".

Les chercheurs ont amélioré le système en lui faisant produire un modèle d'apprentissage automatique personnalisé pour chaque individu. Plus précisément, il aide à rechercher des zones importantes dans une image vidéo qui contiennent probablement des caractéristiques physiologiques corrélées à l'évolution du flux sanguin dans un visage dans différents contextes tels que différents tons de peau, conditions d'éclairage et environnements. À partir de là, il peut se concentrer sur cette zone et mesurer le pouls et la fréquence respiratoire.

Bien que ce nouveau système surpasse son prédécesseur lorsqu'il reçoit des ensembles de données plus difficiles, en particulier pour les personnes à la peau plus foncée, il reste encore du travail à faire. Il y a toujours une tendance à des performances inférieures lorsque le type de peau du sujet est plus foncé, en partie parce que la lumière se reflète différemment sur une peau plus foncée, ce qui entraîne un signal plus faible pour l'appareil photo à capter.

Toute capacité à détecter le pouls ou la fréquence respiratoire à distance offre de nouvelles opportunités pour les soins aux patients à distance et la télémédecine. Cela peut inclure les soins personnels, les soins de suivi ou le triage, en particulier lorsqu'une personne n'a pas facilement accès à une clinique.