Surveillance santé en temps réel avec caméras smartphone et ordinateur

La télémédecine est devenue un moyen critique pour les médecins de fournir des soins de santé tout en minimisant les contacts en personne pendant la COVID-19. Mais avec des rendez-vous par téléphone ou en ligne, il est plus difficile pour les médecins d'obtenir des signes vitaux importants d'un patient, tels que leur pouls ou leur fréquence respiratoire, en temps réel.

Une méthode utilise la caméra du smartphone ou de l'ordinateur d'une personne pour prendre leur pouls et signal respiratoire à partir d'une vidéo en temps réel de leur visage. Pour que l'apprentissage automatique soit utile dans la détection de santé à distance, le système doit identifier la région d'intérêt dans une vidéo qui contient la source la plus forte d'information physiologique — comme le pouls — et la mesurer au fil du temps. Puisque chaque personne est différente, le système doit s'adapter rapidement à la signature physiologique unique de chaque personne et la séparer d'autres variations telles que leur apparence et leur environnement.

Le système de l'équipe préserve la vie privée — il s'exécute sur l'appareil au lieu du cloud — et utilise l'apprentissage automatique pour capturer des changements subtils dans la façon dont la lumière se reflète sur le visage d'une personne, ce qui est corrélé avec le changement de flux sanguin. Ensuite, il convertit ces changements en pouls et fréquence respiratoire.

La première version de ce système a été entraînée avec un ensemble de données contenant à la fois des vidéos de visages de personnes et des informations « vérité terrain » : le pouls et la fréquence respiratoire de chaque personne mesurés par des instruments standard sur le terrain. Le système a ensuite utilisé des informations spatiales et temporelles des vidéos pour calculer les deux signes vitaux. Il a surpassé des systèmes d'apprentissage automatique similaires sur des vidéos où les sujets bougeaient et parlaient. Mais bien que le système fonctionnait bien sur certains ensembles de données, il avait encore des difficultés avec d'autres qui contenaient différentes personnes, arrière-plans et éclairages — un problème courant connu sous le nom de « surajustement ».

Les chercheurs ont amélioré le système en le faisant produire un modèle d'apprentissage automatique personnalisé pour chaque individu. Plus précisément, cela aide à rechercher des zones importantes dans une image vidéo qui contiennent probablement des caractéristiques physiologiques corrélées avec le changement de flux sanguin dans un visage sous différents contextes tels que différents tons de peau, conditions d'éclairage et environnements. À partir de là, il peut se concentrer sur cette zone et mesurer le pouls et la fréquence respiratoire.

Bien que ce nouveau système surpasse son prédécesseur lorsqu'on lui donne des ensembles de données plus difficiles, en particulier pour les personnes aux tons de peau plus foncés, il reste encore du travail à faire. Il y a encore une tendance vers une performance inférieure lorsque le type de peau du sujet est plus foncé, en partie parce que la lumière se reflète différemment sur une peau plus foncée, résultant en un signal plus faible pour la caméra à capter.

Toute capacité à détecter le pouls ou la fréquence respiratoire à distance offre de nouvelles opportunités pour les soins aux patients à distance et la télémédecine. Cela pourrait inclure l'auto-soin, les soins de suivi, ou le triage, surtout quand quelqu'un n'a pas un accès pratique à une clinique.