Les chercheurs développent un outil de technologie de la santé qui peut détecter les signes vitaux du visage d’une personne par vidéo

Une démonstration d’un nouveau système qui utilise des séquences vidéo pour collecter des informations sur le pouls et la fréquence cardiaque. (Photo UW)

Lors d’une conférence internationale sur la santé cette semaine, des scientifiques de l’Université de Washington et de Microsoft Research présenteront virtuellement une nouvelle technologie qui permet aux prestataires médicaux de vérifier à distance le pouls et la fréquence cardiaque d’un patient.

L’outil utilise la caméra sur un smartphone ou un ordinateur pour capturer la vidéo collectée du visage d’une personne. Cette vidéo est analysée pour mesurer les changements de la lumière réfléchie par la peau d’un patient, qui sont corrélés aux changements de volume sanguin et de mouvement causés par la circulation sanguine.

Xin Liu, doctorante à la Paul G. Allen School of Computer Science & Engineering de l’Université de Washington. (Photo UW)

Les chercheurs de l’UW et de Microsoft ont utilisé l’apprentissage automatique et trois ensembles de données de vidéos et de statistiques sur la santé pour entraîner son système. Et comme cela a été le cas pour divers projets d’apprentissage automatique liés à l’image et à la vidéo, la technologie a été moins performante chez des personnes de races différentes. Dans ce cas, le défi est que la peau plus claire est plus réfléchissante, tandis que la peau plus foncée absorbe plus de lumière, et l’outil doit percevoir des changements subtils dans les reflets.

«Chaque personne est différente. Donc, ce système doit être capable de s’adapter rapidement à la signature physiologique unique de chaque personne et de la séparer des autres variations, telles que leur apparence et l’environnement dans lequel elles se trouvent », a déclaré Xin Liu, auteur principal de la recherche et UW. doctorant à la Paul G. Allen School of Computer Science & Engineering.

Les chercheurs ont trouvé une solution au problème: le système oblige l’utilisateur à collecter 18 secondes de vidéo qui calibre l’appareil avant de calculer le pouls et la fréquence cardiaque. La phase d’étalonnage peut s’adapter au teint de la peau, à l’âge du patient (la peau fine et jeune des bébés et des enfants se comporte différemment de la peau âgée d’un utilisateur plus âgé), aux poils du visage, à l’arrière-plan, à l’éclairage et à d’autres facteurs. Les scientifiques s’efforcent toujours d’améliorer les performances, mais la stratégie a considérablement augmenté la précision du système.

L’utilisation de l’étalonnage pour affiner les performances signifie que l’apprentissage automatique peut être mis en œuvre avec des ensembles de données plus petits qui peuvent ne pas être parfaitement représentatifs d’une population.

Daniel McDuff, chercheur principal chez Microsoft Research. (Photo Microsoft)

C’est une bonne nouvelle, a déclaré Daniel McDuff, l’un des co-auteurs et chercheur principal chez Microsoft Research. Des ensembles de données plus petits conduisent à une plus grande préservation de la vie privée car moins de personnes ont besoin de fournir des informations. Il démocratise et rend l’apprentissage automatique accessible à un plus large éventail de développeurs. Cela signifie qu’une entité ne contient pas d’énormes quantités d’informations capturées dans des ensembles de données mondiaux.

“La personnalisation sera toujours nécessaire pour la meilleure performance”, a déclaré McDuff.

Le système protège également les informations privées car il peut être exécuté entièrement sur un téléphone ou un autre appareil, en gardant les données hors du cloud.

La prochaine étape des chercheurs consiste à tester la technologie dans un cadre clinique, qui est en préparation.

Shwetak Patel, professeur à l’école Allen et au département de génie électrique et informatique, était un auteur principal de la recherche UW. Patel travaille depuis de nombreuses années sur une technologie qui transforme les smartphones ordinaires en dispositifs de surveillance de la santé. Il est le co-fondateur de Senosis Health, une spin-off de UW acquise par Google.

D’autres auteurs incluent Ziheng Jiang, un étudiant en doctorat à l’école Allen; Josh Fromm, diplômé de l’UW qui travaille maintenant chez OctoML; et Xuhai Xu, étudiant au doctorat à l’école d’information.

Shwetak PatelShwetak Patel, professeur à la Paul G. Allen School of Computer Science & Engineering et au Département de génie électrique et informatique de l’Université de Washington. (Photo UW)

La recherche a été financée par la Fondation Bill & Melinda Gates, Google et l’UW.

Alors que la santé numérique surfe sur une vague de popularité alimentée par COVID et est alimentée par des millions de dollars de nouveaux investissements, les chercheurs s’efforcent de développer des outils technologiques capables de fournir des soins de santé plus robustes dans des environnements éloignés.

Les développements qui transforment les appareils technologiques ordinaires en outils de soins de santé sont bien opportuns pour répondre à la demande croissante de télésanté. Amazon a annoncé le mois dernier qu’il étendrait son service de santé à distance Amazon Care aux non-employés, d’abord dans l’État de Washington, puis dans tout le pays plus tard cette année. La start-up de télémédecine de Seattle 98point6 a levé 118 millions de dollars en octobre alors que son service d’adhésion se développe rapidement au milieu de la pandémie.

Un groupe distinct de chercheurs UW a révélé le mois dernier une technologie qui utilise des algorithmes d’apprentissage automatique pour transformer des haut-parleurs intelligents en dispositifs médicaux sensibles capables de détecter des battements cardiaques irréguliers.