Comment un essaim de robots cartographie les environnements : Q&A avec le Dr David Lary

Robotique autonome pour la collecte de données environnementales

Le Dr David Lary de l'Université du Texas à Dallas dirige un groupe de recherche ayant développé une équipe de dispositifs robotiques autonomes utilisables sur sites dangereux ou difficiles d'accès pour réaliser des relevés et collecter des données — fournissant des insights plus nombreux et plus rapides que ne le peuvent les humains.

L'inspiration derrière les dispositifs autonomes multiples

Tech Briefs : Qu'est-ce qui vous a inspiré à utiliser plusieurs dispositifs autonomes pour collecter des ensembles de données environnementales holistiques ?

Dr David Lary : Il y a deux aspects à ce parcours. D'abord, la passion qui me motive. Je désire ardemment une détection holistique complète pour maintenir les gens hors de danger afin qu'il y ait des insights actionnables appropriés pour des décisions opportunes. C'est ma motivation, mais le parcours réel vers ce point a commencé il y a quelques années — bien, près de 30 ans.

Lors de mon doctorat à Cambridge, la personne tout près, qui a découvert le trou dans la couche d'ozone, était un certain Joe Farman. Pour mon doctorat, j'ai développé le premier modèle global 3D pour l'appauvrissement de l'ozone. C'était un module chimique greffé au modèle global utilisé par le Centre européen pour les prévisions météorologiques à moyen terme. Avec mon module, je pouvais faire des simulations globales pour la chimie liée à l'ozone. La question évidente était : ce modèle est-il bon ? Pour le vérifier, j'ai dû rassembler un maximum de sources de données : satellites, avions, capteurs au sol, ballons. L'un des problèmes pernicieux était le biais inter-instruments. Je cherchais un moyen d'y remédier. Bien que ce fût il y a 30 ans, j'ai découvert par hasard l'apprentissage automatique, avant son adoption massive actuelle, et j'ai trouvé qu'il faisait un excellent travail. Cela m'a poussé à explorer quoi faire d'autre avec. En chemin, nous fûmes les premiers à développer l'assimilation de données chimiques, maintenant utilisée par les agences mondiales dans leurs systèmes de prévision de la qualité de l'air.

Dans l'assimilation de données, on accorde beaucoup d'attention aux incertitudes. Une partie de mon travail à la NASA consistait à créer des produits de données de télédétection globale. Le fonctionnement : on utilise l'information de télédétection pour créer un produit de données, disons sur la composition de l'atmosphère, de la surface terrestre ou de la composition sous-marine pour les océans globaux. On obtient les données de télédétection du satellite et on les compare à la vérité terrain in-situ. Typiquement, collecter les données d'entraînement pour cela peut prendre jusqu'à une décennie. C'est une tâche ardue car il faut échantillonner autant de conditions et contextes différents qu'on est susceptible de rencontrer globalement.

Notre équipe robotique autonome, en environ 15 minutes, a collecté le même volume de données que celui utilisé typiquement pour créer ces produits de données de télédétection par satellite, bien que pour un seul emplacement. Elle peut entrer dans un nouvel environnement, jamais vu auparavant, et faire rapidement des observations précisément coordonnées. Dans ce cas, l'équipe était un bateau et un véhicule aérien. Nous avons choisi le bateau car c'est plus difficile qu'une mesure au sol à cause des problèmes d'accès.

Ce type de paradigme est utile non seulement pour créer rapidement de nouveaux produits, mais aussi pour l'étalonnage et la validation d'observations satellites, et pour maintenir les gens hors de danger. Si vous avez un environnement très contaminé ou avec des menaces pour les humains qui y entrent, l'équipe robotique peut y aller et collecter les données appropriées de manière coordonnée.

L'étude dans notre article utilisait un véhicule aérien avec un imageur hyperspectral collectant un énorme volume de données très rapidement. Même nos tuyaux de données les plus rapides actuels, peut-être la 5G, ne sont pas assez rapides pour la bande passante requise pour streamer des images hyperspectrales. Nous résolvons ce problème par un traitement embarqué qui crée ces produits de données à la volée, utilisant l'apprentissage automatique embarqué, puis les stream. Les produits finaux, disons l'abondance d'un contaminant, sont une quantité de données bien plus petite qu'on peut facilement streamer en temps réel.

C'est vraiment la capacité à rassembler rapidement des données complètes utilisables pour maintenir les gens hors de danger, caractériser les écosystèmes, faire partie d'une activité de réponse d'urgence — disons après un ouragan ayant causé l'inondation d'un quartier près d'une usine chimique, ou n'importe quelle telle application : blooms d'algues nuisibles, marées noires, ou diverses applications agricoles.

C'est conçu comme un ensemble flexible de composants. Tout comme maintenant nous sommes habitués à avoir un app store sur notre téléphone, ou les voitures Tesla ayant des mises à jour over-the-air — ce sont des capteurs logiciels définis avec leur propre app store pouvant être mis à jour pour améliorer leurs capacités avec le temps.

Traitement et communication des données

Tech Briefs : Vous avez des capteurs volants et au sol et vous renvoyez l'information où ? Comment tout cela est-il traité ? Où est-il traité ?

Dr Lary : Considérez ceci comme un ensemble de capteurs intelligents. Il y a un ensemble de choses : d'abord un capteur logiciel-défini. Ce serait un paquet de détection intelligent, combinant le système de détection physique — disons une caméra, caméra hyperspectrale, caméra thermique, ou spectromètre de masse. Cela peut être n'importe quel dispositif de détection avec du logiciel/apprentissage automatique enveloppé autour, fournissant la capacité de fournir des produits de données calibrés et/ou dérivés. La plupart des capteurs auront besoin d'un étalonnage.

En couplant le capteur avec un wrapper logiciel/apprentissage automatique, nous pouvons faire un étalonnage complexe qui nous donne un système bien plus flexible. Ce capteur logiciel-défini peut aussi avoir son propre app store. Un ou plusieurs de ces capteurs peuvent être sur une plateforme fournissant au capteur l'alimentation, les horodatages et géolocalisation pour toutes les données produites, la connectivité de communication, et la mobilité quand pertinent.

Tech Briefs : C'est donc une plateforme physique ?

Dr Lary : Oui — dans cet exemple nous avions deux plateformes. Le véhicule aérien robotique avec caméra hyperspectrale, caméra thermique et quelques autres capteurs embarqués. Et la deuxième plateforme était le bateau robotique, avec une suite complète de capteurs dans l'eau dessous, dont sonar et divers capteurs de composition, et sur le dessus, une station météo ultrasonique.

Le capteur logiciel-défini plus la plateforme forment une sentinelle. Cette sentinelle peut typiquement se déplacer, faire des mesures, traiter des données et/ou les streamer.

Plusieurs sentinelles travaillant ensemble forment une équipe robotique qui coopère pour fournir plus de capacités qu'aucune ne peut seule. Ici, le robot aérien avec ses capteurs coopère avec le robot aquatique — le bateau robotique et ses capteurs. Comme ils sont sur le même réseau, les robots aériens, par design, glissent sur le même chemin que le bateau. Le bateau mesure ce qui est dans l'eau, tandis que le robot aérien regarde l'eau d'en haut avec sa caméra hyperspectrale distante et, utilisant l'apprentissage automatique, apprend la correspondance entre ce que la caméra voit et la composition de l'eau. Une fois cette correspondance apprise, il peut maintenant survoler rapidement une zone bien plus large et nous fournir, disons, une carte de composition à grande échelle de la concentration en huile, l'abondance de chlorophylle, le carbone organique dissous, ou tout composant de l'eau qui nous intéresse.

Nous pouvons faire cela sans avoir jamais vu cet environnement auparavant — l'équipe robotique coopère pour rassembler ces données d'entraînement. Les données d'entraînement sont utilisées par l'apprentissage automatique pour créer de nouveaux produits de données comme la carte de composition à grande échelle. Une fois le modèle entraîné, la détection hyperspectrale peut se faire juste à partir des mesures aériennes, être traitée à bord du véhicule aérien et les résultats streamés en temps réel. Normalement, un tel volume de données énorme prendrait un temps substantiel pour le calcul. Ne pouvant pas le streamer en temps réel à cause de sa taille, pouvoir le traiter en périphérie à bord et le streamer donne non seulement une nouvelle capacité, mais réduit aussi la latence, le délai pour accomplir une telle tâche.

Tech Briefs : C'est comme ce dont on parle avec les capteurs pour le traitement en périphérie afin de réduire la quantité de données à envoyer.

Dr Lary : Exactement.

Tech Briefs : Considéreriez-vous le travail que vous venez de faire comme du prototypage ?

Dr Lary : Oui, il faut bien commencer quelque part, c'est notre première étape.

Tech Briefs : Comment le verriez-vous utilisé concrètement — disons qu'il y a une catastrophe et les autorités veulent utiliser votre système, que feraient-elles ?

Dr Lary : Ce prototype n'est qu'une instance d'une vision bien plus complète, c'est l'implémentation minimale de ce qui pourrait être une équipe multi-robots. Ici nous n'avions que deux robots, l'aérien et le bateau robotique. Nous les avons choisis car la détection de l'eau pose des défis d'accès. Mais cette équipe pourrait aisément avoir bien plus de membres, disons un robot marcheur au sol, ou un véhicule amphibie pouvant emporter toute l'équipe robotique dans un environnement potentiellement dangereux pour un déploiement à distance.

Ça pourrait répondre à une marée noire comme Deepwater Horizon, où nous avons vu les images d'impacts sur la faune, pêches impactées, etc. — et les marées noires arrivent tout le temps. Ou des déversements chimiques. Par exemple, quand l'ouragan Harvey a frappé Houston, avec son grand nombre d'usines de traitement, il y eut une forte inondation de ces installations et certains quartiers proches furent entourés sur trois côtés par de l'eau contaminée. Les composés organiques volatils dans l'eau finirent par dégazer, causant de graves problèmes respiratoires — les gens ne savaient pas ce qu'ils respiraient, mais savaient que ça les affectait. Les ouvriers allant nettoyer étaient aussi affectés par l'eau contaminée.

Avec notre système de détection, vous sauriez exactement ce avec quoi vous avez affaire pour adapter votre réponse. Mais ça s'applique aussi à d'autres cas comme les blooms d'algues nuisibles. Ou même sans catastrophe, ce type de capacité peut caractériser les écosystèmes et faire des relevés d'infrastructures — routes, railways, ponts, où les robots autonomes avec leur détection peuvent rapidement prendre des mesures détaillées.

Imaginez un autre scénario. Disons que vous avez des robots aériens comme dans cet exemple. Avec l'hyperspectral, le thermique, et disons le radar à synthèse d'ouverture, regardant la texture d'une surface, couplé avec un robot au sol ayant un radar pénétrant le sol cherchant des vides ou autres défauts. Que ce soit un tunnel ou une route, des cavités se forment avec l'usage et l'érosion. Il y a aussi de nombreux scénarios pour l'agriculture. C'est conçu pour être une détection complète, qui comme des briques Lego s'utilisent ensemble, plug-and-play. Vous pourriez les utiliser rapidement pour toute une variété de cas réels, où des décisions data-driven en temps réel mènent à plus de transparence, maintenant les gens hors de danger.

Tech Briefs : Si quelqu'un veut utiliser ce système, aurait-il besoin de robots et drones sur mesure, ou auriez-vous un package montable sur un dispositif existant ? Comment envisagez-vous que cela devienne pratique ?

Dr Lary : J'ai dû lutter pendant des années pour faire fonctionner les choses ensemble. Acheter l'équipement est une chose, faire marcher les composants ensemble en est une autre. Tout ce que nous avons acheté était du commerce, car notre effort est allé dans le, pour dire un mot, le «智能», comme l'intégration logicielle.

Cela dit, une étape clé pour ces capteurs logiciels-définis utilisant l'apprentissage automatique, est de s'étalonner contre une référence ou d'apprendre sur le tas. Nous utilisons le même type d'idée pour la qualité de l'air et le déploiement de capteurs peu coûteux dans les villes étalonnés contre des capteurs de référence très chers. Nous pouvons déployer des capteurs à l'échelle d'un quartier, ce qui était auparavant prohibitif en coûts.

En pouvant étalonner les capteurs peu coûteux contre une référence de la même façon que dans cette équipe robotique, nous avons étalonné les mesures hyperspectrales de la capacité de télédétection contre la composition in-situ, dans ce cas de l'eau, et on peut réaliser des choses autrement très difficiles.

C'est vraiment le réseau de capteurs, le réseau de sentinelles autonomes travaillant ensemble coopérativement avec l'apprentissage automatique, qui permet de faire bien plus que n'importe lequel de ces composants seul.

Tech Briefs : Prévoyez-vous une commercialisation, par des entreprises privées ou le gouvernement ? Qu'envisagez-vous pour l'avenir ?

Dr Lary : Mon rêve pour l'avenir est d'avoir un magasin où individus, municipalités, entreprises, puissent avoir un accès prêt à ces types de capacités, et pas seulement obtenir les capteurs mais aussi les services back-end. Ainsi, quand vous branchez et jouez ces trucs ensemble, ça marche, sans long développement. La National Science Foundation catégorise ceci comme un système cyber-physique. Les systèmes cyber-physiques sont essentiellement des systèmes de détection couplés à des algorithmes pour vous aider à prendre de meilleures décisions opportunes.

Mon rêve pour tout ça, et vers quoi plusieurs d'entre nous travaillent — et nous accueillons des partenaires de tous types — est d'avoir un observatoire cyber-physique social. Ce devrait être une installation nationale comme un observatoire astronomique avec un télescope géant, car personne d'autre ne peut se permettre quelque chose à cette échelle.

Imaginez maintenant un ensemble de capacités de détection avec multiples composants, qui dans notre projet sont robots aériens et bateau robotique. Mais notre système a en fait neuf types de sentinelles pour diverses situations. Nous pouvons utiliser la télédétection par satellites et radars météo. Outre véhicules aériens, nous avons des capteurs au niveau rue, streamant 24/7 qualité de l'air, intensité lumineuse, radiation ionisante, etc. Nous avons des robots marcheurs, véhicules électriques au sol, bateaux robotiques, mais aussi capteurs portables.

Nous voulons aussi une détection multi-échelle depuis la vue globale par satellite. Reprenons l'exemple Harvey. Bien avant qu'il touche terre, on le voyait par satellites, puis en s'approchant, par radar météo. Mais dès qu'il touche terre, les détails micro-environnementaux deviennent critiques. La hauteur exacte de ruisseaux particuliers peut faire une grande différence pour l'environnement local. Nous voulons l'information à la fois à grande échelle globale et hyper-locale car vous et moi vivons à cette échelle très localisée. Pour sentir simultanément les deux échelles, il faut vraiment multiples sentinelles.

Mais la détection portable est aussi très importante. Par exemple, dans certains travaux parallèles, vous voyez des titres disant que la mauvaise qualité de l'air vous rend « bête ». Mais combien bête ? Quels polluants nous rendent plus bêtes ? Dans une de nos études, nous utilisons une détection biométrique complète mesurant plus de 16 000 paramètres par seconde, avec une détection environnementale complète d'environ 2 000 paramètres pour voir comment l'état environnemental affecte notre réponse autonome.

Tout ceci est conçu pour être la détection holistique maintenant les gens hors de danger, mais aussi trouver cet éléphant invisible dans la pièce qui peut impacter notre santé. Une fois qu'on réalise ce que c'est et qu'on peut le quantifier, il y a normalement un chemin évident de décisions data-driven pour améliorer les choses et prendre les prochaines étapes appropriées pour surveiller notre progression.

C'est vraiment mon rêve — être un catalyseur pour cette détection holistique maintenant les gens hors de danger : détection au service de la société. Nous avons de nombreux prototypes que nous essayons d'amener au point d'utilisabilité. Nous accueillons donc toujours les partenariats pour accélérer cela — gouvernements, individus, municipalités locales, groupes communautaires, entreprises. Nous travaillons avec tous ces types d'entités.

Tech Briefs : On dirait que vous inventez un tout nouveau type d'infrastructure.

Dr Lary : Nous essayons — c'est essentiellement piloté par les besoins. L'information holistique peut faire une telle différence en nous donnant l'information pour prendre des décisions appropriées. Ce serait non-trivial de le faire sans l'infrastructure appropriée.

Tech Briefs : Cela sonne merveilleux, j'espère juste que ça pourra être implémenté un jour.

Dr Lary : Moi aussi, moi aussi. Nous avons fait un long chemin. Je pense que nous faisons le premier pas.

L'autre aspect, hors du physique, que je n'ai pas abordé, c'est des choses comme l'absentéisme scolaire, qui mène à de mauvais résultats d'apprentissage. Mais il s'avère souvent que l'absentéisme est dû à des choses comme l'asthme. L'asthme est dû à un pollen élevé ou pollution de l'air, et c'est en fait une cascade d'effets — le social interagit avec l'environnement. Nous ne voulons pas que ce soit à sens unique. Nous voulons que les déclencheurs pour les observations soient à la fois ce qu'on voit de la détection directement, mais aussi des problèmes sociétaux comme des grappes de résultats de santé ou blooms d'algues qui peuvent détruire des pêches, ou une marée noire — c'est une interaction bidirectionnelle.

Avoir une plateforme de données qui rassemble toutes ces couches de paramètres environnementaux avec les couches sociétales comme tendances de mortalité, absentéisme, incidence du cancer, etc. peut rendre le processus de prise de décision pour aider les individus, bien plus transparent et efficace.

Tech Briefs : Sur quoi travaillez-vous maintenant ? Quelle est votre toute prochaine étape ?

Dr Lary : La toute prochaine étape pour cette équipe robotique particulière avec bateaux et véhicule aérien serait d'améliorer divers aspects de cette équipe autonome. Et puis l'étendre pour avoir plus de membres. Par exemple, un véhicule amphibie au sol pouvant emporter à la fois le bateau et le véhicule aérien dans un environnement contaminé, les déployer, tout en faisant ses propres mesures. Aussi, faire que les robots fassent partie de la remédiation.

Ce sont les différents composants travaillant ensemble. La même équipe peut aussi servir pour la maintenance d'infrastructures — routes, rails, ponts — et autres aspects de qualité environnementale — air, eau. Donc vraiment, cette preuve de concept n'était qu'un prototype pour montrer : « Hé, vraiment ça peut se faire et maintenant nous voudrions l'étendre à tant d'applications différentes. »

Cela peut aussi être des prototypes pour missions satellites. Imaginez un pipeline où vous avez une preuve de concept sur un véhicule aérien. Puis transition vers d'autres plateformes comme un CubeSat. Cela peut aussi faire partie du processus de validation, collectant des données pour missions satellites, ainsi que pour tous les différents buts mentionnés.

Une version éditée de cette interview est parue dans le numéro de juin 2021 de Tech Briefs.