Q&A :Team of Robots Maps Composition d'un environnement

Le Dr David Lary de l'Université du Texas à Dallas dirige un groupe de recherche qui a développé une équipe de dispositifs robotiques autonomes qui peuvent être utilisés sur des sites dangereux ou difficiles d'accès pour effectuer des enquêtes et collecter des données - fournissant des informations plus nombreuses et plus rapides. que les êtres humains sont capables de fournir.

Fiches techniques : Qu'est-ce qui vous a incité à utiliser plusieurs appareils autonomes pour collecter des ensembles holistiques de données environnementales ?

Dr. David Lary : Eh bien, il y a deux parties dans ce voyage. Le premier est la passion qui m'anime. Je souhaite profondément avoir une détection holistique complète pour garder les gens hors de danger afin qu'il puisse y avoir les informations exploitables appropriées pour prendre des décisions en temps opportun. C'est ma motivation, mais le voyage réel pour moi jusqu'à ce point a commencé il y a quelques années, enfin, il y a près de 30 ans.

Quand j'ai fait mon doctorat à Cambridge, la personne qui était vraiment proche, qui a découvert le trou dans la couche d'ozone, était un type appelé Joe Farman. Ainsi, pour mon doctorat, j'ai développé le premier modèle global en 3 dimensions pour l'appauvrissement de la couche d'ozone. Il s'agissait d'un module chimique qui était un plug-in du modèle global utilisé par le Centre européen de prévision météorologique à moyen terme. Avec mon plug-in, je pouvais faire des simulations globales pour la chimie liée à l'ozone. Et donc, la question évidente que je voulais poser était :quelle est la qualité de ce modèle ? Afin de le vérifier, j'ai dû rassembler autant de sources de données que possible :satellites, avions, capteurs au sol et ballons. L'un des

Les choses pernicieuses auxquelles j'ai dû faire face étaient les biais inter-instruments. Donc, je cherchais un moyen d'aider à faire face à ces préjugés. Même si c'était il y a 30 ans, je suis tombé par hasard sur l'apprentissage automatique. C'était avant qu'il n'atteigne l'adoption massive qu'il a aujourd'hui, et j'ai trouvé qu'il faisait un très bon travail. Cela m'a amené à chercher ce que nous pouvions en faire d'autre. En cours de route, nous avons été les premiers à développer l'assimilation de données chimiques, qui est maintenant utilisée par des agences du monde entier dans le cadre de leurs systèmes de prévision de la qualité de l'air.

L'une des choses que nous faisons dans l'assimilation de données est de prêter beaucoup d'attention aux incertitudes. Une partie de mon travail à la NASA consistait à créer des produits mondiaux de données de télédétection. La façon dont cela fonctionne est que vous utilisez les informations de télédétection pour créer un produit de données, disons sur la composition de l'atmosphère ou la surface terrestre ou la composition sous-marine, disons pour les océans mondiaux. Vous obtenez les données de télédétection du satellite et vous les comparez à la vérité terrain in situ. Généralement, la collecte des données de formation pour ce faire peut prendre jusqu'à une dizaine d'années. C'est toute une tâche, car vous voulez pouvoir échantillonner autant de conditions et de contextes différents que vous êtes susceptible de rencontrer à l'échelle mondiale.

Notre équipe robotique autonome, en environ 15 minutes, a collecté le même volume de données que celui généralement utilisé pour créer ces produits de données de télédétection par satellite, mais pour un seul emplacement. Ainsi, il pourrait entrer dans un nouvel environnement, un environnement qu'il n'a jamais vu auparavant et faire rapidement des observations coordonnées avec précision. Dans ce cas, l'équipe était un bateau et un véhicule aérien. Nous avons choisi le bateau car c'est un peu plus difficile qu'une mesure au sol en raison des problèmes d'accès.

Ce type de paradigme est utile non seulement pour aider à créer rapidement de nouveaux produits, mais aussi pour l'étalonnage et la validation des observations satellitaires, il est également utile pour aider à garder les gens hors de danger. Si vous avez un environnement très contaminé, ou un environnement dans lequel il y a des menaces pour les humains qui y pénètrent, l'équipe du robot peut s'y rendre et collecter de manière coordonnée les données appropriées.

L'étude dans notre article a utilisé un véhicule aérien avec un imageur hyperspectral qui collecte très rapidement un énorme volume de données. Ainsi, même nos canaux de données les plus rapides actuellement, peut-être la communication cellulaire 5G, ne sont pas assez rapides pour gérer la bande passante requise pour la diffusion d'images hyperspectrales. Nous résolvons ce problème avec un traitement embarqué qui nous permet de créer ces produits de données à la volée, en utilisant l'apprentissage automatique embarqué, puis de les diffuser en continu. Les produits de données finaux, disons l'abondance d'un contaminant, sont une quantité beaucoup plus petite de données que nous pouvons facilement diffuser en temps réel.

Donc, c'est vraiment la capacité de rassembler rapidement des données complètes qui pourraient être utilisées pour protéger les gens, pour caractériser les écosystèmes, faire partie d'une activité d'intervention d'urgence, par exemple après un ouragan qui a provoqué l'inondation d'un quartier près d'une usine chimique , ou un certain nombre d'applications de ce type :proliférations d'algues nuisibles, déversements d'hydrocarbures ou diverses applications agricoles.

Il est conçu pour être un ensemble flexible de composants. Tout comme maintenant, nous avons l'habitude d'avoir une boutique d'applications sur notre téléphone, ou les voitures Tesla ayant des mises à jour en direct - ce sont des capteurs définis par logiciel avec leur propre boutique d'applications qui peuvent être mises à jour pour améliorer leurs capacités avec le temps.

Fiches techniques : Vous avez des capteurs volants et des capteurs au sol et vous renvoyez les informations vers où ? Comment tout cela est-il traité ? Où est-il traité ?

Dr. Lary : Considérez cela comme un ensemble de capteurs intelligents. Il y a un ensemble de choses :il y a donc d'abord un capteur défini par logiciel. Le capteur défini par logiciel serait un ensemble de détection intelligent, qui combine le système de détection physique, disons une caméra, une caméra hyperspectrale, une caméra thermique ou un spectromètre de masse. Il peut s'agir de n'importe quel dispositif de détection avec un logiciel/apprentissage automatique enroulé autour de lui, qui fournit ensuite la possibilité de fournir des produits de données calibrés et/ou dérivés. La plupart des capteurs auront besoin d'un étalonnage quelconque.

En couplant le capteur avec un wrapper logiciel/machine learning, nous pouvons effectuer un étalonnage compliqué qui nous permet d'avoir un système beaucoup plus flexible. Ainsi, ce capteur défini par logiciel peut également avoir sa propre boutique d'applications. Un ou plusieurs de ces capteurs définis par logiciel peuvent se trouver sur une plate-forme qui fournit au capteur l'alimentation, l'horodatage et l'emplacement de toutes les données qu'il produit, ainsi que la connectivité de communication et peut-être, le cas échéant, la mobilité.

Fiches techniques : Alors, c'est une plate-forme physique ?

Dr. Lary : Oui — dans cet exemple, nous avions deux plates-formes. Nous avions le véhicule aérien robotique avec la caméra hyperspectrale et la caméra thermique et quelques autres capteurs à bord. Et puis la deuxième plate-forme était le bateau robotique, qui avait toute une suite de capteurs dans l'eau en dessous, y compris un sonar et divers capteurs de composition et au-dessus, une station météo à ultrasons.

Le capteur défini par logiciel et la plate-forme forment une sentinelle. Cette sentinelle est quelque chose qui peut généralement se déplacer, effectuer des mesures, traiter des données et/ou les diffuser.

Plusieurs sentinelles travaillant ensemble peuvent former une équipe de robots qui peuvent coopérer les uns avec les autres pour fournir plus de capacités que n'importe lequel d'entre eux ne peut le faire par lui-même. Dans ce cas, le robot aérien avec ses capteurs coopère avec le robot aquatique - le bateau robotisé et ses capteurs. Puisqu'ils sont sur le même réseau, les robots aériens, de par leur conception, glissent sur le même chemin que le bateau. Le bateau mesure ce qu'il y a dans l'eau, tandis que le robot aérien regarde l'eau d'en haut avec sa caméra hyperspectrale à distance et, à l'aide de l'apprentissage automatique, apprend la cartographie de ce que notre caméra hyperspectrale voit à la composition de l'eau. Une fois qu'il a appris cette cartographie, il peut maintenant survoler rapidement une zone beaucoup plus large et nous fournir, par exemple, une carte de composition à grande échelle de la concentration d'huile, de l'abondance de chlorophylle, du carbone organique dissous ou de tout composant de l'eau que nous ' m'intéresse.

Nous pouvons le faire, n'ayant jamais vu cet environnement auparavant - l'équipe du robot coopère pour collecter ces données d'entraînement. Les données de formation sont utilisées par l'apprentissage automatique pour créer de nouveaux produits de données comme la carte de composition à grande échelle. Une fois que ce modèle a été formé, la détection hyperspectrale peut être effectuée uniquement à partir des mesures aériennes, elle peut être traitée à bord du véhicule aérien, puis les résultats diffusés en temps réel. Normalement, il s'agit d'un volume de données tellement énorme que cela peut prendre un temps considérable pour faire le calcul des chiffres. Étant donné que vous ne pouvez pas le diffuser en temps réel car il est si volumineux, le fait de pouvoir le traiter à la périphérie puis de le diffuser vous offre non seulement une nouvelle capacité, mais réduit également la latence, le délai nécessaire pour pouvoir même faire une telle tâche.

Fiches techniques : C'est comme ce dont ils parlent avec les capteurs pour le traitement des bords afin de réduire la quantité de données que vous devez envoyer.

Dr. Lary : Exactement.

Fiches techniques : Considéreriez-vous que le travail que vous venez de faire est du prototypage ?

Dr. Lary : Oui, nous devons commencer quelque part, c'est donc notre première étape.

Fiches techniques : Comment prévoiriez-vous qu'il soit utilisé dans la pratique :disons qu'il y a une catastrophe et que les autorités veulent utiliser votre système, que feraient-elles ?

Dr. Lary : Ce prototype n'est qu'un exemple d'une vision beaucoup plus globale, c'est la mise en œuvre minimale de ce que pourrait être une équipe multi-robots. Ici, nous avions juste deux robots, l'aérien et le bateau robotisé. Nous avons choisi ces deux parce que, être capable de sentir l'eau a des défis d'accès. Mais cette équipe pourrait facilement avoir beaucoup plus de membres, disons un robot terrestre ou un véhicule amphibie qui pourrait transporter toute l'équipe de robots dans un environnement potentiellement dangereux à déployer à distance.

Il pourrait répondre à un déversement de pétrole comme Deepwater Horizon, où nous avons vu les images des impacts sur la faune, les pêches touchées, etc. – et les déversements de pétrole se produisent tout le temps. Ou il pourrait y avoir des déversements de produits chimiques. Par exemple, lorsque l'ouragan Harvey a frappé Houston, avec son grand nombre d'usines de transformation, il y a eu une forte inondation de ces installations et certains quartiers voisins ont été entourés sur trois côtés par de l'eau contaminée. Les composés organiques volatils dans l'eau ont fini par dégazer, ce qui a causé de graves problèmes respiratoires - les gens ne savaient pas ce qu'ils respiraient, mais ils savaient que cela les affectait. Les travailleurs qui devaient nettoyer étaient également touchés par l'eau contaminée.

Avec notre système de détection, vous sauriez exactement à quoi vous avez affaire afin de pouvoir adapter votre réponse de manière appropriée. Mais cela pourrait tout aussi bien s'appliquer à d'autres cas comme la prolifération d'algues nuisibles. Ou même s'il n'y a pas de catastrophe, ce type de capacité peut être utilisé pour caractériser les écosystèmes et faire des relevés d'infrastructures. Par exemple, les routes, les voies ferrées et les ponts, où les robots autonomes avec leur détection peuvent rapidement prendre des mesures détaillées.

Imaginez maintenant un scénario différent. Disons que vous avez les robots aériens un peu comme nous avions dans cet exemple. Avec le radar hyperspectral, thermique et, par exemple, à ouverture synthétique, qui examine la texture d'une surface, il pourrait être couplé à un robot terrestre doté d'un radar pénétrant dans le sol à la recherche de vides ou d'autres défauts. Qu'il s'agisse d'un tunnel ou d'une route, des cavités se forment avec l'usage et les intempéries. Il existe également de nombreux scénarios différents que vous pourriez utiliser pour l'agriculture. Il est conçu pour être une détection complète, qui, comme les blocs Lego, peut être utilisée ensemble, comme plug and play. Vous seriez rapidement en mesure de les utiliser pour toute une variété de cas d'utilisation réels, où des décisions basées sur des données en temps réel conduisent à plus de transparence, gardant les gens hors de danger.

Fiches techniques : Si quelqu'un veut utiliser ce système, aurait-il besoin d'avoir des robots et des drones sur mesure, ou auriez-vous un package que vous pourriez monter sur un appareil existant ? Comment envisagez-vous que cela devienne pratique ?

Dr. Lary : J'ai dû lutter pendant de nombreuses années pour que les choses fonctionnent ensemble. C'est une chose d'acheter l'équipement, c'en est une autre que les composants fonctionnent ensemble. Tout ce que nous avons acheté était prêt à l'emploi, car nos efforts ont porté, faute d'un meilleur mot, sur l'intelligence, comme l'intégration logicielle.

Cela dit, une étape clé pour ces capteurs conçus par logiciel pour lesquels nous utilisons l'apprentissage automatique consiste à calibrer par rapport à une référence ou à apprendre à la volée. Nous utilisons le même type d'idée pour la qualité de l'air et distribuons des capteurs à faible coût dans les villes qui ont été calibrés par rapport à des capteurs de référence très coûteux. Nous pouvons déployer des capteurs à l'échelle d'un quartier, ce qui aurait été auparavant d'un coût prohibitif.

En étant capable de calibrer les capteurs à faible coût par rapport à une référence de la même manière que dans cette équipe de robots, nous avons calibré les mesures hyperspectrales effectuées par la capacité de télédétection par rapport à la composition in situ, dans ce cas de l'eau, et vous pouvez réaliser des choses qui autrement seraient très, très difficiles.

C'est vraiment le réseau de capteurs, le réseau de sentinelles autonomes travaillant ensemble en coopération à l'aide de l'apprentissage automatique, qui vous permet de faire bien plus que n'importe lequel de ces composants ne pourrait le faire par lui-même.

Fiches techniques : Prévoyez-vous que cela soit commercialisé, construit par des entreprises privées ou voyez-vous le gouvernement s'y impliquer ? Que voyez-vous pour l'avenir ?

Dr. Lary : Mon rêve à l'avenir est d'avoir un magasin où les particuliers, les municipalités ou les entreprises peuvent avoir un accès immédiat à ces types de capacités, et non seulement obtenir les capteurs, mais également les services principaux. Ainsi, lorsque vous branchez et jouez ces éléments ensemble, cela fonctionne simplement et vous n'avez pas à passer par un long développement. La National Science Foundation catégorise cela comme un système cyber-physique. Les systèmes cyber-physiques sont essentiellement des systèmes de détection couplés à des algorithmes pour vous aider à prendre de meilleures décisions en temps opportun.

Donc, mon rêve pour tout cela, et ce vers quoi nous travaillons à plusieurs — et nous accueillons des partenaires de toutes sortes — c'est d'avoir un observatoire social cyber-physique. Il faudrait que ce soit une installation nationale, tout comme un observatoire astronomique avec un télescope géant, car personne d'autre ne peut se permettre de faire quelque chose à cette échelle.

Imaginez maintenant que vous disposez d'un ensemble de capacités de détection avec plusieurs composants, qui dans notre projet, sont des robots aériens et un bateau robotisé. Mais notre système a en fait neuf types de sentinelles pour différents types de situations. Nous pouvons utiliser la télédétection des satellites et des radars météorologiques. Outre les véhicules aériens, nous avons des capteurs au niveau de la rue, diffusant 24 heures sur 24, 7 jours sur 7, la qualité de l'air, l'intensité lumineuse, les rayonnements ionisants, etc. Nous avons des robots marcheurs, des véhicules terrestres électriques et des bateaux robotisés, mais nous avons aussi des capteurs portables.

Nous voulons également être en mesure d'avoir une détection multi-échelles à partir d'une vue d'ensemble globale, à partir d'un satellite. Alors, disons que nous revenons maintenant à l'exemple de l'ouragan Harvey. Bien avant que l'ouragan Harvey ne touche terre, nous pouvions le voir avec les satellites, puis à mesure qu'il se rapprochait de la terre, avec le radar météorologique. Mais dès qu'il touche terre, les détails du micro-environnement deviennent critiques. La hauteur exacte de cours d'eau particuliers pourrait faire une très grande différence pour l'environnement local. Donc, nous voulons avoir des informations à la fois à grande échelle mondiale et à l'échelle hyper-locale parce que vous et moi vivons à cette échelle très localisée. Pour pouvoir détecter simultanément à grande échelle et à l'échelle locale, nous avons vraiment besoin de plusieurs sentinelles.

Mais la détection portable est également très importante. Par exemple, dans certains des travaux parallèles que nous effectuons, vous voyez des gros titres qui disent que la mauvaise qualité de l'air vous rend « stupide ». Mais à quel point le muet est-il muet ? Quels polluants peuvent nous rendre plus bêtes que les autres ? Ainsi, dans l'une de nos études, nous utilisons une détection biométrique complète et mesurons plus de 16 000 paramètres par seconde, ainsi qu'une détection environnementale complète d'environ 2 000 paramètres environnementaux pour voir comment l'état environnemental affecte notre réponse autonome.

Tout cela est conçu à la fois pour être la détection holistique pour garder les gens hors de danger, mais aussi pour trouver cet éléphant invisible dans la pièce qui peut avoir un impact sur notre santé. Une fois que nous réalisons ce que c'est et que nous pouvons le quantifier, il y a normalement un chemin évident de décisions basées sur les données pour améliorer les choses, puis pour prendre les prochaines étapes appropriées pour suivre nos progrès.

C'est vraiment mon rêve — être un catalyseur pour cette détection holistique pour garder les gens hors de danger :la détection au service de la société. Nous avons de nombreux prototypes que nous essayons d'amener au point où ils peuvent être utilisables. Donc, nous accueillons toujours les partenariats pour aider à accélérer cela - des gouvernements, des particuliers, des municipalités locales, des groupes communautaires, des entreprises. Nous travaillons avec tous ces types d'entités.

Fiches techniques : On dirait que vous inventez un tout nouveau type d'infrastructure.

Dr. Lary : Nous essayons... c'est essentiellement motivé par les besoins. Les informations holistiques peuvent faire une si grande différence en nous donnant des informations pour prendre des décisions appropriées. Il ne serait pas trivial de le faire sans l'infrastructure appropriée.

Fiches techniques : Cela semble merveilleux, j'espère juste qu'il pourra être mis en œuvre un jour.

Dr. Lary : Moi aussi moi aussi. Nous avons parcouru un long chemin. Je pense que nous faisons le premier pas.

L'autre élément est en dehors du physique, auquel je n'ai pas eu accès, c'est que vous pouvez avoir des choses comme l'absentéisme scolaire, qui conduit ensuite à de mauvais résultats d'apprentissage. Mais il s'avère souvent que l'absentéisme peut être dû à des choses comme l'asthme. L'asthme est dû à une forte teneur en pollen ou à la pollution de l'air, et c'est en fait une cascade d'effets - le social interagit avec l'environnement. Nous ne voulons pas que ce soit à sens unique. Nous voulons que les déclencheurs des observations soient à la fois ce que nous voyons directement à partir de la détection, mais aussi des problèmes de société tels que des groupes de problèmes de santé ou des proliférations d'algues, qui peuvent supprimer la pêche, ou un déversement de pétrole - c'est une interaction bidirectionnelle.

Disposer d'une plateforme de données capable de rassembler toutes ces couches de paramètres environnementaux avec les couches sociétales telles que les tendances de la mortalité, l'absentéisme, l'incidence du cancer, etc. peut aider à rendre le processus de prise de décision pour aider les individus, tellement plus transparent et efficace.

Fiches techniques : Sur quoi travaillez-vous maintenant? Quelle est votre prochaine étape ?

Dr. Lary : La toute prochaine étape pour cette équipe de robots particulière avec les bateaux et le véhicule aérien serait d'améliorer divers aspects de cette équipe autonome. Et puis on veut l'étendre pour avoir plus de membres dans l'équipe. Par exemple, avoir un véhicule terrestre amphibie qui peut éventuellement transporter à la fois le bateau et le véhicule aérien dans un environnement contaminé, puis les déployer, tout en effectuant lui-même des mesures. Aussi, faire en sorte que les robots fassent partie de la remédiation.

Ce sont les différents composants qui travaillent ensemble. Le même type d'équipe peut également être utilisé pour examiner l'entretien des infrastructures, qu'il s'agisse de routes, de voies ferrées ou de ponts, ainsi que pour d'autres aspects de la qualité de l'environnement — qualité de l'air, qualité de l'eau. Donc, vraiment, cette preuve de concept n'était qu'un prototype pour montrer :"Hé, vraiment, cela peut être fait et maintenant nous aimerions le mettre à l'échelle dans tant d'applications différentes."

En outre, il peut s'agir de prototypes pour des missions satellites. Vous pouvez imaginer un pipeline où vous avez une preuve de concept sur un véhicule aérien. Ensuite, il pourrait passer à d'autres plates-formes comme un CubeSat, par exemple. Cela peut également faire partie du processus de validation, de la collecte de données pour les missions satellites, ainsi que de la collecte de données à l'une des différentes fins que j'ai mentionnées.

Une version modifiée de cette interview a été publiée dans le numéro de juin 2021 de Tech Briefs.