Détection 3D temps réel par robot améliore la sécurité des soldats via réalité augmentée

Même de petits changements dans l'environnement d'un soldat pourraient indiquer un danger. Maintenant, un robot peut détecter ces changements et un avertissement pourrait alerter immédiatement le soldat via un affichage dans ses lunettes. Des chercheurs ont démontré en environnement réel la première équipe homme-robot où le robot détecte des changements physiques en 3D et partage cette information avec un humain en temps réel via la réalité augmentée. L'humain peut alors évaluer l'information reçue et décider de l'action à suivre.

Le travail a été fait pour fournir une conscience contextuelle aux plateformes robotiques terrestres autonomes dans des scénarios de manœuvre et de mobilité. La plupart des recherches universitaires sur l'utilisation d'interfaces de réalité mixte pour le travail d'équipe homme-robot n'entrent pas dans des environnements réels mais utilisent plutôt une instrumentation externe en laboratoire pour gérer les calculs nécessaires au partage d'information entre un humain et un robot. De même, la plupart des efforts d'ingénierie pour fournir aux humains des interfaces de réalité mixte n'examinent pas le travail d'équipe avec des robots mobiles autonomes.

La nouvelle recherche a associé un petit robot mobile terrestre autonome, équipé de capteurs de télémétrie laser connus sous le nom de LiDAR, pour construire une représentation de l'environnement avec un coéquipier humain portant des lunettes de réalité augmentée. Alors que le robot patrouillait l'environnement, il comparait ses relevés actuels et précédents pour détecter les changements dans l'environnement. Ces changements étaient alors instantanément affichés dans les lunettes de l'humain pour déterminer si l'humain pouvait interpréter les changements dans l'environnement.

En étudiant la communication entre l'équipe robot-humain, les chercheurs ont testé différents capteurs LiDAR de résolution sur le robot pour collecter des mesures de l'environnement et détecter les changements. Lorsque ces changements étaient partagés via la réalité augmentée à l'humain, les chercheurs ont découvert que les coéquipiers humains pouvaient interpréter les changements que même les LiDARs de résolution inférieure détectaient. Cela indique que, selon la taille des changements attendus, des capteurs plus légers, plus petits et moins chers pourraient fonctionner tout aussi bien et s'exécuter plus rapidement.

De futures études continueront d'explorer comment renforcer le travail d'équipe entre humains et agents autonomes en permettant à l'humain d'interagir avec les changements détectés, ce qui fournira plus d'informations au robot sur le contexte du changement ; par exemple, changements faits par des adversaires versus changements environnementaux naturels ou faux positifs. Cela améliorera la compréhension contextuelle autonome et les capacités de raisonnement de la plateforme robotique, comme permettre au robot d'apprendre et de prédire quels types de changements constituent une menace. En retour, fournir cette compréhension à l'autonomie aidera les chercheurs à améliorer le travail d'équipe des soldats avec des plateformes autonomes.