Le robot détecte et partage les modifications en 3D en temps réel

Même de petits changements dans l'environnement d'un soldat pourraient indiquer un danger. Désormais, un robot peut détecter ces changements et un avertissement pourrait immédiatement alerter le soldat via un affichage dans ses lunettes. Les chercheurs ont démontré dans un environnement réel la première équipe homme-robot dans laquelle le robot détecte les changements physiques en 3D et partage ces informations avec un humain en temps réel grâce à la réalité augmentée. L'humain est alors en mesure d'évaluer les informations reçues et de décider des actions de suivi.

Le travail a été effectué pour fournir une prise de conscience contextuelle aux plates-formes terrestres robotiques autonomes dans des scénarios de manœuvre et de mobilité. La plupart des recherches universitaires sur l'utilisation d'interfaces de réalité mixte pour l'association homme-robot ne pénètrent pas dans des environnements réels, mais utilisent plutôt une instrumentation externe dans un laboratoire pour gérer les calculs nécessaires au partage d'informations entre un humain et un robot. De même, la plupart des efforts d'ingénierie visant à fournir aux humains des interfaces de réalité mixte n'examinent pas l'association avec des robots mobiles autonomes.

La nouvelle recherche a associé un petit robot terrestre mobile autonome, équipé de capteurs de télémétrie laser connus sous le nom de LiDAR, pour construire une représentation de l'environnement avec un coéquipier humain portant des lunettes de réalité augmentée. Pendant que le robot patrouillait dans l'environnement, il comparait ses lectures actuelles et précédentes pour détecter les changements dans l'environnement. Ces changements ont ensuite été instantanément affichés dans les lunettes de l'homme pour déterminer si l'homme pouvait interpréter les changements dans l'environnement.

En étudiant la communication entre le robot et l'équipe humaine, les chercheurs ont testé différentes résolutions de capteurs LiDAR sur le robot pour collecter des mesures de l'environnement et détecter les changements. Lorsque ces changements ont été partagés en utilisant la réalité augmentée pour l'humain, les chercheurs ont découvert que les coéquipiers humains pouvaient interpréter les changements que même les LiDAR à plus faible résolution détectaient. Cela indique qu'en fonction de l'ampleur des changements attendus, des capteurs plus légers, plus petits et moins chers pourraient fonctionner aussi bien et fonctionner plus rapidement dans le processus.

Les études futures continueront d'explorer comment renforcer l'association entre les humains et les agents autonomes en permettant à l'humain d'interagir avec les changements détectés, ce qui fournira plus d'informations au robot sur le contexte du changement ; par exemple, les changements apportés par les adversaires par rapport aux changements environnementaux naturels ou aux faux positifs. Cela améliorera la compréhension autonome du contexte et les capacités de raisonnement de la plate-forme robotique, notamment en permettant au robot d'apprendre et de prédire quels types de changements constituent une menace. À son tour, fournir cette compréhension de l'autonomie aidera les chercheurs à apprendre comment améliorer l'association de soldats avec des plates-formes autonomes.