Le système d’IA de l’Université Duke offre aux robots une détection semblable à celle d’un humain pour une navigation plus sûre

Université Duke, Durham, Caroline du Nord

WildFusion utilise une combinaison de vue, de toucher, de son et d'équilibre pour aider les robots à quatre pattes à mieux naviguer sur des terrains difficiles comme les forêts denses. (Image :Université Duke)

La richesse des informations fournies par nos sens et qui permettent à notre cerveau de naviguer dans le monde qui nous entoure est remarquable. Le toucher, l'odorat, l'ouïe et un fort sens de l'équilibre sont essentiels pour traverser ce qui nous semble être des environnements faciles, comme une randonnée relaxante un matin de week-end.

Une compréhension innée de la canopée nous aide à déterminer où mène le chemin. Le claquement brusque des branches ou le doux coussin de mousse nous renseignent sur la stabilité de nos pieds. Le tonnerre d'un arbre qui tombe ou des branches dansant sous des vents forts nous avertissent des dangers potentiels à proximité.

Les robots, en revanche, se sont longtemps appuyés uniquement sur des informations visuelles telles que des caméras ou des LiDAR pour se déplacer dans le monde. En dehors d’Hollywood, la navigation multisensorielle est depuis longtemps restée un défi pour les machines. La forêt, avec son magnifique chaos de sous-bois denses, de rondins tombés et de terrain en constante évolution, est un labyrinthe d'incertitude pour les robots traditionnels.

Aujourd'hui, des chercheurs de l'Université Duke ont développé un nouveau cadre nommé WildFusion qui fusionne la vision, les vibrations et le toucher pour permettre aux robots de « détecter » des environnements extérieurs complexes, un peu comme le font les humains.

« WildFusion ouvre un nouveau chapitre dans la navigation robotique et la cartographie 3D », a déclaré Boyuan Chen, professeur adjoint de la famille Dickinson en génie mécanique et science des matériaux, génie électrique et informatique et informatique à l'Université Duke. "Cela aide les robots à fonctionner avec plus de confiance dans des environnements non structurés et imprévisibles comme les forêts, les zones sinistrées et les terrains hors route."

"Les robots typiques s'appuient largement sur la vision ou le LiDAR uniquement, qui échouent souvent sans chemins clairs ni repères prévisibles", a ajouté Yanbaihui Liu, auteur étudiant principal et doctorant de deuxième année. étudiant au laboratoire de robotique générale de Chen. "Même les méthodes avancées de cartographie 3D ont du mal à reconstruire une carte continue lorsque les données des capteurs sont rares, bruyantes ou incomplètes, ce qui constitue un problème fréquent dans les environnements extérieurs non structurés. C'est exactement le défi pour lequel WildFusion a été conçu."

WildFusion, construit sur un robot quadrupède, intègre plusieurs modalités de détection, dont une caméra RVB, un LiDAR, des capteurs inertiels et, notamment, des microphones de contact et des capteurs tactiles. Comme dans les approches traditionnelles, la caméra et le LiDAR capturent la géométrie, la couleur, la distance et d’autres détails visuels de l’environnement. Ce qui rend WildFusion spécial, c'est son utilisation des vibrations acoustiques et du toucher.

Pendant que le robot marche, des microphones de contact enregistrent les vibrations uniques générées par chaque pas, capturant des différences subtiles, telles que le craquement des feuilles sèches et le doux écrasement de la boue. Pendant ce temps, les capteurs tactiles mesurent la force appliquée à chaque pied, aidant ainsi le robot à détecter la stabilité ou la glissance en temps réel. Ces sens supplémentaires sont également complétés par le capteur inertiel qui collecte des données d'accélération pour évaluer à quel point le robot vacille, tangue ou roule lorsqu'il traverse un sol inégal.

Chaque type de données sensorielles est ensuite traité via des encodeurs spécialisés et fusionné en une représentation unique et riche. Au cœur de WildFusion se trouve un modèle d’apprentissage profond basé sur l’idée de représentations neuronales implicites. Contrairement aux méthodes traditionnelles qui traitent l'environnement comme un ensemble de points discrets, cette approche modélise en continu des surfaces et des caractéristiques complexes, permettant au robot de prendre des décisions plus intelligentes et plus intuitives quant à l'endroit où se placer, même lorsque sa vision est bloquée ou ambiguë.

"Pensez-y comme si vous résolviez un puzzle dans lequel certaines pièces manquent, mais vous êtes capable d'imaginer intuitivement l'ensemble du tableau", a expliqué Chen. « L'approche multimodale de WildFusion permet au robot de « combler les vides » lorsque les données des capteurs sont rares ou bruyantes, un peu comme ce que font les humains. »

WildFusion a été testé au parc d’État d’Eno River en Caroline du Nord, près du campus de Duke, aidant avec succès un robot à naviguer dans des forêts denses, des prairies et des chemins de gravier. "Voir le robot naviguer en toute confiance sur le terrain était incroyablement gratifiant", a partagé Liu.

"Ces tests réels ont prouvé la capacité remarquable de WildFusion à prédire avec précision la traversabilité, améliorant considérablement la prise de décision du robot sur des chemins sûrs à travers des terrains difficiles", a déclaré Liu.

Pour l’avenir, l’équipe prévoit d’étendre le système en incorporant des capteurs supplémentaires, tels que des détecteurs thermiques ou d’humidité, pour améliorer encore la capacité d’un robot à comprendre et à s’adapter à des environnements complexes. Grâce à sa conception modulaire flexible, WildFusion offre de vastes applications potentielles au-delà des sentiers forestiers, notamment la réponse aux catastrophes sur des terrains imprévisibles, l'inspection des infrastructures distantes et l'exploration autonome. "L'un des principaux défis de la robotique aujourd'hui est de développer des systèmes qui non seulement fonctionnent bien en laboratoire, mais qui fonctionnent de manière fiable dans des environnements réels", a déclaré Chen. "Cela signifie des robots capables de s'adapter, de prendre des décisions et de continuer à avancer."

Pour plus d'informations, contactez Boyuan Chen à Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer Javascript pour le visualiser..