Le système IA de Duke University donne aux robots une perception humaine pour une navigation plus sûre

Duke University, Durham, NC

WildFusion utilise une combinaison de vue, toucher, son et équilibre pour aider les robots quadrupèdes à mieux naviguer sur des terrains difficiles comme les forêts denses.

Le défi de la navigation multisensorielle

La richesse d'informations fournie par nos sens qui permet à notre cerveau de naviguer dans le monde autour de nous est remarquable. Toucher, odorat, ouïe et un fort sens de l'équilibre sont cruciaux pour traverser ce qui nous semble être des environnements faciles comme une randonnée relaxante un matin de week-end.

Une compréhension innée de la canopée au-dessus de nous nous aide à comprendre où mène le chemin. Le claquement sec de branches ou le coussin mou de mousse nous informe sur la stabilité de notre appui. Le tonnerre d'un arbre qui tombe ou les branches dansant dans des vents forts nous avertissent de dangers potentiels à proximité.

Les robots, en revanche, ont longtemps compté uniquement sur l'information visuelle comme les caméras ou le LiDAR pour se déplacer dans le monde. En dehors d'Hollywood, la navigation multisensorielle est restée un défi pour les machines. La forêt, avec son beau chaos de sous-bois dense, troncs abattus et terrain en constante évolution, est un labyrinthe d'incertitude pour les robots traditionnels.

WildFusion : fusion multimodale pour navigation robuste

Maintenant, des chercheurs de Duke University ont développé un nouveau cadre nommé WildFusion qui fusionne vision, vibration et toucher pour permettre aux robots de « sentir » des environnements extérieurs complexes un peu comme le font les humains.

Boyuan Chen, Professeur assistant Dickinson Family en Génie Mécanique et Science des Matériaux, Génie Électrique et Informatique, et Informatique à Duke University : « WildFusion ouvre un nouveau chapitre dans la navigation robotique et la cartographie 3D. Il aide les robots à opérer plus confiamment dans des environnements non structurés, imprévisibles comme les forêts, zones de catastrophe et terrains hors route. »

Yanbaihui Liu, auteur principal étudiant et doctorant de deuxième année dans le General Robotics Lab de Chen : « Les robots typiques comptent fortement sur la vision ou le LiDAR seuls, qui faiblissent souvent sans chemins clairs ou repères prévisibles. Même les méthodes avancées de cartographie 3D peinent à reconstruire une carte continue quand les données des capteurs sont rares, bruitées ou incomplètes, ce qui est un problème fréquent dans les environnements extérieurs non structurés. C'est exactement le défi que WildFusion a été conçu pour résoudre. »

Architecture multimodale de WildFusion

WildFusion, construit sur un robot quadrupède, intègre plusieurs modalités de détection, incluant une caméra RGB, LiDAR, capteurs inertiels, et notamment des microphones de contact et des capteurs tactiles. Comme dans les approches traditionnelles, la caméra et le LiDAR capturent la géométrie, la couleur, la distance et autres détails visuels de l'environnement. Ce qui rend WildFusion spécial, c'est son utilisation des vibrations acoustiques et du toucher.

Alors que le robot marche, les microphones de contact enregistrent les vibrations uniques générées par chaque pas, capturant des différences subtiles, comme le craquement de feuilles sèches versus le mou écrasement de boue. Pendant ce temps, les capteurs tactiles mesurent la force appliquée à chaque pied, aidant le robot à sentir la stabilité ou le glissement en temps réel. Ces sens ajoutés sont également complétés par le capteur inertiel qui collecte des données d'accélération pour évaluer combien le robot vacille, tangue ou roule en traversant un terrain inégal.

Chaque type de données sensorielles est ensuite traité par des encodeurs spécialisés et fusionné en une représentation unique et riche. Au cœur de WildFusion se trouve un modèle d'apprentissage profond basé sur l'idée de représentations neuronales implicites. Contrairement aux méthodes traditionnelles qui traitent l'environnement comme une collection de points discrets, cette approche modélise les surfaces et caractéristiques complexes de manière continue, permettant au robot de prendre des décisions plus intelligentes et intuitives sur où poser le pied, même quand sa vision est bloquée ou ambiguë.

Chen : « Pensez-y comme résoudre un puzzle où certaines pièces manquent, pourtant vous êtes capable d'imaginer intuitivement l'image complète. L'approche multimodale de WildFusion permet au robot de « combler les vides » quand les données des capteurs sont rares ou bruitées, un peu comme le font les humains. »

Tests réels et résultats

WildFusion a été testé au Eno River State Park en Caroline du Nord près du campus de Duke, aidant avec succès un robot à naviguer dans des forêts denses, prairies et chemins de gravier. « Voir le robot naviguer confiamment sur le terrain était incroyablement gratifiant », a partagé Liu.

Liu : « Ces tests réels ont prouvé la capacité remarquable de WildFusion à prédire avec précision la traversabilité, améliorant significativement la prise de décision du robot sur les chemins sûrs à travers des terrains difficiles. »

Perspectives futures

À l'avenir, l'équipe prévoit d'étendre le système en incorporant des capteurs supplémentaires, tels que des détecteurs thermiques ou d'humidité, pour améliorer encore la capacité d'un robot à comprendre et s'adapter à des environnements complexes. Avec sa conception modulaire flexible, WildFusion offre un vaste potentiel d'applications au-delà des sentiers forestiers, incluant la réponse aux catastrophes sur terrains imprévisibles, l'inspection d'infrastructures distantes et l'exploration autonome. « L'un des défis clés pour la robotique aujourd'hui est de développer des systèmes qui non seulement performent bien en laboratoire mais qui fonctionnent de manière fiable dans des contextes réels », a dit Chen. « Cela signifie des robots qui peuvent s'adapter, prendre des décisions et continuer à avancer. »

Pour plus d'informations, contactez Boyuan Chen à [email protégé].