SonicSense : permettre aux robots d'écouter comme les humains pour interactions plus intelligentes

Nouvelles recherches de l'Université Duke détaillent un système baptisé SonicSense permettant aux robots d'interagir avec leur environnement de façons auparavant limitées aux humains.

« Les robots aujourd'hui s'appuientmostly sur la vision pour interpréter le monde », explique Jiaxun Liu, premier auteur, doctorant 1re année au laboratoire de Boyuan Chen, Professeur Génie Mécanique et Science Matériaux à Duke. « On voulait créer solution travaillant avec objets complexes et divers du quotidien, donnant aux robots capacité bien plus riche de "sentir" et comprendre le monde. »

Architecture SonicSense

Main robotique à quatre doigts, chacun équipé microphone contact embarqué dans le bout du doigt. Capteurs détectent/enregistrent vibrations générées quand robot tape, saisit ou secoue objet. Comme microphones en contact objet, robot élimine bruits ambiants.

Basé sur interactions et signaux détectés, SonicSense extrait caractéristiques fréquentielles et utilise connaissances antérieures + avancées récentes IA pour déterminer matériau objet et forme 3D. Objet jamais vu = ~20 interactions pour conclusion. Objet en base = identification correcte en 4 interactions.

Entretien exclusif avec Boyuan Chen

Tech Briefs : Plus grand défi technique développement SonicSense ?

Chen : Premièrement, pas d'études extensives vibrations acoustiques perception robot. Travaux précédents : doigt unique ou très préliminaires. Mais mettre sur vraie main robotique et interagir variété objets possibles = pas tâche facile.

Tech Briefs : Comment projet né ? Catalyseur ?

Chen : Histoire intéressante. Partie 1 travail = "boombox", pendant COVID. Je voulais travailler robots et vision. Déjà intéressé quelques années amener vibrations acoustiques dans détection, car on utilise vibrations son beaucoup.

Neurosciences : peau humaine a neurones vibration. Lu là-dessus, pensé comment amener aux robots. Mais pendant COVID, pas accès robots. Ph.D. Columbia, petit dortoir NYC, mais voulais vraiment cette recherche. Idée aléatoire : « Que puis-je faire SANS robots pour montrer que c'est utile ? »

Bac jouets dans chambre. En jetant objets dedans, réalisé : « Hey, je dois récupérer cet objet, mais je sais pas où il est. Quel objet j'ai jeté ? » Question recherche parfaite.

Commencé avec 3 boîtes bois formes différentes, jetées dans bac. Entraîné système IA prédisant forme objet jeté et où objet fini après jet car je ne pouvais pas le voir. C'était le projet.

Idée : 4 microphones contact. Fixés autour paroi bac. Enregistrement seulement vibrations acoustiques 4 canaux microphones. Microphones pour capter son guitare. Collés sur bac, entraîné système son → prédiction opération 3D. Naissance de ce projet.

Bien sûr, voulais faire pour robots. Naissance SonicSense.

Tech Briefs : Expliquez simplement comment ça marche ?

Chen : Système hardware/software intégré. Hardware : pince robotique 4 doigts, chaque bout doigt microphone contact embarqué. Microphone contact ne perçoit pas parole, perçoit vibrations contact physique.

Software : robot explore environnements autonomement par tapotement/saisie objet avec conteneur et secousse. Software collecte signaux 4 microphones contact + signaux moteurs ensemble.

Entraîne réseau IA prédire : « Combien dés dans conteneur ? Combien arêtes ce dé ? Combien liquide dans bouteille eau ? Combien versez dans autre conteneur ? »

Tech Briefs : Prochaines étapes ?

Chen : Deux directions : 1) Autres modalités détection pour dextérité manipulation niveau humain. Mais aussi robotique large : locomotion, navigation, tout. Modalités nouvelles capacitant robots au-delà capacités humains/animaux. 2) Fusion modalités existantes robots (ex: vision) → compréhension cohérente monde au lieu perspective unique. Faire modalités multiples converger apprentissage unifié. 3) Vrais vecteurs manipulation capacité humaine — design actuel prototype. Vouloir échelle morphologie et capacité détection main à plus grande échelle. = beaucoup capteurs main plus humanoïde, montrer capacité manipulation dextre avancée. Maintenant perception objet, mais vouloir manipuler objets capacités bien plus avancées.

Transcription vidéo

Présentation SonicSense : cadre hardware/software intégré détection vibrations acoustiques perception objet riche. Travaux récents : classification matériau/catégorie objet, prédiction position, estimation quantité/flux matériau granulaire, raisonnement spatial objet reconstruction visuelle. Travaux précédents : petit nombre objets primitifs composition matériau homogène, cadres contraints collecte données, test doigt unique → pas clair si détection vibrations acoustiques utile perception objet conditions bruyantes/peu contrôlées.

SonicSense : design holistique hardware/algorithme avancées perception objet détection vibrations acoustiques améliorée. Main robot 4 doigts, microphone contact piézoélectrique embarqué chaque bout doigt, contrepoids montage coque externe augmenter momentum mouvement doigt. Design mécanique intuitif permet primitives mouvement interactif perception objet : tapotement, saisie, secousse. Microphone contact collecte vibrations acoustiques haute fréquence créées contact objet-objet ou objet-main. Robot infère géométrie et statut inventaire divers objets dans conteneur depuis signatures vibrations acoustiques uniques pendant interactions. 12 caractéristiques interprétables basées méthodes traitement signal acoustique traditionnel distinguent signatures. Réduction dimensionnalité non-linéaire non-supervisée t-SNE vecteur caractéristiques 12D. Secouant conteneur, robot distingue différents nombres dés ou dés formes différentes. Versant eau dans bouteille tenue robot, détecte différences subtiles signatures acoustiques selon quantités eau existantes. Secouant bouteille, détecte différentes quantités eau. Tâches perception objet plus challengantes : dataset 83 objets réels divers, 9 catégories matériaux, variété géométries primitives simples à formes complexes. Contrairement travaux précédents humains tenant main robot pour interagir objets ou poses/interactions forces fixes pour replay, politique interaction heuristique simple mais efficace collecte autonome réponse vibrations acoustiques objets. Politique marche bien tous objets réels tailles/géométries variables. Modèle classification matériau prend spectrogramme Mel signal vibrations acoustiques impact et prédit étiquette matériau. Réseau : 3 couches CNN + 2 couches MLP. Résultat initial F1 0,523. Observé matériaux objets relativement uniformes/lisses localement → raffinement itératif prédiction → F1 moyen final 0,763. Modèle reconstruction forme prend points contact sparse/bruités → forme 3D dense/complète. 2 couches pointnet encodage entrée → vecteur caractéristiques global → décodeur couches fully connected → nuage points final. Score distance chamfer moyen 0,876. Prédiction objets formes primitives ~performance parfaite. Capacité reconstruction objets formes complexes seulement estimations points contact sparse/bruités. Ré-identification objet après interactions robot réponses vibrations acoustiques : 15 nouvelles interactions tapotement, input 15 spectrogrammes Mel + points contact associés → prédiction étiquette objet parmi 82 dataset. Robot ré-identifie même objet >92% précision. Forte résistance bruits ambiants, focus seulement signaux vibrations contact physique → données détection haute qualité fiable conditions environnementales difficiles. Main robot complète $215 composants commerciaux + impression 3D. Résultats expérimentaux démontrent polyvalence/efficacité design tâches perception objet variées : estimation statut inventaire objets solides/liquides conteneurs, classification matériau, reconstruction forme 3D, ré-identification objet. Contributions uniques perception tactile vibrations acoustiques, ouvre opportunités futurs designs robots modèle perceptuel monde robuste, complet, versatile, holistique.