Donner aux AV un meilleur sens de l'audition

Si les conducteurs peuvent entendre une sirène, pourquoi les véhicules autonomes ne le peuvent-ils pas le même?

Dans les situations d'urgence telles que les accidents de la route graves, chaque seconde compte, et une voie de secours suffisamment large peut faire la différence entre la vie et la mort. Si les conducteurs peuvent entendre une sirène, pourquoi les véhicules autonomes ne peuvent-ils pas faire de même ? Avelabs, basé au Caire, en Égypte, a développé une solution de capteur qui donne aux véhicules le sens de l'ouïe pour compléter la vision et améliorer les systèmes de conduite autonome.

« La vision est notre sens le plus important lors de l'évaluation de l'environnement », a déclaré Amr Abdelsabour, directeur de la gestion des produits chez Avelabs, lors d'une table ronde à AutoSens Brussels de cette année. « Cependant, en tant que conducteurs humains, nous ne dépendons pas seulement de la vision. Lorsque nous conduisons, nous dépendons également de notre audition. Il y a beaucoup d'informations que nous pouvons entendre mais pas voir comme une sirène venant de l'arrière. Ou, si nous conduisons dans une intersection sans visibilité et qu'une voiture arrive, nous ne pouvons pas vraiment la voir, mais nous pouvons l'entendre.

Chez AutoSens, Avelabs a présenté AutoHears, un système de détection acoustique qui détecte, classe et localise les sons pour aider à comprendre l'environnement complexe du véhicule. AutoHears, qui comprend le matériel, le boîtier mécanique et le logiciel qui exécute les fonctions de détection, vise à exécuter la détection des véhicules d'urgence, des champs obscurcis, des catastrophes naturelles (par exemple, des glissements de terrain) et des événements de sécurité (par exemple, collisions à proximité, coups de feu, explosions), ainsi que comme autodiagnostic du véhicule et reconnaissance vocale.

Dans une discussion de suivi avec EE Times Europe , Abdelsabour a expliqué ce qu'il faut pour donner aux véhicules le sens de l'ouïe, comment les logiciels et le matériel dépendent les uns des autres, où et comment le processus de fusion des données est effectué, et quand pouvons-nous nous attendre à ce qu'AutoHears prenne la route ?

EE Times Europe :Pouvez-vous décrire les types de sons que AutoHears peut et ne peut pas détecter ?

Amr Abdelsabour : Nous avons commencé par faire fonctionner les sons des véhicules (par exemple, les pneus, le moteur, les freins et les sons aérodynamiques), ainsi que les klaxons et les sirènes de différentes normes dans le monde entier. Ces classes sont ce qui a été testé et démontré jusqu'à présent. Nous travaillons actuellement sur l'ajout de nouvelles classes telles que les catastrophes naturelles et la détection de collision, mais elles sont encore en phase de développement de fonctionnalités. Une feuille de route pour le développement de fonctionnalités est en cours de construction.

EE Times Europe :AutoHears détecte les sons sous tous les angles. Y a-t-il des limitations physiques ?

Abdelsabour : AutoHears peut détecter les sons sous tous les angles, et pas seulement cela, mais aussi les sons provenant de derrière les murs et autres obstacles. Il y a bien sûr des limitations physiques. La mesure du son est un processus de détection relatif, où le son est détecté par rapport à son environnement. Cela signifie que si l'environnement était calme, AutoHears serait capable de détecter les sons faibles et faibles tels que les vélos et même les pas. Cependant, si l'environnement était bruyant, AutoHears ne serait capable de détecter que les sons les plus significatifs. Ainsi, par exemple, si une sirène puissante était active à proximité, nous ne serions pas en mesure de détecter les bruits de moteur d'autres véhicules puisque le son fort couvrirait le son faible. Néanmoins, nous travaillons à découvrir notre limitation physique exacte en nombres objectifs afin de pouvoir fournir des limitations fiables à nos clients.

EE Times Europe :qu'en est-il de la classification des sons ?

Abdelsabour : La classification des sons est un processus complexe, surtout lorsqu'il s'agit de sons non standardisés. Si nous parlons de sons standardisés tels que les sirènes, le processus de classification devient facile et assez simple et peut être effectué à l'aide d'algorithmes basés sur des modèles. Cependant, la détection d'un véhicule en marche est un processus plus complexe, car il s'agit d'une combinaison non standard de sons composés de différents composants physiques créant les sons finaux que nos oreilles ou nos capteurs entendent. C'est là qu'entrent en jeu différentes méthodes d'intelligence artificielle, pour pouvoir classer les sons en se basant sur l'apprentissage automatique à travers les données qui ont été collectées et pour détecter et classer les sons en fonction de ce qu'ils ont appris. Nous sommes fiers de dire que, dans AutoHears, nous avons déployé une combinaison d'algorithmes basés sur des modèles et d'apprentissage automatique pour classer les sons, en fonction des sons cibles à détecter.

EE Times Europe :Comment les données audio fusionnent-elles avec les données d'images provenant de caméras ou d'autres capteurs intégrés à la voiture ?

Abdelsabour : Comme c'est le cas pour les conducteurs humains, le son complète la vision. C'est ainsi que nous voyons AutoHears et nous l'avons développé en conséquence. Parce que nous nous intéressons principalement à la partie de détection acoustique, nous fournissons les informations brutes de détection acoustique qui peuvent être fusionnées avec d'autres capteurs tels que des caméras et des radars pour classer et localiser des objets afin d'utiliser les forces de chaque capteur séparé et de surmonter leurs faiblesses. . Ainsi, par exemple, la combinaison d'un radar, d'une caméra et d'AutoHears peut conduire à la détection suivante d'un véhicule dans notre angle mort :le radar peut détecter l'obstacle et estimer avec précision sa distance (car les radars sont très fiables de cet aspect), le la caméra classerait cet objet (s'il y a une caméra regardant la direction où se trouve le véhicule cible), AutoHears confirmerait la détection avec sa propre classification et localisation de ce véhicule et ajouterait les informations si ce véhicule émet des sons tels que comme klaxonner ou émettre une sirène. La combinaison de tous les capteurs ensemble fait de la fusion de capteurs une reconstruction très concluante de l'environnement environnant de la meilleure façon possible.

EE Times Europe :Pourquoi avez-vous décidé de construire un système complet ? Pourquoi était-il essentiel de s'attaquer à tous les aspects logiciels et matériels ?

Amr Abdelsabour, Avelabs

Abdelsabour : AutoHears en tant que système de détection est l'un des premiers systèmes de détection de ce type, à savoir un système de détection acoustique. Étant donné qu'Avelabs est une société de logiciels, nous voulions initialement que notre objectif principal soit uniquement la détection des fonctionnalités d'un point de vue logiciel et non pas les parties matérielles. Cependant, sans matériel de détection, il ne peut y avoir de fonctionnalités de détection. Le matériel de détection est le principal catalyseur des fonctionnalités de détection, car le capteur n'est pas aussi simple que de placer un microphone dans le véhicule pour permettre la détection, mais le matériel doit plutôt être conçu avec soin pour permettre une localisation précise de l'environnement. Afin de localiser un objet, les algorithmes de localisation s'appuient sur des facteurs physiques tels que la différence de temps d'arrivée du son, qui ne peut être détectée que lorsque le matériel est conçu de manière à permettre de le détecter. Plusieurs facteurs matériels sont impliqués, tels que le nombre de microphones, la distance entre eux et leur emplacement sur le véhicule. Toutes ces exigences matérielles nous ont obligés à concevoir et à construire nous-mêmes le matériel pour activer les fonctionnalités de détection acoustique que nous proposons. En termes simples, aucune entreprise ne propose de matériel de détection acoustique externe pour les véhicules, c'est pourquoi nous avons dû le développer nous-mêmes.

EE Times Europe :Pouvez-vous me donner quelques détails sur le capteur acoustique lui-même ? Et sur le CPU où tourne l'algorithme ?

Abdelsabour : Nous avons opté pour une architecture centralisée en ce qui concerne le système de capteurs et de processeurs. Cette décision va dans le sens de la tendance que prennent actuellement tous les constructeurs automobiles, qui est de s'appuyer sur des capteurs qui détectent les données brutes (caméras, radars,…). Les données brutes sont ensuite envoyées à un contrôleur de domaine centralisé où la fusion du capteur a lieu. C'est pourquoi nous avons conçu le capteur acoustique comme un capteur de données brutes, détectant toutes les informations acoustiques et les envoyant au contrôleur de domaine centralisé où s'exécutent les algorithmes de détection. Comme vous le savez, nous avons conçu le capteur acoustique nous-mêmes, mais nous utilisons des contrôleurs de domaine automobile prêts à l'emploi tels que le FPGA Xilinx et le SoC TI ADAS TDA comme CPU qui exécute nos algorithmes. Cependant, étant donné que chaque client utilise son propre contrôleur de domaine, nous utilisons ces processeurs uniquement comme matériel de référence. Comme nous pouvons simplement être déployés sur n'importe quel type de contrôleur de domaine compte tenu des personnalisations nécessaires.

EE Times Europe :Pourquoi dites-vous qu'AutoHears est « dépendant du matériel » ?

Abdelsabour : AutoHears en tant que capteur et en tant qu'algorithmes de détection a des composants génériques et des composants spécifiques au matériel, en fonction des fonctionnalités souhaitées par le client et du contrôleur de traitement utilisé par le client. Ainsi, par exemple, si le client ne souhaite que la direction de l'événement sonore (sans la distance à l'objet émettant le son), il n'est nécessaire d'utiliser qu'un seul capteur. Mais si le client souhaite également détecter la distance de l'objet, il est nécessaire d'utiliser plusieurs capteurs pour trianguler la distance de l'objet. Il s'agit par exemple d'une fonction dépendante du matériel.

L'autre côté concernant la dépendance matérielle est le contrôleur de domaine utilisé pour traiter les fonctionnalités de détection. Les performances de nos fonctionnalités dépendent des processeurs qui les exécutent et de leurs capacités. Il existe un compromis entre les performances et les exigences de traitement du matériel. Ainsi, par exemple, si nous voulons qu'AutoHears détecte avec une résolution d'un degré, cela nécessitera plus de ressources de traitement. Si nous diminuons les performances souhaitées, les exigences de traitement diminueront également. De plus, chaque nouveau matériel sera accompagné de personnalisations spécifiques au matériel pour la couche d'abstraction du microcontrôleur, telles que les pilotes de capteur AutoHears, qui seraient implémentées dans l'environnement logiciel de base du client.

EE Times Europe :où en êtes-vous en termes de développement ? Quand prévoyez-vous de tester AutoHears sur la voie publique ? Quand pensez-vous qu'AutoHears sera en production ?

Abdelsabour : AutoHears peut être pris en compte dans la phase de développement du produit. Nous avons déjà prouvé le concept d'un point de vue technique et financier, effectué des démonstrations et des tests pour prouver la faisabilité et actuellement nous travaillons sur la « production » du développement. Cela comprend la validation de la voie publique ainsi que l'acquisition de certifications automobiles. Ce sont les deux étapes nécessaires pour passer du développement du produit à la commercialisation. Ce sont des mesures nécessaires à prendre avant d'être prêt pour la production.

EE Times Europe :avez-vous des clients qui testent la solution ?

Abdelsabour : Bien que nous ayons commencé à annoncer le produit à AutoSens en septembre, nous discutons déjà avec les clients pour tester la solution. Alors que nous essayons de lancer un nouveau produit sur le marché automobile, nous espérons pouvoir compter sur nos clients et partenaires pour en savoir plus sur les attentes et les exigences du marché ainsi que pour intégrer nos capteurs dans les flottes de véhicules de collecte de données afin de recueillir plus de données pour la formation. et à des fins de validation.

---

Contenus associés :

• Un traitement acoustique en temps réel réussi nécessite une planification minutieuse
• Mélanger le matériel et les logiciels pour un meilleur son
• Les appareils à faible consommation pourraient écouter avec une cochlée en silicium
• Les solutions ANC adaptatives offrent des capacités audio améliorées

Pour plus d'informations sur Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.