La vision neuromorphique prend diverses applications

La société de vision événementielle Prophesee a présenté des applications intéressantes pour ses capteurs de vision du monde entier, couvrant la biotechnologie, l'analyse scientifique, la robotique et les technologies spatiales. Un projet a partiellement rendu la vue à une personne aveugle; un autre suit les débris spatiaux dans le ciel, qu'il fasse nuit ou jour.

Prophesee a déclaré avoir aujourd'hui une communauté de 2200 inventeurs travaillant avec sa technologie. Les projets sont présentés dans le cadre de la communauté des inventeurs de Prophesee qui vise à inspirer la créativité future. Voici les détails.

Rétablissement de la vue

Gensight Biologics a partiellement restauré la fonction visuelle chez un patient atteint de rétinite pigmentaire à un stade avancé. Le traitement utilise des lunettes spéciales équipées d'un capteur de vision événementiel Prophesee.

Dans le cadre de la thérapie, la rétine du patient a été traitée avec des protéines photosensibles dérivées d'algues, qui rendent les cellules rétiniennes sensibles à la lumière ambrée (590 nm). Le capteur de vision Prophesee fait partie d'une paire de lunettes qui convertissent le signal de vision en lumière ambrée de haute intensité qui est projetée dans l'œil du patient. Après sept mois d'utilisation des lunettes, le patient (qui était auparavant entièrement aveugle) pouvait voir assez bien pour détecter un passage piéton balisé dans la rue. Il a pu identifier un cahier posé sur une table devant lui (92 % du temps) et un étui à crayons (36 % du temps). Il pouvait saisir des objets et les compter.

Gensight Biologics a intégré le capteur Prophesee dans des lunettes qui traduisent les images du monde en lumière ambrée. Les cellules modifiées de la rétine du patient sont capables de détecter cette lumière et de lui donner un sens. (Source :Gensight Biologics / Prophesee)

Le patient voit les bords des formes grâce au capteur Prophesee, qui offre une expérience visuelle rapide et fluide, résistante aux conditions d'éclairage. Le capteur génère des données éparses; aucun temps n'est consacré au réencodage des images.

Les résultats de l'étude, réalisée en partenariat avec l'Université de Bâle-UPMC, ont été publiés dans Nature Medicine. Bien que ce travail n'ait concerné qu'un seul patient et qu'il soit préliminaire, il doit être considéré comme un résultat significatif pour l'application de cette technique et le traitement des patients atteints de maladies neurodégénératives et plus encore.

Thérapie cellulaire

Cambridge Consultants au Royaume-Uni utilise le capteur Prophesee dans un système d'imagerie médicale pour la thérapie cellulaire. La thérapie cellulaire a un potentiel pour le traitement du cancer, des maladies auto-immunes et neurologiques, parmi ses applications, basée sur la reprogrammation des propres cellules d'un patient. La fabrication des cellules reprogrammées est un processus manuel laborieux avec une dose unique coûtant en moyenne 475 000 $.

Une étape clé du processus vérifie si les échantillons sont stériles. Cela peut prendre 7 à 14 jours pour l'incubation, pendant que le patient attend le traitement. Si des contaminants sont détectés, de nouveaux échantillons doivent être prélevés et la période d'incubation recommence. Les consultants de Cambridge ont utilisé le capteur d'image de Prophesee pour examiner les échantillons au niveau de la cellule, avec des modèles d'IA pour détecter, suivre et classer les contaminants en temps réel (<18 ms contre 7 à 14 jours).

PureSentry utilise le capteur Prophesee combiné à l'IA pour repérer les contaminants (dans ce cas, E.coli) en fonction de la taille, de la forme et du mouvement. (Source :Cambridge Consultants)

Le système PureSentry développé par Cambridge Consultants peut suivre à la fois les cellules humaines et les contaminants avec une précision et une exactitude supérieures aux autres techniques. La société a montré une vidéo de bactéries E.Coli détectées dans un échantillon en fonction de leur taille, leur forme et leur mouvement caractéristique. Il fonctionne dans des conditions plus difficiles, telles qu'une faible luminosité et des débits élevés, et constitue un test non destructif. Ce dispositif peut aider à augmenter l'automatisation du processus de thérapie cellulaire; des techniciens hautement qualifiés ne sont pas nécessaires.

Suivre les particules

Une équipe de l'Université de Glasgow, de l'Université Heriot-Watt et de l'Université de Strathclyde a utilisé le capteur d'image de Prophesee pour la détection et le suivi des particules à grande vitesse. L'objectif est de rendre l'analyse microfluidique plus rapide et moins chère.

L'équipe a réussi à profiler des particules jusqu'à 1 µm à des vitesses de fluide aussi rapides que 1,54 m/s et à capturer des données à une résolution temporelle équivalente à 20 000 images par seconde. Leur configuration utilise le capteur de vision événementiel Prophesee avec un microscope à fluorescence standard et un éclairage.

Toucher robot

Des chercheurs de l'Université nationale de Singapour utilisent la vision basée sur les événements en combinaison avec une nouvelle technologie de capteur tactile pour créer un sens du toucher pour les bras et les mains des robots.

Le capteur tactile développé par les chercheurs, NeuTouch, est un ensemble de 39 capteurs montés sur le bout du doigt du robot. Ce capteur produit des signaux « pics », similaires au capteur Prophesee, qui peuvent être traités par un processeur neuromorphique (en particulier, Intel Loihi).

Le capteur NeuTouch de l'Université nationale de Singapour est de taille comparable à un doigt humain (A), est composé de parties analogues aux os et à la peau (B) et contient 39 pixels tactiles ou « tactels » (C). (Source :Université nationale de Singapour / Prophesee)

Ce travail est important car il démontre un moyen d'intégrer et d'extraire le sens des données de plusieurs capteurs (le capteur tactile et le capteur Prophesee) en même temps, d'une manière adaptée aux tâches complexes dans les systèmes à faible consommation d'énergie.

Le robot a été entraîné à ramasser des conteneurs contenant différentes quantités de liquide ; il a pu déterminer quel était le liquide et combien il pesait. Les informations de poids provenaient du capteur de vision en raison de la façon dont chaque conteneur s'est déformé lorsqu'il est ramassé.

Le robot a été testé avec le "test de glissement" - déterminant la quantité minimale de pression requise pour saisir l'objet en toute sécurité. Une combinaison de détection tactile et visuelle signifiait que le système pouvait détecter les glissements très rapidement, 1000 fois plus rapidement que le toucher humain, détectant le glissement de rotation en 0,08 s.

Les chercheurs espèrent que cette technologie pourra être utilisée pour la robotique industrielle et même pour restaurer le sens du toucher pour les mains prothétiques.

Lire EE Times ' rapport sur cette technologie passionnante ici.

Débris spatiaux

L'université Western Sydney a développé Astrosite, un observatoire mobile qui utilise la technologie Prophesee combinée à des télescopes pour suivre les débris spatiaux en orbite autour de la Terre.

Observatoires des télescopes astrosites prêts à être déployés (Source :Western Sydney University)

Le nombre croissant de satellites en orbite signifie que le risque de collision avec d'autres objets augmente; il y a environ 4850 satellites dans l'espace, mais seulement 40 % environ sont actifs. La surveillance des satellites morts et autres débris est généralement effectuée avec des caméras haute résolution, qui ne sont pas idéales pour capturer des images à la lumière du jour. Ils capturent également principalement de l'espace vide, ce qui entraîne le traitement de nombreuses données inutiles.

La détection basée sur les événements est une bonne solution car elle capture des données sur les changements dans son champ de vision. Astrosite génère 10x à 1000x moins de données en utilisant le capteur basé sur les événements Prophesee qu'un système de caméra conventionnel. Il peut également surveiller les débris en continu (jour et nuit) avec une résolution temporelle de la microseconde, à faible puissance.

>> Cet article a été initialement publié sur notre site frère, EE Times Europe.

---

Contenus associés :

• Puces d'IA neuromorphiques pour les débuts des réseaux de neurones à pic
• La fusion de capteurs permet une préhension robotique
• L'architecture de capteurs empilés apporte des capacités de vision avancées
• L'algorithme d'apprentissage automatique exploite la variabilité ReRAM
• Les outils remontent la chaîne de valeur pour lever le mystère de Vision AI

Pour plus d'informations sur Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.