Les caméras apprennent et comprennent ce qu'elles voient

Les roboticiens et les chercheurs en intelligence artificielle (IA) savent qu'il existe un problème dans la façon dont les systèmes actuels perçoivent et traitent le monde. Actuellement, ils associent encore des capteurs, tels que des appareils photo numériques conçus pour enregistrer des images, à des dispositifs informatiques tels que des unités de traitement graphique (GPU) conçues pour accélérer les graphismes des jeux vidéo.

Cela signifie que les systèmes d'IA ne perçoivent le monde qu'après avoir enregistré et transmis des informations visuelles entre les capteurs et les processeurs. Mais beaucoup de choses qui peuvent être vues sont souvent sans rapport avec la tâche à accomplir, comme le détail des feuilles sur les arbres en bordure de route au passage d'une voiture autonome. Pour le moment, toutes ces informations sont capturées par des capteurs dans les moindres détails et envoyées encombrant le système avec des données non pertinentes, consommant de l'énergie et prenant du temps de traitement.

Les chercheurs se sont inspirés de la façon dont les systèmes naturels traitent le monde visuel - les yeux et le cerveau d'un humain travaillent ensemble pour donner un sens au monde et, dans certains cas, les yeux eux-mêmes effectuent un traitement pour aider le cerveau à réduire ce qui n'est pas pertinent. Les chercheurs ont mis en œuvre des réseaux de neurones convolutifs (CNN), une forme d'algorithme d'IA permettant la compréhension visuelle, directement sur le plan de l'image. Les CNN peuvent classer les images des milliers de fois par seconde sans jamais avoir à enregistrer ces images ou à les envoyer dans le pipeline de traitement. Les chercheurs ont envisagé des démonstrations de classification des nombres manuscrits, des gestes de la main et même du plancton.

La recherche suggère un avenir avec des caméras intelligentes dédiées à l'IA - des systèmes visuels qui peuvent simplement envoyer des informations de haut niveau au reste du système, telles que le type d'objet ou d'événement se déroulant devant la caméra. Cette approche rendrait les systèmes beaucoup plus efficaces et sécurisés car aucune image n'a besoin d'être enregistrée.

Le travail intègre SCAMP, une puce de processeur de caméra que l'équipe décrit comme un Pixel Processor Array (PPA). Un PPA a un processeur intégré dans chaque pixel qui peut communiquer entre eux pour traiter sous une forme véritablement parallèle. C'est idéal pour les CNN et les algorithmes de vision.

L'intégration de la détection, du traitement et de la mémoire au niveau du pixel permet non seulement des systèmes hautes performances et à faible latence, mais promet également un matériel à faible consommation d'énergie et très efficace. Les appareils SCAMP peuvent être implémentés avec des empreintes similaires aux capteurs de caméra actuels, mais avec la possibilité d'avoir un processeur massivement parallèle à usage général juste au point de capture d'image.