Caméras intelligentes : l'IA comprend son monde visuel directement sur le capteur

Les roboticistes et chercheurs en intelligence artificielle (IA) savent qu'il y a un problème dans la façon dont les systèmes actuels perçoivent et traitent le monde. Actuellement, ils combinent encore des capteurs — comme des caméras numériques conçues pour enregistrer des images — avec des dispositifs de calcul comme les unités de traitement graphique (GPU) conçues pour accélérer les graphismes pour les jeux vidéo.

Le goulot d'étranglement : transmission de données inutiles

Cela signifie que les systèmes IA ne perçoivent le monde qu'après avoir enregistré et transmis l'information visuelle entre capteurs et processeurs. Mais beaucoup de choses visibles sont souvent sans pertinence pour la tâche — comme le détail des feuilles sur les arbres au bord de la route quand une voiture autonome passe. Actuellement, toute cette information est capturée par les capteurs dans les moindres détails et envoyée, encombrant le système avec des données non pertinentes, consommant de l'énergie et du temps de traitement.

Inspiration biologique : traitement au niveau de l'image

Les chercheurs se sont inspirés de la façon dont les systèmes naturels traitent le monde visuel — les yeux et le cerveau humains travaillent ensemble pour donner du sens au monde et, dans certains cas, les yeux eux-mêmes effectuent un traitement pour aider le cerveau à réduire ce qui n'est pas pertinent. Les chercheurs ont implémenté des réseaux de neurones convolutifs (CNN), une forme d'algorithme d'IA pour la compréhension visuelle, directement sur le plan de l'image. Les CNN peuvent classifier des images à des milliers de fois par seconde sans jamais avoir à enregistrer ces images ou les envoyer dans le pipeline de traitement. Les chercheurs ont considéré des démonstrations de classification de chiffres manuscrits, gestes de la main, et même plancton.

Vers des caméras IA dédiées intelligentes

La recherche suggère un avenir avec des caméras IA intelligentes dédiées — des systèmes visuels qui peuvent simplement envoyer des informations de haut niveau au reste du système, comme le type d'objet ou d'événement se produisant devant la caméra. Cette approche rendrait les systèmes bien plus efficaces et sécurisés car aucune image n'a besoin d'être enregistrée.

Architecture SCAMP : processeur par pixel

Le travail intègre SCAMP, une puce caméra-processeur que l'équipe décrit comme un réseau de processeurs par pixel (PPA). Un PPA a un processeur embarqué dans chaque pixel qui peut communiquer entre eux pour traiter sous une forme véritablement parallèle. C'est idéal pour les CNN et algorithmes de vision.

Intégration détection, traitement, mémoire au niveau pixel

L'intégration de la détection, du traitement et de la mémoire au niveau du pixel permet non seulement des systèmes haute performance à faible latence, mais promet aussi du matériel à faible consommation, hautement efficace. Les dispositifs SCAMP peuvent être implémentés avec des empreintes similaires aux capteurs de caméra actuels mais avec la capacité d'avoir un processeur massivement parallèle à usage général juste au point de capture d'image.