L'architecture de capteurs empilés apporte des capacités de vision avancées

PARIS - Prophesee, une startup parisienne qui a été pionnière dans les systèmes de vision neuromorphiques, a présenté cette semaine à l'International Solid-State Circuits Conference (ISSCC) à San Francisco un nouveau capteur de vision empilé basé sur des événements développé conjointement avec Sony Corp.

Conçu par la technologie événementielle de Prophesee, le nouveau capteur a été construit sur des technologies conçues par Sony pour les capteurs d'image CMOS empilés avancés.

Puce pixel (à gauche) et puce logique (Source :Prophesee)

Pour les systèmes pilotés par les événements, le nouveau capteur offre la plus petite taille de pixel du secteur et les performances de plage dynamique élevée (HDR) les plus élevées du secteur, selon Prophesee. Le capteur inspiré du cerveau permettrait aux machines industrielles, aux robots et aux véhicules autonomes de mieux voir et sentir l'environnement.

Le partenariat pourrait annoncer une nouvelle ère dans laquelle l'IA, à la fois la détection et le traitement de l'IA, pourrait avoir lieu très près du capteur, voire sur le capteur lui-même, où les données sont générées.

Luca Verre, PDG de Prophesee

Quels sont les avantages pour les deux sociétés ?

Sony est le leader mondial des capteurs d'images CMOS. Son partenariat confère une crédibilité commerciale à la nouvelle technologie de détection de Prophesee. Luca Verre, PDG de Prophesee, espère que cette décision ouvrira la porte aux caméras événementielles de Prophesee à des opportunités de marché de masse.

"Compte tenu de la nature de notre technologie qui utilise beaucoup de transistors, d'électronique et de photodiodes, travailler avec Sony a toujours été notre premier choix", a déclaré Verre à EE Times . Les entreprises ont commencé à travailler ensemble en 2017. Verre a promis que des échantillons des premiers capteurs de vision événementiels empilés seront disponibles en 2020.

Le partenariat avec Prophesee pourrait changer la donne pour Sony, donnant au géant japonais une chance d'explorer la technologie de vision événementielle.

Boîte de Pandore

Pour Pierre Cambou, analyste principal chez Yole Développement, le partenariat Prophesee-Sony équivaut à « ouvrir la boîte de Pandore ».

Pierre Cambou

Dans la caméra neuromorphique développée par Prophesee, « Chaque pixel, par essence, est un neurone », a noté Cambou. Appelant le développement de l'empilement de puces « encore à ses débuts », Cambou a prédit qu'en bout de ligne, les neurones, la mémoire et le traitement pourraient être empilés ensemble. L'enthousiasme actuel pour apporter plus d'intelligence à « edge » ou « endpoint » préfigure un jour dans le futur où l'IA sera détectée et traitée à l'intérieur du capteur.

Sony sera en mesure de développer un capteur d'image intégré à l'IA qui "peut améliorer les images à la volée", ou de créer un capteur d'image qui "offre directement une détection basée sur les événements", a expliqué Cambou.

En fait, quelqu'un a déjà appliqué les réseaux de neurones à "Arrivée d'un train à La Ciotat"  - un célèbre premier film tourné par les frères Lumière en 1896  - pour combler les pixels manquants. Cet effort a permis de faire revivre et d'améliorer le film vieux de 124 ans en vidéo 4K en 60 images par seconde. Décrivant cette vidéo haut de gamme comme faisant fureur sur Internet, Cambou a expliqué que la puissance de l'IA a été bien prouvée dans le monde de l'imagerie.

L'approche biomimétiste de l'IA est une alternative à l'informatique de von Neumann. "Cela augmentera son importance à mesure que l'IA se généralisera", a déclaré Cambou.

"Arrivée d'un train à La Cicotat", tourné à l'origine par les frères Lumière en 1896, a été converti en 4K, 60 images par seconde, par Denis Chiriaev

Blocs de construction pour capteur de vision empilé basé sur les événements

Dans le capteur événementiel nouvellement conçu, la puce de pixel (en haut) et la puce logique (en bas) sont empilées ensemble. La logique intègre des circuits de traitement du signal conçus pour détecter les changements de luminance sur la base d'une méthode de modulation delta asynchrone.

Chaque pixel des deux puces individuelles est connecté électriquement à l'aide d'une connexion cuivre-cuivre dans une configuration empilée.

Cela permet au nouveau capteur d'atteindre la taille de pixel la plus petite de l'industrie (4,86 μm). Il offre également une résolution HD de type 1/2, 1280 × 720 en réalisant une intégration haute densité avec un processus logique fin de 40 nm.

Une autre caractéristique du nouveau capteur événementiel est sa capacité à offrir ce que Prophesee prétend être les performances HDR les plus élevées de l'industrie :124 dB (ou plus). L'équipe a accompli cela en plaçant uniquement des pixels rétro-éclairés et une partie du transistor MOS de type N sur la puce de pixel (en haut). Cela améliore le taux d'ouverture jusqu'à 77%, selon Prophesee. Les technologies haute sensibilité/faible bruit que Sony a développées au fil des ans pour que les capteurs d'image CMOS rendent possible la détection d'événements dans des conditions de faible luminosité (40 mlx).

Répartition du travail ?

Le PDG de Prophesee Verre a noté que le rôle de Sony dans le partenariat ne se limite pas à une fonderie. Avec de solides connaissances et un portefeuille de propriété intellectuelle qui lui est propre dans la technologie événementielle, Verre a déclaré :« Nous sommes venus à la table avec une idée claire de la façon dont nous voulions concevoir les pixels. » Les efforts de collaboration des deux sociétés ont rendu possible la nouvelle conception de capteurs événementiels (analogiques, logiques et électriques) combinés au processus de fabrication avancé de Sony.

La relation n'est pas non plus un pur exercice de R&D, a noté Verre. L'intention est de maintenir un partenariat à long terme qui apportera la technologie sur le marché commercial tout en développant des applications.

Qu'est-ce que cela signifie pour Sony ?

Le monde compte de nombreux acteurs dans le domaine des capteurs d'imagerie CMOS. Cambou a observé que Sony prenait à cœur la prédiction selon laquelle les capteurs d'image CMOS « ne se limitent plus à l'imagerie mais vraiment à la détection » - un évangile que Cambou prêche depuis longtemps.

Vous vous souvenez de l'acquisition par Sony en 2015 de la société belge SoftKinetic, un développeur de technologies de vision par ordinateur à détection 3D ? Cambou a déclaré que cette acquisition a permis à Sony de se tailler une part sur le marché en pleine croissance des capteurs de temps de vol (ToF) que les vendeurs de smartphones Android ont soudainement commencé à exiger l'année dernière. Imaginez ce qui serait arrivé à Sony si l'entreprise n'avait pas essayé la technologie de détection de profondeur à ce moment-là, a déclaré Cambou.

À son avis, le partenariat avec Prophesee n'est pas différent. Lorsque les acteurs des marchés de la vision industrielle automobile et industrielle commencent à rechercher des données de détection plus riches pour améliorer leurs opérations, ils sont plus susceptibles d'ajouter une nouvelle technologie de détection, au lieu d'ajouter une autre caméra identique.

En bref, Prophesee pourrait être la société permettant à Sony d'entrer sur le marché des capteurs d'images événementiels, tout comme SoftKinetic a permis à Sony de développer des solutions « DepthSense » et de les faire évoluer vers les smartphones.

Désormais, avec sa technologie DepthSense, Sony installe des capteurs d'image ToF dans de nombreux smartphones Android. Cela s'ajoute à la multitude de gains de conception de capteurs d'image CMOS que Sony a déjà accumulés dans les caméras avant et arrière des smartphones.