Comment la vision 3D révolutionne l'automatisation moderne

La vision 3D est au cœur de l'automatisation moderne qui améliore les processus industriels de multiples façons et simplifie nos vies. Elle nous aide à trier des produits, inspecter des objets en contrôle qualité et détecter leurs défauts, et à accomplir les tâches les plus variées plus vite et plus efficacement que les humains ne pourraient jamais le faire. Les robots guidés par vision sont couramment utilisés pour effectuer des tâches dangereuses et manipuler des objets lourds, augmentant ainsi la sécurité et éliminant les risques de blessures.

Les technologies de détection 3D ont parcouru un long chemin pour offrir tous ces avantages que nous apprécions aujourd'hui — et elles continuent d'évoluer. De la première photographie à l'imagerie numérique, de la 2D à la 3D, et du scan 3D d'objets statiques à la capture de scènes dynamiques. Qu'est-ce qui vient ensuite ?

Avec Tomas Kovacovsky, cofondateur et CTO du groupe Photoneo, nous avons retracé l'histoire de la vision 3D industrielle jusqu'aux dernières avancées qui dominent les tendances actuelles comme l'Industrie 4.0. Faisons un bref aperçu.

La photographie et les premières technologies de capture d'image

Depuis les débuts de la photographie, les humains sont fascinés par la possibilité de capturer et d'enregistrer des événements. La première photo connue a été prise entre 1826 et 1827 par l'inventeur français Joseph Nicéphore Niépce. Son procédé photographique nécessitait au moins huit heures, voire plusieurs jours d'exposition. Son associé Louis Daguerre a développé le premier procédé photographique annoncé publiquement (le daguerréotype) ne prenant que quelques minutes d'exposition. L'invention a été présentée au public en 1839 — année généralement considérée comme la naissance de la photographie pratique.

Pendant longtemps, la photographie n'a servi qu'à enregistrer des événements. Comme le traitement des images prenait du temps, la technologie analogique n'était pas idéale pour la vision industrielle ou la prise de décision automatisée.

En 1969, William Boyle et George E. Smith des laboratoires Bell américains ont inventé le capteur CCD (charge-coupled device) pour l'enregistrement d'images, une étape clé dans le développement de l'imagerie numérique. Un capteur CCD capture les images en convertissant les photons en électrons — c'est-à-dire qu'il prend la lumière et la traduit en données numériques. Bien que les CCD ne puissent pas rivaliser avec le film standard pour la capture d'image à l'époque, ils ont commencé à être utilisés pour certaines applications et le processus s'est enclenché.

De la 2D à la 3D

La détection 2D a lancé l'ère de l'automatisation et est restée l'approche prédominante dans l'automatisation du secteur industriel pendant longtemps. La vision 2D est encore utilisée aujourd'hui dans certaines applications simples, notamment :

• Reconnaissance optique de caractères (OCR) — lecture de textes dactylographiés, manuscrits ou imprimés ; lecture de codes-barres
• Contrôle qualité — souvent combiné à un éclairage spécial pour garantir que les qualités optiques de l'objet scanné restent constantes
• Comptage
• Prélèvement d'objets dans des conditions bien définies

Cependant, la limitation majeure des technologies 2D est qu'elles ne peuvent pas reconnaître les formes d'objets ni mesurer la distance dans la dimension Z.

Les applications 2D nécessitent de bonnes conditions bien définies avec un éclairage additionnel, ce qui limite aussi des applications comme le prélèvement en bac (bin picking). Cette tâche robotique peut être réalisée avec un système de vision 2D mais reste généralement problématique en raison de la position aléatoire des objets dans le bac et de la grande quantité d'informations dans la scène que les systèmes 2D ne peuvent pas gérer.

On a reconnu le besoin d'informations 3D pour automatiser des tâches plus complexes. On a compris que les humains voient leur environnement en 3D et évaluent la distance des objets parce qu'ils ont deux yeux — la vision stéréoscopique.

Dans les années 1960, Larry Roberts, considéré comme le père de la vision par ordinateur, a décrit comment dériver des informations géométriques 3D à partir de photographies 2D de dessins au trait et comment un ordinateur pouvait créer un modèle 3D à partir d'une seule photographie 2D.

Dans les années 1970, un cours « Vision par machine » a débuté au laboratoire d'intelligence artificielle du MIT pour s'attaquer aux tâches de vision machine de bas niveau. David Marr y a développé une approche unique de compréhension de scène par vision par ordinateur, traitant la vision comme un système de traitement de l'information. Son approche partait d'une esquisse 2D, que l'ordinateur enrichissait pour obtenir une image 3D finale.

La recherche en vision machine s'est intensifiée dans les années 1980, apportant de nouvelles théories et concepts. Ceux-ci ont donné naissance à plusieurs technologies distinctes de vision 3D industrielle, progressivement adoptées dans les environnements industriels et de fabrication pour automatiser une vaste gamme de processus.

Premières technologies de vision 3D

L'effort pour imiter la vision stéréoscopique humaine a abouti au développement de l'une des premières technologies de détection 3D — la stéréo passive. Cette méthode de triangulation observe une scène sous deux points de vue et calcule le triangle caméra — objet scanné — caméra, cherchant des corrélations entre les deux images. Basée sur la disparité entre les images, elle calcule la distance (profondeur) depuis l'objet scanné. Cependant, cette approche repose sur la recherche de détails identiques dans les images, donc elle ne fonctionne pas bien avec des murs blancs ou des scènes sans motifs. La fiabilité de la stéréo passive est faible et la sortie 3D a généralement un bruit élevé et nécessite beaucoup de puissance de calcul.

Pour compenser cet inconvénient, les chercheurs ont expérimenté la projection de motifs lumineux sur la scène pour créer une texture artificielle sur la surface et identifier plus facilement les correspondances. Cette méthode s'appelle la stéréo active. Bien que plus fiable que la stéréo passive, la qualité de reconstruction est souvent compromise par des exigences strictes sur le temps de traitement, la rendant insuffisante pour de nombreuses applications.

L'une des méthodes les plus anciennes et encore très populaires pour acquérir de l'information 3D est la profilométrie laser. Cette technique projette une bande étroite de lumière (ou un point) sur une surface 3D, produisant une ligne d'illumination qui apparaît déformée sous un angle autre que celui du projecteur. Cette déviation encode l'information de profondeur. Les scanners linéaires capturent un profil de profondeur à la fois en succession rapide, ce qui exige que l'objet scanné ou la caméra soient en mouvement constant. La profilométrie laser a été l'une des premières méthodes de scan 3D adoptée pour l'usage industriel et reste très populaire en métrologie, par exemple.

Une autre méthode inventée par projection de motifs de lumière structurée sur une scène est la lumière structurée. L'un des travaux les plus cités sur l'utilisation de lumière structurée avec codes binaires pour la restauration numérique est The Digital Michelangelo Project dirigé par Marc Levoy et son équipe à l'université Stanford. Le projet a débuté en 1998 pour numériser les statues de Michel-Ange à l'aide d'un projecteur et d'un capteur caméra. Les données de scan laser du David de Michel-Ange ont ensuite servi à la restauration de la statue débutée en 2002. Bien que la méthode utilisée ne fût pas assez rapide pour des applications temps réel, elle offrait une très haute précision nécessaire à la numérisation de divers artefacts et objets. Grâce à cela, la technologie a trouvé sa niche en métrologie et autres tâches robotiques et de vision machine nécessitant une haute précision de scan.

Progressivement, la technologie de lumière structurée s'est étendue au-delà de la métrologie et a pénétré toutes sortes d'applications en ligne utilisant des robots guidés par vision. L'avantage des scanners 3D à lumière structurée est qu'ils ne nécessitent aucun mouvement. Comme ils peuvent faire un instantané de toute la zone de scan sans devoir faire le tour de l'objet avec le scanner, ils sont plus rapides que les appareils basés sur la profilométrie laser et ne requièrent pas autant de post-traitement de données.

Du statique au dynamique

La capture du mouvement est bien plus difficile que le scan 3D de scènes statiques et disqualifie les méthodes nécessitant des temps d'acquisition plus longs.

Puisque la stéréo passive est une méthode passive n'utilisant aucun éclairage additionnel, elle pourrait être utilisée pour capturer des scènes dynamiques mais seulement sous certaines conditions. Les résultats resteraient médiocres.

La profilométrie laser n'est pas beaucoup plus performante que la stéréo passive à cet égard. Comme elle capture un profil à la fois, pour faire un instantané complet de la scène, la caméra ou la scène doit bouger. Cependant, la technologie ne peut pas capturer un événement dynamique. Pour reconstruire la profondeur d'un seul profil, elle nécessite la capture d'une image de zone étroite, dont la taille limite la fréquence d'images et par conséquent la vitesse de scan.

Les systèmes à lumière structurée, eux, projettent plusieurs motifs lumineux sur la scène en séquence, l'un après l'autre. Pour cela, la scène doit être statique. Si l'objet scanné ou la caméra bouge, le code se brise et le nuage de points 3D sera déformé.

Le besoin de reconstruire en 3D des objets dynamiques a conduit au développement des systèmes Time-of-Flight (ToF). Similaire à la technologie de lumière structurée, le ToF est une méthode active qui envoie des signaux lumineux vers la scène et les interprète avec la caméra et son logiciel. Contrairement à la lumière structurée, le ToF structure la lumière dans le temps et non dans l'espace. Il fonctionne sur le principe de la mesure du temps pendant lequel un signal lumineux émis depuis la source atteint l'objet scanné et revient au capteur.

Les premiers systèmes ToF avaient une qualité plutôt faible. Les grands acteurs de ce domaine incluaient des entreprises comme Canesta, 3DV Systems, ou Microsoft (qui a ensuite acquis les deux). L'un des premiers projets connus était la ZCam — une caméra Time-of-Flight développée par 3DV et rachetée par Microsoft pour l'acquisition d'informations 3D et l'interaction avec des objets virtuels dans la console de jeu Xbox de Microsoft.

En 2010, Microsoft a lancé son système de capteur Kinect pour Xbox, une caméra de détection de mouvement basée sur la technologie PrimeSense. La technologie PrimeSense utilisait un motif structuré pour encoder certains pixels (pas tous) et obtenir de l'information 3D. Bien que la méthode ne puisse pas fournir une haute résolution et des contours détaillés sur les bords des objets scannés, elle a été largement adoptée car sa vitesse de traitement était assez rapide et la technologie très abordable. Elle a été principalement utilisée dans le domaine académique mais on la trouve aussi difficilement dans l'environnement industriel pour le prélèvement robotique et autres tâches.

Contrairement à Kinect 1, Kinect 2 était basé sur la technologie ToF. Les avancées du ToF ont rendu la méthode de plus en plus populaire et largement adoptée — elle pouvait fournir une meilleure qualité que la technologie PrimeSense, mais la résolution des scans 3D de scènes dynamiques restait encore insuffisante.

Les systèmes ToF d'aujourd'hui sont assez populaires dans les applications de vision 3D grâce à leur vitesse de scan rapide et leur acquisition quasi temps réel. Cependant, leur résolution reste un problème et ils luttent aussi contre des niveaux de bruit plus élevés.

En 2013, Photoneo a eu l'idée révolutionnaire de capturer des objets en mouvement rapide pour obtenir de l'information 3D en haute résolution et précision submillimétrique.

La technologie brevetée de lumière structurée parallèle repose sur un capteur CMOS spécial et propriétaire doté d'un obturateur multi-taps à motif de pixels en mosaïque, qui change fondamentalement la façon dont une image peut être prise.

Cette nouvelle approche par instantané utilise la lumière structurée mais inverse les rôles de la caméra et du projecteur : tandis que les systèmes à lumière structurée émettent plusieurs motifs depuis le projecteur en séquence, la technologie de lumière structurée parallèle envoie un simple balayage laser, sans motif, à travers la scène et construit les motifs de l'autre côté — dans le capteur CMOS. Tout cela se produit en une seule instance temporelle et permet la construction de multiples images virtuelles au sein d'une seule fenêtre d'exposition. Le résultat est une image 3D haute résolution et haute précision de scènes en mouvement sans artefacts de mouvement.

Une scène dynamique capturée par la technologie de lumière structurée parallèle.

La technologie de lumière structurée parallèle est implémentée dans la caméra 3D MotionCam-3D de Photoneo. Le développement de la caméra et sa mise sur le marché ont marqué une étape dans l'histoire de la vision industrielle en redéfinissant la robotique guidée par vision et en étendant les possibilités d'automatisation à un degré sans précédent. Cette nouvelle approche a été reconnue par de nombreux prix, dont le Vision Award 2018, le Vision Systems Design Innovators Platinum Award 2019, le inVision Top Innovations 2019, le IERA Award 2020, le Robotics Business Review's RBR50 Robotics Innovation Awards 2021, le inVision Top Innovations 2021 et le SupplyTech Breakthrough Award 2022.

Scan 3D en mouvement et en couleur

En 2022, Photoneo a étendu les capacités du MotionCam-3D en l'équipant d'une unité couleur pour la capture de données colorimétriques. Le MotionCam-3D Color est considéré comme la prochaine balle d'argent en vision industrielle car il permet enfin la création en temps réel de nuages de points 3D colorés de scènes en mouvement en qualité parfaite. Grâce à la combinaison unique de géométrie 3D, mouvement et couleur, la caméra ouvre la porte à des applications IA exigeantes et des tâches robotiques qui ne reposent pas seulement sur l'information de profondeur mais aussi sur les données couleur.

Création en temps réel de nuage de points 3D coloré d'une scène en mouvement avec MotionCam-3D Color.

Domaines d'application rendus possibles par les innovations en vision industrielle

Les possibilités offertes par les dernières innovations en vision 3D industrielle permettent d'automatiser des tâches qui étaient infaisables jusqu'à récemment. Ces applications se trouvent dans la fabrication, la logistique, l'automobile, l'épicerie, l'agriculture, la médecine et d'autres secteurs et incluent :

• Manipulation robotique d'objets en mouvement constant ou aléatoire
• Prélèvement sur convoyeurs et convoyeurs aériens
• Manipulation main-œil
• Création de modèles 3D pour inspection et contrôle qualité
• Nettoyage et peinture de grands objets
• Opérations de maintenance en RV/RA
• Tri et récolte en agriculture
• Et bien d'autres

Qu'est-ce qui nous attend ?

La vision industrielle continue de se développer pour apporter de nouvelles avancées et possibilités. La direction des innovations est toujours influencée par les demandes du marché, les attentes des clients, la concurrence et d'autres facteurs.

On peut s'attendre à ce que la tendance au déploiement de l'IA dans tous les domaines de la vision industrielle se poursuive avec pour but d'éliminer le développement d'algorithmes sur mesure. On voit un énorme potentiel dans le domaine de l'intelligence artificielle (IA) et sa combinaison avec la technologie de lumière structurée parallèle. D'un côté, l'IA dépend de bonnes données. De l'autre, la nouvelle technologie de vision industrielle peut fournir une grande quantité de données 3D réelles de haute qualité. Combiner ces deux approches peut transformer la robotique intelligente et permettre une nouvelle sphère de possibilités.

Une autre direction prometteuse pour les développements futurs est l'informatique en périphérie (edge computing). Les fabricants vont probablement continuer leurs efforts pour intégrer l'IA directement dans les capteurs et les spécialiser pour un but défini (ex. comptage de personnes, dimensionnement, détection automatisée de caractéristiques d'objets définies), facilitant le déploiement pour les intégrateurs et minimisant le besoin de composants additionnels. De nouvelles solutions matérielles capables de capturer des scènes en mouvement combinées à des algorithmes IA avancés étendront les champs d'application toujours plus larges, même dans des domaines plus exigeants comme la robotique collaborative ou l'automatisation logistique complète.