Robotique guidée par la vision

Première partie

Le moteur de la numérisation est la demande croissante de précision, de qualité améliorée et de fiabilité. La dynamique du marché a obligé l'industrie manufacturière à proposer de nouveaux produits, des conceptions modifiées pour correspondre à l'évolution des sentiments des consommateurs, des personnalisations et des livraisons plus rapides. Les robots sont les amis de l'industrie manufacturière depuis des décennies, tout comme la "vision artificielle" en soi.

La robotique et la vision artificielle ont atteint indépendamment la stabilité et la maturité technologique. Les développements récents ont été plutôt complémentaires les uns des autres pour rendre les processus plus efficaces. Cet article apportera des éclaircissements sur la robotique guidée par la vision (VGR) dans le segment manufacturier. Bien que VGR soit également pertinent pour d'autres types de robots tels que les robots mobiles, les humanoïdes, les robots cartésiens et SCARA, nous nous concentrerons sur les applications et les défis des robots articulés .

Avant d'approfondir notre sujet principal, il est important de comprendre certains concepts importants de la vision industrielle et des robots industriels.

Vision industrielle peut être défini comme l'atomisation de la vision humaine. Il doit non seulement capturer une image (la fonction de nos yeux), mais aussi traiter ces images et générer des résultats (la fonction du cerveau). Les systèmes de vision industrielle reposent sur des capteurs numériques protégés à l'intérieur de caméras industrielles dotées d'optiques spécialisées pour acquérir des images, de sorte que le matériel informatique et les logiciels puissent traiter, analyser et mesurer diverses caractéristiques pour la prise de décision.

Les applications typiques de vision industrielle peuvent être classées en quatre types, à savoir :

• Conseils
• Identification
• Jaugeage
• Contrôle

Alors que des tâches telles que les systèmes d'identification, de jaugeage et d'inspection ont leurs propres objectifs où les robots ajoutent de la valeur à l'application, nous nous concentrons dans cet article sur le guidage des robots . Les systèmes de vision industrielle (MV) peuvent localiser une pièce et s'assurer qu'elle est placée correctement dans un assemblage particulier. Les systèmes MV peuvent également aider à identifier l'emplacement d'un composant dans l'espace 2D ou 3D, et aider les robots à suivre avec précision les coordonnées de ce composant. Les systèmes MT réduisent la complexité d'avoir des appareils nécessaires à cette fin. Pour comprendre cela, nous devons d'abord examiner comment un robot se positionne pour localiser le composant.

Un système de coordonnées de robot comprend différents référentiels. Les principaux systèmes de coordonnées utilisés pour décrire le mouvement d'un robot sont présentés ci-dessous dans la Figure 1.1 . Le contrôle de la pince ou de l'outil est le plus important et sa position est obtenue par des mouvements coordonnés d'un ou de tous les axes du robot. Étant donné que différents types de pinces et d'outils ont des dimensions différentes, un point spécial appelé point central de l'outil (TCP) est sélectionné, indépendamment du type d'outil. Ce point est le point d'origine du système de coordonnées de l'outil. Un point similaire peut être utilisé pour décrire la pince ou le système de coordonnées du poignet. Les connexions mutuelles d'un outil, d'un poignet et d'autres systèmes de coordonnées sont illustrées à la Figure 1.2 .

Figure 1.1

Figure 1.2

Images :ABB Robotique

Le TCP est en relation avec les coordonnées du poignet, les coordonnées de base, les coordonnées mondiales et les systèmes de coordonnées de l'objet. Idéalement, on s'attend à ce que les coordonnées de l'objet correspondent précisément avec les coordonnées définies du TCP, ce qui signifie que le point d'origine de l'objet est enseigné au robot via la programmation et que les coordonnées TCP sont enregistrées. Par conséquent, pour obtenir une précision répétée, le robot et l'objet doivent se trouver au même point à chaque fois.

Le positionnement du robot est régi par des servomécanismes et est donc assez précis. Dans le cas de composants fixes, leur précision de positionnement dépend d'un certain nombre de facteurs tels que les tolérances d'usinage, les tolérances de fixation de positionnement et la précision et la répétabilité du positionnement de la table d'indexage. Par conséquent, le TCP du robot peut ne pas correspondre aux coordonnées réelles de l'objet en raison du décalage entre ses coordonnées souhaitées et réelles, et il y aura une erreur de positionnement. Si le robot est censé ramasser l'objet ou effectuer une opération sur celui-ci alors que l'objet arrive au hasard sur un convoyeur, alors déterminer son origine devient presque impossible s'il n'y a pas de système comme la vision artificielle pour le guider.

S'ils sont déployés, les systèmes de vision industrielle peuvent identifier les coordonnées en temps réel de l'objet et les transmettre au robot, qui compense ensuite le décalage dans le TCP. Ainsi la précision de positionnement de l'outil est assurée. Cette méthode est principalement utilisée pour des applications telles que le soudage et la distribution de colle, pour les composants de montage et pour le "pick and place" robotique d'objets distribués de manière aléatoire sur un convoyeur en mouvement. Les exemples ci-dessus sont valables pour les objets ayant des imprécisions de positionnement le long du plan 2D, donc un système de vision industrielle 2D serait utilisé.

Préparation et placement robotisés à grande vitesse d'objets à l'aide d'un guidage par vision 2D. Image :Cognex Corporation

Pour des applications telles que le ramassage robotisé de poubelles, où le robot est censé ramasser des objets conservés au hasard dans une poubelle, une analyse spatiale 3D devient nécessaire. Ici, non seulement les coordonnées X, Y et Z sont importantes, mais les angles d'orientation le long des trois axes sont cruciaux pour que le robot identifie l'objet le plus facile à sélectionner sans aucune collision. Il est évident que les systèmes de vision industrielle 3D sont déployés dans ce paramètre.

Le système de vision artificielle 3D le plus populaire est une configuration utilisant la vision stéréo avec deux caméras fournissant les coordonnées et la carte de hauteur. La tâche cruciale ici est l'étalonnage de la caméra et l'algorithme de vision artificielle qui combinera les images des deux caméras et créera une image 3D. Une image du bac est analysée pour dériver les coordonnées TCP du composant le plus facile à sélectionner. Certaines autres techniques 3D sont la triangulation laser et le temps de vol.

Prélèvement de bacs robotisé à l'aide d'un guidage par vision 3D. Image :Robotique Yaskawa

Partie II

Acquisition d'images

Une image de bonne qualité est la clé d'un VGR réussi. Les trois composants principaux ici sont la caméra, l'optique et l'éclairage.

Appareil photo : Certains éléments importants doivent être pris en compte lors de la sélection des caméras pour les applications robotiques. Bien que les caméras commerciales sur le marché acquièrent des images, les environnements industriels où ces systèmes sont déployés peuvent être très difficiles. Ici, les caméras sont exposées à des environnements difficiles et sont censés fournir des images cohérentes de bonne qualité à chaque fois pendant des centaines de milliers de cycles. Ajoutez à cela les chocs et les vibrations engendrés par les mouvements du robot et les vibrations globales de l'équipement.

Les interfaces de communication doivent être robustes et supporter ces conditions difficiles afin qu'il n'y ait aucune interruption des communications pendant l'opération. Les protocoles basés sur Ethernet offrent une bonne fiabilité et des longueurs de câble plus longues nécessaires pour cette application . La conformité à la protection contre les infiltrations devient cruciale, en particulier si le système est déployé dans un environnement poussiéreux. Le PoE est une source d'alimentation préférable pour éviter plusieurs câbles. Les câbles de la caméra sont soumis à de nombreuses flexions cycliques à travers les chemins de câbles et les faisceaux sur le bras du robot, donc des câbles compatibles avec la chaîne de dragage doivent être utilisés.

Image :Baumer

Image :Pickit 3D

La résolution de la caméra doit être calculée en tenant compte du champ de vision global (FOV) et de la précision de positionnement souhaitée.

Optique : Des optiques appropriées en fonction du FOV, de la distance de travail (WD) et de la taille du capteur de la caméra doivent être sélectionnées. Les deux facteurs les plus importants à prendre en compte sont :

1. La distorsion en barillet doit être réduite au minimum possible, et
2. La robustesse de l'objectif, car il est soumis à la même quantité de chocs et de vibrations que l'appareil photo ; les paramètres cruciaux de l'objectif tels que l'iris et la mise au point peuvent être affectés s'ils ne sont pas pris en compte

Éclairage : L'illumination de l'objet joue un rôle crucial dans VGR. L'éclairage doit être tel qu'il mette en évidence la caractéristique à inspecter dans le composant. Le composant ou le contour qui est programmé doit être précisément identifié dans la précision souhaitée du système. Par conséquent, en fonction de l'objet et du contour, un éclairage approprié doit être sélectionné. Alors que les applications de prélèvement de composants ou de soudage/distribution de colle nécessitent principalement de simples lumières à barre diffuse, les applications robotisées de prélèvement de bacs utilisant des caméras stéréo utilisent souvent des lumières structurées projetées sur le composant pour recueillir les contours et dériver des profils.

Éclairage structuré utilisé dans le prélèvement de bacs 3D. Image :Solomon 3D

Les défis de la robotique avec la vision artificielle

Dans une application de vision industrielle robotique 2D standard, plusieurs défis doivent être relevés :

• Distorsions
• Étalonnage des coordonnées
• Étalonnage Z
• Alignement des coordonnées

Distorsions : Il existe deux principaux types de distorsions qui se produisent et doivent être corrigées avant que le système de vision soit prêt pour le VGR.

• Distorsions de l'objectif : Les objectifs (en particulier ceux à grand angle) provoquent des distorsions dans l'image acquise. C'est ce qu'on appelle la "distorsion en barillet".
  

Distorsion en barillet. Image :Baumer

• Distorsions causées par le montage incliné de la caméra
  Image :Baumer

Les robots ont besoin d'espace pour fonctionner, les caméras doivent donc souvent être montées dans une position inclinée. Cela provoque une distorsion de l'image acquise.

Ces deux types de distorsions nécessitent une correction et un calibrage pour que les coordonnées acquises soient précises.

Étalonnage des coordonnées : Les robots fonctionnent sur des systèmes de coordonnées définis en unités telles que les millimètres ou les pouces, tandis que les caméras fonctionnent sur le nombre de pixels. Par conséquent, il est nécessaire de calibrer la caméra afin que le système comprenne la corrélation entre les pixels et les unités des systèmes de coordonnées.

Image :Baumer

Il est important que la mesure se produise à la même distance de travail (distance entre la caméra et l'objet) à chaque fois. Étant donné que les robots fonctionnent en 3D, la "préhension" nécessite également une spécification "Z". .

Étalonnage Z : L'étalonnage Z est utilisé pour calculer les coordonnées X et Y si l'axe Z varie dans la profondeur de champ* de l'objectif. La caméra est calibrée selon une procédure spécifique avec la plaque de calibrage (voir plus loin).

Alignement des coordonnées : Le robot et le système de vision ont leurs propres systèmes de coordonnées. Leurs déviations sont :

Pour pallier ce problème, un calibrage est effectué. Le robot connaît sa propre position ainsi que la position du TCP, tandis que le système de vision est calibré sur une plaque de calibrage. Le robot calcule les décalages , et l'alignement est effectué.

Il s'agit d'une étape très importante. Le robot doit suivre la trajectoire qui part du point d'origine défini par le système de vision. S'il n'est pas exécuté correctement, un étalonnage incorrect peut entraîner de graves déviations de trajectoire et entraîner en cas de collision.

Plaque d'étalonnage : L'étalonnage du système de vision s'effectue à l'aide d'une plaque d'étalonnage standard qui comporte des repères aux dimensions précises. Figure 2.1 montre quelques exemples de plaques d'étalonnage.

Figure 2.1

Correction de l'objectif et de la distorsion de montage à l'aide de la plaque d'étalonnage : La plaque d'étalonnage est placée à une certaine distance sous la caméra et l'image est acquise, comme illustré à la Figure 2.2 .

Figure 2.2 :Positionnement de la caméra

Image :Baumer

Une fois le calibrage de la distorsion effectué, l'image semble alignée. Ceci est illustré ci-dessous dans la Figure 2.3 .

Figure 2.3

Étalonnage des coordonnées à l'aide de la plaque d'étalonnage : Les lignes de quadrillage ou les marques sur la plaque d'étalonnage sont liées au nombre de pixels couverts par la caméra. Il est important de positionner précisément le pointeur de localisation sur la plaque d'étalonnage.

Les pointeurs sont placés sur les points/coins de la plaque. Les distances entre ces points sont connues, et sont alors renseignées dans les champs de paramétrage de calibration du logiciel. Le système de vision calcule ensuite le nombre de pixels consommés pour mesurer cette distance. Ce paramètre est valable tant que la distance de travail, le champ de vision et les fixations de la caméra sont maintenus. Le système doit être réétalonné si l'une des trois choses change.

Tendances et avancées

VGR n'est pas une nouvelle technologie. Il s'est déjà développé et est devenu une application assez mature. Presque tous les fabricants de robots proposent désormais des solutions intégrées pour VGR. Cependant, les dernières avancées en matière de technologies de caméras (telles que les caméras à grande vitesse, les caméras de temps de vol 3D et les caméras stéréo intégrées) et les technologies logicielles (telles que l'intelligence artificielle et l'apprentissage automatique) ont ajouté cette pièce supplémentaire de fiabilité et robustesse à l'ensemble de l'application.

Des réseaux de neurones profonds sont déployés pour enseigner et réapprendre différentes possibilités de positionnement et d'orientation des composants sur tous les plans. Les nombreuses possibilités à apprendre peuvent allonger le temps d'apprentissage des réseaux, mais les derniers dispositifs informatiques (comme le GPU) rendent les tâches moins chronophages. Des plates-formes basées sur le cloud pour l'apprentissage automatique sont également en cours de déploiement.

Conclusion

VGR gagnerapidement en popularité dans tous les domaines de l'industrie. L'application autrefois largement pilotée par le segment automobile trouve désormais d'autres preneurs comme l'alimentation et les produits pharmaceutiques pour le prélèvement et le placement robotisés à grande vitesse, la palettisation et la dépalettisation, l'ingénierie lourde pour le suivi des joints du robot de soudage, la distribution de colle, etc. Il est nécessaire de établir des normes pour assurer l'intercompatibilité entre les fabricants de systèmes de vision et les constructeurs de robots. Alors que le monde se tourne vers la « nouvelle normalité » dans le secteur manufacturier, VGR a définitivement un rôle majeur à jouer.