Réseau de neurones NIST : détection de formes géométriques minuscules dans images denses avec 97% de précision

Extraction automatique de données depuis graphiques scientifiques

Dans le but de capturer automatiquement des données importantes depuis des articles scientifiques, des informaticiens du National Institute of Standards and Technology (NIST) ont développé une méthode pour détecter avec précision de petits objets géométriques comme des triangles dans des graphiques denses, de basse qualité, contenus dans des données d'image. En employant une approche par réseau de neurones conçue pour détecter des motifs, le modèle NIST a de nombreuses applications possibles dans la vie moderne.

Performance : 97% de détection, localisation à quelques pixels

Le modèle de réseau de neurones du NIST a capturé 97% des objets dans un ensemble défini d'images de test, localisant les centres des objets à quelques pixels près de positions sélectionnées manuellement. Les chercheurs ont pris les données d'articles de revues remontant au début des années 1900 dans une base de données de propriétés métalliques au Thermodynamics Research Center (TRC) du NIST. Souvent les résultats n'étaient présentés qu'en format graphique, parfois dessinés à la main et dégradés par numérisation ou photocopie. Les chercheurs voulaient extraire les positions des points de données pour récupérer les données brutes originales pour analyse supplémentaire. Jusqu'à présent, de telles données étaient extraites manuellement.

Défis : marqueurs incohérents, chevauchements, bruit

Les images présentent des points de données avec une variété de marqueurs différents, principalement cercles, triangles et carrés, pleins et vides, de tailles et clartés variables. De tels marqueurs géométriques sont souvent utilisés pour étiqueter des données dans un graphique scientifique. Texte, nombres et autres symboles, qui peuvent faussement apparaître comme des points de données, ont été manuellement retirés d'un sous-ensemble de figures avec un logiciel d'édition graphique avant l'entraînement des réseaux de neurones.

La détection et la localisation précises des marqueurs de données était un défi pour plusieurs raisons. Les marqueurs sont incohérents en clarté et forme exacte ; ils peuvent être vides ou pleins et sont parfois flous ou déformés. Certains cercles apparaissent extrêmement circulaires, par exemple, alors que d'autres n'ont pas assez de pixels pour définir pleinement leur forme. De plus, de nombreuses images contiennent des zones très denses de cercles, carrés et triangles chevauchants.

Les chercheurs cherchaient à créer un modèle de réseau identifiant les points de tracé au moins aussi précisément que la détection manuelle — à 5 pixels près de la position réelle sur un graphique de plusieurs milliers de pixels par côté.

Architecture U-Net et optimisation des masques d'entraînement

Les chercheurs du NIST ont adopté une architecture de réseau développée à l'origine par des chercheurs allemands pour l'analyse d'images biomédicales, appelée U-Net. D'abord les dimensions de l'image sont contractées pour réduire l'information spatiale, puis des couches d'information de caractéristiques et de contexte sont ajoutées pour construire des résultats précis à haute résolution.

Pour aider à entraîner le réseau à classifier les formes de marqueurs et localiser leurs centres, les chercheurs ont expérimenté quatre façons de marquer les données d'entraînement avec des masques, en utilisant des marquages centraux de tailles différentes et des contours pour chaque objet géométrique.

Les chercheurs ont constaté qu'ajouter plus d'information aux masques, comme des contours plus épais, augmentait la précision de classification des formes d'objets mais réduisait la précision de localisation de leurs positions sur les graphiques. Au final, les chercheurs ont combiné les meilleurs aspects de plusieurs modèles pour obtenir la meilleure classification et les plus petites erreurs de localisation. Modifier les masques s'est avéré être le meilleur moyen d'améliorer la performance du réseau, plus efficace que d'autres approches comme de petits changements en fin de réseau.

Résultats et application

La meilleure performance du réseau — une précision de 97% dans la localisation des centres d'objets — n'était possible que pour un sous-ensemble d'images où les points de tracé étaient initialement représentés par des cercles, triangles et carrés très clairs. La performance est suffisante pour que le TRC utilise le réseau de neurones pour récupérer des données depuis des graphiques dans des articles de revues plus récents.