L'IA débruit les images bruyantes sans données d'entraînement propres

• Les réseaux de neurones peuvent améliorer automatiquement vos photos sans jamais savoir à quoi ressemble une photo sans bruit.
• Il peut être utilisé pour la photographie en basse lumière, l'imagerie par résonance magnétique et la synthèse d'images physiques. 

Ne serait-il pas bien si vous pouviez prendre vos photos faiblement éclairées, pixellisées ou granuleuses et supprimer les artefacts et le bruit sans utiliser Photoshop. Un nouveau modèle d'apprentissage automatique peut faire de même en observant simplement des échantillons d'images corrompues.

La reconstruction du signal à partir de mesures corrompues est une partie cruciale de l'analyse des données statistiques. De nos jours, nous constatons beaucoup d'intérêt pour éviter la modélisation statistique conventionnelle des corruptions de signaux, en raison des progrès récents des techniques d'apprentissage automatique.

Des chercheurs du MIT, de NVIDIA et de l'Université Aalto ont appliqué un raisonnement statistique de base à la reconstruction du signal à l'aide de réseaux neuronaux. Il apprend à restaurer les signaux sans jamais regarder les signaux propres.

C’est différent des autres méthodes de pointe ou de l’IA récemment développée pour améliorer l’image. Alors que d'autres techniques d'apprentissage automatique dans ce domaine se concentrent sur la formation d'un réseau neuronal pour restaurer des photos en affichant à la fois des images bruitées et nettes, cette méthode ne nécessite qu'une paire d'images d'entrée avec le grain ou le bruit.

Ce système d'intelligence artificielle peut automatiquement améliorer vos photos sans jamais avoir à savoir à quoi ressemble une photo sans bruit.

Les techniques conventionnelles d'apprentissage automatique impliquent la formation d'un modèle de régression comme un réseau neuronal convolutif avec de grands ensembles de données contenant des paires d'entrées corrompues (images bruyantes) et une cible propre (image fixe), et la réduction du risque empirique.

D’un autre côté, dans cette méthode, les cibles propres peuvent être complètement éliminées, à condition que le réseau soit capable d’observer chaque image source deux fois. Il peut être entraîné à corriger les images présentant un contenu aberrant important (50 %). Parfois, il surpasse le modèle en utilisant des exemplaires propres. De plus, c’est une tâche moins coûteuse que d’obtenir une cible propre. 

Référence :arXiv:1803.04189 | NVIDIA

Pour entraîner le réseau sur 50 000 images, les chercheurs ont utilisé des GPU NVIDIA Tesla P100 avec le framework TensorFlow alimenté par la bibliothèque de réseaux neuronaux profonds CUDA.

Applications

Il existe de nombreux scénarios du monde réel dans lesquels l'acquisition de données d'entraînement claires est une tâche difficile :imagerie en basse lumière comme la photographie astronomique, imagerie par résonance magnétique et synthèse d'images basées sur la physique.

Évidemment, le réseau ne peut pas apprendre à détecter des fonctionnalités qui ne sont pas présentes dans les images d'entrée, mais il en va de même pour l'entraînement avec des cibles propres.

Exemple de reconstruction IRM | Avec l'aimable autorisation des chercheurs

Lire :NVIDIA AI peut convertir des vidéos à 30 ips en 240 ips

Dans cette étude, les chercheurs ont commencé avec une distribution de bruit standard (y compris le bruit gaussien additif) et ont continué avec le bruit de Monte Carlo plus résistant et intraitable analytiquement dans la synthèse d'images. Ils ont également observé que la reconstruction d'images à partir d'un échantillonnage spectral sub-Nyquist en IRM (imagerie par résonance magnétique) ne peut être apprise qu'à partir d'images bruitées.