Samsung AI peut créer des séquences parlantes à partir d'une seule photo

• Un nouveau modèle d'IA peut fabriquer des avatars parlants à partir d'une seule image.
• Les développeurs ont appliqué ce modèle à des peintures populaires, dont Léonard de Vinci et Mona Lisa.
• Les résultats ont quelques problèmes visuels, mais ils sont bien plus impressionnants que les techniques précédentes.

Un logiciel pour générer des deepfakes (une technique basée sur l'intelligence artificielle pour la synthèse d'images humaines) nécessite de grands ensembles d'images pour créer une contrefaçon réaliste. Les progrès récents des réseaux de neurones ont montré comment des images humaines très réalistes peuvent être obtenues en entraînant le réseau sur un large éventail d'ensembles de données.

Cependant, les développeurs du centre de recherche Samsung à Moscou ont maintenant développé un nouveau modèle d'intelligence artificielle (IA) qui peut créer des avatars parlants à partir d'une seule image. Bien qu'il soit possible de fabriquer un clip vidéo à partir d'une seule image, l'entraînement à travers plusieurs images permet de mieux identifier la préservation et un plus grand réalisme.

Les têtes parlantes générées par ce modèle peuvent gérer diverses poses, y compris celles qui dépassent les capacités des systèmes basés sur la déformation. Vous pouvez rencontrer des problèmes visuels, mais les résultats sont très impressionnants par rapport aux techniques précédentes. Le modèle conduit à la création d'un multimédia qui sera finalement difficile à distinguer de la vraie vidéo.

Défis impliqués

Fabriquer des séquences d'avatars parlants réalistes est difficile principalement pour deux raisons -

1. Les têtes humaines ont une complexité cinématique, géométrique et photométrique élevée. Il est nécessaire de modéliser avec précision les cheveux, les yeux, la cavité buccale et de nombreux autres éléments.
2. L'acuité du système visuel vis-à-vis des petites erreurs d'apparence modélisant les têtes humaines.

Pour résoudre ces problèmes, le nouveau modèle d'IA crée trois réseaux de neurones au cours du processus d'apprentissage. Il construit un réseau intégré qui connecte les cadres de repères de visage avec des vecteurs. Ensuite, il construit un réseau de générateurs pour cartographier les points de repère dans les clips synthétisés. Dans la dernière étape, le réseau discriminateur évalue la pose et le réalisme des images.

Référence :arXiv:1905.08233 | YouTube

Pour mieux comprendre les repères et les mouvements du visage, les chercheurs ont formé les réseaux sur des milliers de vidéos YouTube d'humains en train de parler. Les résultats (têtes parlantes) ont ensuite été comparés à d'autres réseaux de neurones via des mesures quantitatives.

Résultats

L'équipe a appliqué ce modèle sur des images de nombreuses figures populaires, telles que Mona Lisa, Leonardo Da Vinci et Albert Einstein. L'IA a pu fabriquer des vidéos parlantes à partir d'une seule image, donnant vie à des portraits classiques. Il n'a besoin que d'une photo pour créer des vidéos. Cependant, un modèle formé sur 32 images peut atteindre un meilleur score de personnalisation et un réalisme parfait.

Ce type d'IA peut avoir plusieurs applications pratiques en téléprésence, y compris les jeux multijoueurs, la vidéoconférence, ainsi que les industries des effets spéciaux.

Lire :IBM développe une IA qui détecte une scène dans une vidéo

En revanche, le développement rapide de ces techniques pourrait augmenter les risques de désinformation, d'usurpation d'identité, de fraude et de falsification des élections.