L'IA de Samsung génère des avatars parlants réalistes à partir d'une seule photo

• Un nouveau modèle d'IA peut fabriquer des avatars parlants à partir d'une seule image.
• Les développeurs ont appliqué ce modèle à des peintures célèbres, dont Léonard de Vinci et la Joconde.
• Les résultats présentent quelques artefacts visuels, mais sont bien plus impressionnants que les techniques précédentes.

Les logiciels de génération de deepfakes (technique basée sur l'IA pour la synthèse d'images humaines) nécessitent de grands ensembles d'images pour créer une falsification réaliste. Les avancées récentes dans les réseaux de neurones ont montré comment des images humaines hautement réalistes peuvent être obtenues en entraînant le réseau sur une large gamme de jeux de données.

Cependant, les développeurs du centre de recherche Samsung à Moscou ont maintenant développé un nouveau modèle d'intelligence artificielle (IA) capable de créer des avatars parlants à partir d'une seule image. Bien qu'il soit possible de fabriquer un clip vidéo à partir d'une image, l'entraîner avec plusieurs images donne une meilleure préservation de l'identité et un réalisme supérieur.

Les têtes parlantes générées par ce modèle peuvent gérer diverses poses, y compris celles qui dépassent les capacités des systèmes basés sur la déformation. On peut trouver quelques artefacts visuels, mais les résultats sont bien plus impressionnants comparés aux techniques précédentes. Le modèle conduit à la création de contenus multimédias qui seront finalement difficiles à distinguer de la vraie vidéo.

Défis impliqués

La fabrication de séquences d'avatars parlants réalistes est difficile principalement pour deux raisons :

1. Les têtes humaines ont une complexité kinématique, géométrique et photométrique élevée. Il est nécessaire de modéliser avec précision les cheveux, les yeux, la cavité buccale et de nombreux autres éléments.
2. L'acuité du système visuel face aux infimes erreurs dans le modèle d'apparence des têtes humaines.

Pour répondre à ces problèmes, le nouveau modèle d'IA crée trois réseaux de neurones pendant le processus d'apprentissage. Il construit un réseau d'encodage qui relie les points de repère du visage aux vecteurs. Ensuite, il construit un réseau générateur pour mapper les points de repère dans les clips synthétisés. À l'étape finale, le réseau discriminateur évalue la pose et le réalisme des images.

Référence : arXiv:1905.08233 | YouTube

Pour mieux comprendre les points de repère et mouvements du visage, les chercheurs ont entraîné les réseaux sur des milliers de vidéos YouTube d'humains parlant. Les résultats (têtes parlantes) ont ensuite été comparés avec d'autres réseaux de neurones via des mesures quantitatives.

Résultats

L'équipe a appliqué ce modèle sur des images de nombreuses personnalités populaires, telles que la Joconde, Léonard de Vinci et Albert Einstein. L'IA a pu fabriquer des vidéos parlantes à partir d'une seule image, donnant vie à des portraits classiques. Elle n'a besoin que d'une photo pour créer des vidéos. Cependant, un modèle entraîné sur 32 images peut atteindre un meilleur score de personnalisation et un réalisme parfait.

Ce type d'IA peut avoir plusieurs applications pratiques dans la téléprésence, notamment les jeux multijoueurs, la visioconférence, ainsi que l'industrie des effets spéciaux.

À lire : IBM développe une IA qui détecte une scène dans une vidéo

En revanche, le développement rapide de telles techniques pourrait soulever des risques de désinformation, d'usurpation d'identité, de fraude et de manipulation électorale.