Microsoft Révèle AttnGAN : IA Transformant Descriptions Textuelles en Images Photoréalistes

• AttnGAN de Microsoft peut générer des images haute fidélité depuis du texte brut et légendes.
• Le système emploie une architecture à deux modèles : un générateur qui crée l'image et un discriminateur qui évalue son réalisme.
• Il ajoute des détails contextuellement pertinents au-delà du prompt, démontrant une couche d'« imagination » interne.
• Applications futures potentielles : production animation entièrement automatisée guidée par scénarios.

Alors que les efforts précédents ont amélioré la synthèse texte-vers-image, AttnGAN de Microsoft fait avancer le domaine en générant des images photoréalistes depuis des prompts textuels concis, tirant parti d'une vaste bibliothèque d'images étiquetées.

Développé chez Microsoft Research, AttnGAN analyse les mots individuels d'un prompt pour guider la construction d'image. Selon l'équipe, l'approche délivre environ trois fois meilleure qualité d'image que les modèles state-of-the-art antérieurs.

Le Processus Créatif du Bot

Imaginez qu'on vous demande de dessiner un oiseau bleu avec ailes rouges et bec court. Vous commenceriez par une ébauche, puis rempliriez couleurs et détails. AttnGAN suit la même logique, analysant chaque mot pour construire une image détaillée, cohérente.

Le bot peut rendre n'importe quel sujet — des gadgets à la faune — et ajoute souvent des éléments d'arrière-plan contextuellement appropriés qui n'étaient pas explicitement mentionnés, montrant sa capacité pour le détail « imaginé ».

Les images sont synthétisées pixel par pixel from scratch, permettant au modèle de créer des scènes qui n'existent pas dans la réalité. Cette tâche générative est inhérentement plus complexe que simplement étiqueter une photo existante.

Comment AttnGAN Génère les Images

1. Générateur : Crée images basées sur la description textuelle.
2. Discriminateur : Évalue l'authenticité de l'image générée face à la description.

Les deux modèles sont entraînés conjointement, permettant au générateur d'apprendre du feedback du discriminateur et d'atteindre une fidélité progressivement plus haute.

L'entraînement a impliqué des milliers de datasets photo-légende appariés, enseignant à AttnGAN à mapper mots spécifiques vers patterns visuels. Par exemple, le mot « éléphant » déclenche le modèle pour produire une image correspondant à l'apparence typique d'un éléphant.

Le système décompose les phrases complexes en mots individuels, alignant chaque mot avec une région de l'image. Pendant l'entraînement, il apprend aussi du « sens commun artificiel » pour combler les détails manquants, assurant une composition réaliste.

Dans cet exemple, le prompt ne mentionnait qu'un oiseau. AttnGAN a intelligemment placé l'oiseau sur une branche, un contexte réel commun appris de ses données d'entraînement. Cela démontre la capacité du modèle à appliquer des connaissances contextuelles.

arXiv:1711.10485 – Article de recherche Microsoft détaillant AttnGAN.

Mis au défi de représenter un bus à impériale flottant sur un lac, le modèle a produit une scène floue mais reconnaissablement mixte, soulignant sa difficulté à réconcilier des éléments conflictuels dans le prompt.

Performance et Cas d'Usage

AttnGAN surpasse les benchmarks précédents, atteignant une amélioration de 170,25 % sur le score inception du dataset COCO et un gain de 14,14 % sur le dataset CUB.

Applications potentielles : assistants esquisse pour designers d'intérieur, raffinement photo activé vocalement, et, avec développement supplémentaire, production animation entièrement automatisée depuis scénarios.

Autres Générateurs d'Art IA

Microsoft n'est pas seul à fusionner art et IA. DeepDream de Google a créé des images psychédéliques montrées en 2016, tandis que son IA a produit musique et synthèse vocale comme Tacotron 2. Facebook et Nvidia ont aussi libéré des modèles génératifs pour voitures, navires, animaux, et même avatars célébrités synthétiques.

Lire sur l'IA voix humaine-like de Google Tacotron 2.