L'IA génère des images de repas réalistes à partir de recettes textuelles

Générer des images à partir d'une courte description visuelle est une tâche difficile et a de nombreuses applications en vision par ordinateur. Des études récentes ont prouvé que les Réseaux Antagonistes Génératifs (GAN) peuvent synthétiser efficacement des images de haute qualité, réalistes, avec une faible résolution et une faible variabilité.

Réseaux Antagonistes Génératifs Conditionnels

Fondamentalement, les GAN sont composés de deux modèles (générateur et discriminateur) qui sont entraînés à compétitionner l'un contre l'autre. Le générateur est conçu pour synthétiser des images similaires à la distribution de données originale, tandis que le travail du discriminateur est de différencier entre les images originales et synthétiques.

Dans ce travail, les chercheurs ont utilisé des GAN conditionnels dans lesquels à la fois le générateur et le discriminateur sont contraints de considérer une condition spécifique. Ils ont proposé deux types de techniques de régularisation : sémantique et non-sémantique. Ces techniques sont composées de trois étapes :

1. Intégration initiale des ingrédients et des instructions de cuisson.
2. Intégration neuronale combinée de toute la recette.
3. Intégration d'une perte de régularisation sémantique utilisant un objectif de classification de haut niveau.

Le GAN conditionnel est entraîné sur 52 000 recettes textuelles et leurs images correspondantes. Il est entraîné en utilisant des GPU NVIDIA TITAN X avec la bibliothèque CUDA Deep Neural Network. Une fois entraîné, le système a construit des images de ce à quoi la recette pourrait ressembler à partir d'une longue description (qui ne contenait aucune information visuelle).

Référence : arXiv:1901.02404 | Université de Tel-Aviv

Évaluation humaine

Le réseau prend une recette en entrée et crée une image (de zéro) qui reflète le mieux la description textuelle de la nourriture. Ce qui est vraiment impressionnant ici, c'est que le système n'a pas accès au titre de la recette — sinon, le travail serait trop facile — et le texte de la recette est assez long. Cela rend la tâche difficile même pour les humains.

Avec l'aimable autorisation des chercheurs

Pour mieux évaluer les images synthétisées, l'équipe a demandé à 30 personnes de juger les images les plus attrayantes sur une échelle de 1 à 5. Ils ont présenté 10 paires correspondantes d'images résultantes (choisies au hasard) générées par chaque technique d'intégration.

Les résultats ont montré que la méthode de régularisation non-sémantique surpasse la régularisation sémantique en produisant des images plus vives avec des détails photoréalistes. En fait, certaines personnes ont trouvé très difficile de différencier entre les images réelles et synthétiques.

De plus, les deux techniques d'intégration ont réussi à produire des images de nourriture « style bouillie » (telles que salades, soupes et riz) mais peinent à créer des images de nourriture qui ont une forme distinctive (telles que poulet, hamburger et boissons).