L'IA pilote le rendu des cheveux 3D en temps réel avec 30 000 mèches

• Les chercheurs développent un réseau neuronal capable de produire une géométrie capillaire 3D complète à partir d'une image 2D. 
• Le réseau est capable de restituer jusqu'à 30 000 mèches de cheveux en millisecondes.
• Il peut échantillonner et interpoler en douceur une variété de coiffures, notamment ondulées, bouclées et droites. 

Rendre des cheveux réalistes sur des machines est probablement la tâche la plus difficile lors de la numérisation d'humains virtuels. Comparés à d'autres objets comme les yeux, le nez et les oreilles, les cheveux impliquent un large éventail de variations de forme et peuvent être extrêmement complexes en raison du niveau de déformabilité de chaque mèche et de sa structure volumétrique.

Ce n’est pas comme si les systèmes existants ne pouvaient pas générer de modèles capillaires 3D de haute qualité, mais ils nécessitent généralement des configurations matérielles et logicielles spécifiques, qui ne sont pas facilement déployables. Certaines techniques modernes utilisent des approches basées sur les données, mais elles ne sont pas réalisables pour les applications et les systèmes en temps réel disposant d'un espace mémoire limité.

Aujourd'hui, des chercheurs de Microsoft, Pinscreen et de l'Université de Californie du Sud ont construit un modèle d'apprentissage profond capable de produire une géométrie de cheveux 3D complète à partir d'images 2D en temps réel.

Plutôt que de synthétiser des structures sous forme de nuages de points ou de grilles volumétriques, il crée directement la mèche de cheveux. Cette méthode est plus appropriée pour les structures non multiples et pourrait fournir des détails et une précision plus élevés.

Réseau à cheveux

Le réseau neuronal, appelé HairNet, est capable de produire et de représenter en continu la géométrie des cheveux en 3D. Il peut échantillonner et interpoler en douceur une variété de coiffures, notamment ondulées, bouclées et droites.

Le pipeline du réseau neuronal se compose de 3 étapes :prétraitement, génération de mèches de cheveux et reconstruction.

HairNet contient un encodeur convolutif pour extraire des caractéristiques de haut niveau des cheveux (sous forme de vecteur) à partir d'une image 2D, et un décodeur déconvolutionnel pour générer 32*32 caractéristiques de mèches uniformément réparties sur le cuir chevelu. Ces caractéristiques des brins sont ensuite interpolées sur l'espace du cuir chevelu, qui sont finalement représentées sous forme de séries de points 3D.

Architecture réseau | Avec l'aimable autorisation des chercheurs 

Afin de pousser les coiffures rendues vers un espace plus plausible, les chercheurs ont introduit la « perte de reconstruction » et la « perte de collision » entre un modèle corporel et des mèches de cheveux. Ils ont utilisé l'image d'entrée comme poids pour moduler sa perte, ce qui a encore amélioré la précision.

Formation

Les chercheurs ont entraîné le réseau neuronal sur un vaste ensemble de données contenant 40 000 coiffures et 160 000 images bidimensionnelles prises à partir de points de vue aléatoires. Le réseau a ensuite appris à régénérer des cheveux 3D dans différents styles, couleurs et longueurs, à partir d'une seule photo 2D.

Rendu de cheveux à partir d'une image 2D à l'aide de HairNet | Avec l'aimable autorisation des chercheurs 

L'IA a été formée sur les GPU Nvidia Titan Xp (unités de traitement graphique) avec le framework PyTorch alimenté par la bibliothèque de réseaux neuronaux profonds CUDA.

Référence : arXiv:1806.07467

Il peut restituer jusqu'à 30 000 mèches de cheveux en quelques millisecondes. De plus, il peut imiter la vidéo et restituer chaque volet, le tout en interaction les uns avec les autres.

Travaux futurs

L’équipe a conclu que leur technique n’était pas encore parfaite. Il ne peut pas gérer les coiffures exotiques comme les coupes afro, crépues ou buzz. Cependant, entraîner le réseau sur des ensembles de données massifs contenant davantage de variations pourrait résoudre ce problème.

Lire :L’IA peut mettre n’importe qui dans n’importe quelle pose | Synthétiser des images humaines dans des poses invisibles

La technique échoue également lorsque les cheveux sont légèrement obstrués dans l’image donnée. Par conséquent, ils prévoient d'améliorer les ensembles de données d'entraînement à l'avenir en intégrant davantage d'occlusion aléatoire.