L'IA pilote le rendu 3D de cheveux en temps réel avec 30 000 mèches

Des chercheurs développent un réseau neuronal qui produit une géométrie 3D complète de cheveux à partir d'une image 2D.

Le réseau rend jusqu'à 30 000 mèches en quelques millisecondes.

Il échantillonne et interpole en douceur divers styles : ondulés, bouclés, raides.

Le défi du rendu de cheveux

Rendre des cheveux réalistes est probablement la tâche la plus ardue pour numériser des humains virtuels. Comparés aux yeux, nez, oreilles, les cheveux impliquent d'immenses variations de forme et une complexité extrême due à la déformabilité de chaque mèche et sa structure volumique.

Les systèmes existants peuvent générer des modèles 3D de haute qualité, mais nécessitent généralement du matériel et des logiciels spécifiques, difficilement déployables. Certaines approches data-driven ne conviennent pas au temps réel ni aux systèmes à mémoire limitée.

HairNet

Des chercheurs de Microsoft, Pinscreen et USC ont construit un modèle d'apprentissage profond produisant une géométrie 3D complète de cheveux depuis des images 2D en temps réel.

Au lieu de synthétiser des structures sous forme de nuages de points ou grilles volumiques, il crée directement les mèches. Cette méthode convient mieux aux structures non-variétés et offre plus de détails et de précision.

HairNet produit et représente continuellement la géométrie 3D des cheveux. Il échantillonne et interpole en douceur divers styles : ondulés, bouclés, raides.

Le pipeline comporte trois étapes : prétraitement, génération de mèches, reconstruction.

HairNet contient un encodeur convolutif extrayant des caractéristiques de haut niveau (sous forme de vecteur) depuis une image 2D, et un décodeur déconvolutif générant 32×32 caractéristiques de mèches réparties uniformément sur le cuir chevelu. Ces caractéristiques sont interpolées sur l'espace du cuir chevelu, puis représentées comme séries de points 3D.

Pour pousser les coiffures vers un espace plus plausible, les chercheurs ont introduit une « perte de reconstruction » et une « perte de collision » entre un modèle corporel et les mèches. L'image d'entrée module cette perte, améliorant la précision.

Entraînement

Le réseau a été entraîné sur 40 000 coiffures et 160 000 images 2D sous angles aléatoires. Il a appris à régénérer des cheveux 3D de différents styles, couleurs, longueurs, depuis une seule photo 2D.

Entraîné sur GPU Nvidia Titan Xp avec PyTorch et CUDA.

Référence : arXiv:1806.07467

Rendu jusqu'à 30 000 mèches en millisecondes. Mimique la vidéo et rend chaque mèche interagissant avec les autres.

Travaux futurs

La technique ne gère pas encore les coiffures exotiques : afro, crépus, coupes très courtes. L'entraînement sur des jeux de données massifs avec plus de variations pourrait résoudre ce problème.

Elle échoue aussi quand les cheveux sont légèrement occultés dans l'image. Les chercheurs prévoient d'améliorer les jeux de données en intégrant plus d'occultations aléatoires.