IA temps réel colorise instantanément vidéos noir-et-blanc avec précision inégalée

• Nouvel algorithme deep learning permet éditeurs coloriser vidéo complète en colorisant une seule frame de la scène.
• Haute précision, efficace, jusqu'à 50x plus rapide méthodes précédentes.

Vidéos contiennent beaucoup données redondantes entre frames ; temps vaste pour coloriser manuellement chaque frame noir-et-blanc. Redondances étudiées en encodage/compression vidéo, moins explorées traitements vidéo avancés comme colorisation clip.

Nombreux algorithmes (modèle CNN bilatéral, filtrage guidé similarité, warping basé optical flow) traitent relations locales frames consécutives pour propager données. Utilisent mouvement apparent ou features pixel-level pré-conçues pour modéliser similarités frames/pixels.

Mais limitations : ne peuvent exprimer relations haut niveau entre frames, refléter précisément structure image. Pour surmonter : chercheurs NVIDIA développent nouvel algorithme basé deep learning permettant éditeurs coloriser rapidement clip complet en colorisant frame unique dans scène.

Comment ça marche ?

Pour apprendre explicitement similarité haut niveau frames consécutives, chercheurs développent réseau propagation temporel : composant propagation transférant caractéristiques (ex: couleur) d'une frame à l'autre. Utilise matrice transformation linéaire pilotée par réseau neuronal convolutif (CNN).

CNN décide quelles couleurs transférer depuis frame colorisée et les remplit dans frames restantes noir-et-blanc. Différence autres méthodes ? Meilleure colorisation via approche interactive : éditeur annote portion image → produit fini.

Pour apprentissage propagation domaine temporel, chercheurs imposent 2 règles : 1) propagation entre frames doit être inversible. 2) élément cible doit être préservé tout le processus.

Ils montrent technique proposée ne nécessite aucune méthode segmentation image-based pour résultats décents comparables méthodologies state-of-the-art existantes.

Référence : arXiv:1804.08758 | NVIDIA

Entraînement réseau : GPUs NVIDIA Titan XP. Entraîné sur centaines clips plusieurs datasets pour high dynamic range, couleur, propagation masque. Réseau configuré sur dataset ACT : 7 260 séquences vidéo ~600 000 frames.

Avantages technique proposée

1. Haute précision : Nouvelle méthode qualité vidéo bien meilleure vs travaux précédents.
2. Haute efficacité : Exécution temps réel, jusqu'à 50x plus rapide méthodes précédentes. Améliore efficacité traitant toutes frames vidéo en parallèle.

Lire : IA Nvidia convertit vidéos 30fps en 240fps

Technique actuelle offre façon simple propager données temps dans clips. Années à venir : chercheurs exploreront comment incorporer indices vision haut niveau (tracing, sémantique, segmentation) pour propagation temporelle.