Google IA : suivi d'objets par colorisation vidéo — une approche auto-supervisée

Un nouveau réseau convolutif apprend à copier les couleurs d'une image de référence vers les images suivantes.

Ce faisant, il suit différents objets et gère les occlusions.

Il suit aussi les poses humaines.

Le défi du suivi d'objets

Apprendre aux machines à suivre des objets en vidéo est l'une des tâches les plus difficiles en vision par ordinateur, car elle nécessite d'énormes jeux de données étiquetés. Enregistrer et étiqueter tout ce qui se passe sur Terre est impraticable.

Il faut donc un système qui apprend à suivre sans supervision humaine, à partir de vidéos brutes non étiquetées. Le suivi d'objets en vidéo sert de nombreuses applications : interaction d'objets, reconnaissance d'activités, stylisation vidéo, etc.

Re-colorisation vidéo

Les chercheurs de Google ont exploité la cohérence temporelle de la couleur, offrant d'énormes données d'entraînement pour enseigner à un réseau convolutif à suivre des portions spécifiques de la vidéo. La couleur reste généralement stable dans le temps (sauf exceptions comme l'allumage instantané d'une lumière).

La vidéo est d'abord désaturée, puis le réseau effectue la colorisation. Comme une scène peut contenir différents objets de même couleur, cela force la machine à apprendre à suivre des régions ou objets particuliers.

Entraînement

Le jeu de données Kinetics (500 000 clips d'activités quotidiennes) a servi à l'entraînement. Toutes les images sauf la première ont été converties en niveaux de gris ; le réseau devait estimer les bonnes couleurs pour les images suivantes.

Pour copier les couleurs de l'image de référence, le réseau a appris à pointer internement vers les bonnes régions. Ce mécanisme explicite peut être utilisé pour le suivi d'objets.

Bien que non entraîné sur des identités solides, le modèle suit n'importe quel objet ou portion visuelle en utilisant seulement la première image. Il peut suivre un point unique ou une entité délimitée.

Référence : arXiv:1806.09594 | Google AI Blog

Pour tracker par colorisation, une seule modification : propager des étiquettes représentant les régions cibles au lieu des couleurs.

Suivi de pose

Le réseau suit aussi les poses humaines : il nécessite une image initiale étiquetée avec des points-clés et fait le reste. Prédire les points-clés dans les images suivantes est complexe car il faut une localisation fine quand les personnes se déforment.

Démonstration sur le jeu de données JHMDB (poses et actions humaines annotées) : suivi d'un squelette articulaire.

Le réseau obtient des performances similaires au flux optique, suggérant qu'il apprend des caractéristiques de mouvement. Il suit poses et segments vidéo suffisamment bien pour légèrement surpasser les techniques récentes basées sur le flux optique.

Le modèle n'est pas parfait : il échoue parfois à coloriser et tracker. Les chercheurs prévoient d'améliorer la colorisation vidéo, ce qui se traduira par un suivi auto-supervisé amélioré.