DeepLabCut : IA open-source pour le suivi précis des parties du corps d'animaux en mouvement

Pour comprendre le cerveau de n'importe quelle espèce, il est nécessaire de quantifier avec précision leur comportement. Le suivi vidéo est l'une des meilleures options pour observer et enregistrer le comportement animal dans différentes configurations. Il simplifie grandement l'analyse et permet un traçage de haute précision des parties du corps.

Ce qu'ils ont fait exactement

Les chercheurs ont examiné l'architecture du détecteur de caractéristiques d'un modèle d'estimation de pose multi-personnes récemment développé, DeeperCut. Ils ont montré qu'une petite quantité de photos d'entraînement (environ 200) suffit pour entraîner ce réseau de neurones pour atteindre une précision de niveau humain.

Cela a été rendu possible par l'apprentissage par transfert, une méthode d'apprentissage automatique où un modèle entraîné sur une tâche est appliqué à une autre tâche liée. Dans cette recherche, les détecteurs de caractéristiques basés sur des réseaux de neurones profonds intensivement étaient pré-entraînés sur un jeu de données géant (ImageNet) pour reconnaître des objets.

Par conséquent, on peut entraîner ces détecteurs de caractéristiques robustes en étiquetant moins de cadres (quelques centaines). Une fois entraîné, il peut localiser une large gamme de parties du corps expérimentalement pertinentes.

Les chercheurs ont démontré la capacité de DeepLabCut en suivant les oreilles, le museau et la base de la queue lors d'une tâche de navigation guidée par les odeurs. Ils ont également tracé plusieurs parties d'une mouche des fruits dans une chambre 3D.

Les réseaux de neurones sont entraînés sur des GPU NVIDIA Titan Xp et GeForce GTX 1080 Ti avec TensorFlow accéléré par le framework d'apprentissage profond CUDA. En utilisant un tel matériel puissant, on peut traiter des cadres de taille 682×540 à 30 fps.

L'outil est capable de fournir un retour en temps réel basé sur les estimations de posture extraites de la vidéographie. De plus, on peut rogner les cadres d'entrée de manière adaptative autour de l'espèce pour augmenter encore la vitesse de traitement, ou adapter l'architecture du réseau pour booster les temps de traitement.

Référence : arXiv:1804.03142 | GitHub

Dans l'ensemble, DeepLabCut fonctionne en quatre étapes :

1. Extraire plusieurs cadres de la vidéo pour l'étiquetage
2. Utiliser les étiquettes pour générer les données d'entraînement
3. Entraîner les réseaux de neurones selon les ensembles de caractéristiques requis
4. Extraire ces positions de caractéristiques à partir de données non étiquetées.

Avec l'aimable autorisation des chercheurs

Comment cela est-il utile ?

La méthode décrite ci-dessus n'a pas besoin de modèle corporel computationnel, de données temporelles, de silhouette ou d'algorithme d'inférence compliqué. Elle peut être rapidement déployée sur de multiples comportements posant des défis qualitativement différents à la vision par ordinateur.

Bien que les chercheurs aient démontré DeepLabCut sur Drosophila, souris et cheval, il n'y a certainement aucune limitation sur la méthode, et elle peut être appliquée à d'autres espèces également.

Le suivi des animaux par vidéographie peut découvrir de nouvelles informations sur leur biomécanique et nous aider à comprendre comment leur cerveau fonctionne. Chez les humains, cela peut améliorer les techniques utilisées en physiothérapie et aider les athlètes à atteindre des jalons qui n'étaient pas possibles dans le passé.