DeepLabCut :une IA open source pour suivre les parties du corps des espèces en mouvement

• Un nouvel algorithme basé sur l'apprentissage en profondeur suit et étiquette les parties du corps des espèces en mouvement en utilisant un minimum de données d'entraînement.
• Il ne nécessite aucun modèle de corps informatique, aucune donnée temporelle ni aucun chiffre.

Pour comprendre le cerveau de n'importe quelle espèce, il est nécessaire de quantifier avec précision leur comportement. Le suivi vidéo est l'une des meilleures options pour observer et enregistrer le comportement des animaux dans différentes configurations. Il simplifie grandement l'analyse et permet un traçage de haute précision des parties du corps.

Cependant, extraire des aspects spécifiques d'un comportement pour une enquête détaillée pourrait être un processus fastidieux et chronophage. Le suivi informatique existant utilise un marquage réfléchissant (les parties du corps sont mises en évidence avec des marqueurs), où la position et le nombre de marqueurs doivent être déterminés avant l'enregistrement.

Aujourd'hui, des chercheurs de l'Université Harvard et de l'Université de Tübingen ont développé un outil d'IA nommé DeepLabCut qui suit et étiquette automatiquement les parties du corps des espèces en mouvement. Cette technique d'estimation de pose sans marqueur est basée sur des méthodes d'apprentissage en profondeur qui fournissent des résultats décents avec un minimum de données d'entraînement.

Qu'ont-ils fait exactement ?

Les chercheurs ont examiné l'architecture du détecteur de caractéristiques à partir d'un modèle d'estimation de pose multi-personnes récemment développé, DeeperCut. Ils ont montré qu'une petite quantité de photos d'entraînement (environ 200) est suffisante pour entraîner ce réseau neuronal à atteindre une précision semblable à celle d'un humain.

Cela a été rendu possible par l'apprentissage par transfert, une méthode d'apprentissage automatique dans laquelle un modèle formé sur une tâche est appliqué à une autre tâche connexe. Dans cette recherche, les détecteurs de caractéristiques basés sur des réseaux de neurones très profonds ont été pré-entraînés sur un ensemble de données géant (ImageNet) pour reconnaître des objets.

Par conséquent, on peut entraîner ces détecteurs de caractéristiques robustes en étiquetant moins de trames (quelques centaines). Une fois entraîné, il peut localiser un large éventail de parties du corps expérimentalement pertinentes.

Les chercheurs ont démontré la capacité de DeepLabCut en suivant les oreilles, le museau et la base de la queue lors d'une tâche de navigation guidée par les odeurs. Ils ont également tracé plusieurs parties d'une mouche des fruits dans une chambre 3D.

Les réseaux de neurones sont entraînés sur des GPU NVIDIA Titan Xp et GeForce GTX 1080 Ti avec TensorFlow accéléré par le framework d'apprentissage en profondeur CUDA. En utilisant un matériel aussi puissant, on peut traiter 682 x 540 images à 30 ips.

L'outil est capable de fournir un retour d'information en temps réel basé sur des estimations de posture extraites de la vidéographie. De plus, on peut recadrer les trames d'entrée de manière adaptative autour de l'espèce pour augmenter encore la vitesse de traitement, ou adapter l'architecture du réseau pour augmenter les temps de traitement.

Référence :  arXiv:1804.03142 | GitHub

Globalement, DeepLabCut fonctionne en quatre étapes :

1. Extraire plusieurs images de la vidéo pour l'étiquetage
2. Utiliser des étiquettes pour générer des données d'entraînement
3. Former les réseaux de neurones selon les ensembles de fonctionnalités requis
4. Extraire ces positions d'entités à partir de données sans libellé.

Avec l'aimable autorisation des chercheurs

En quoi cela est-il utile ?

La méthode décrite ci-dessus ne nécessite aucun modèle de corps informatique, données temporelles, chiffre de bâton ou algorithme d'inférence compliqué. Il peut être rapidement déployé pour de multiples comportements posant des défis qualitativement différents à la vision par ordinateur.

Bien que les chercheurs aient démontré DeepLabCut sur la drosophile, la souris et le cheval, la méthode n'est certainement pas limitée et peut également être appliquée à d'autres espèces.

Lire :L'IA filtrant les spams apprend le comportement d'un animal28

Le suivi des animaux par vidéographie peut révéler de nouvelles informations sur leur biomécanique et nous aider à comprendre comment leur cerveau fonctionne. Chez l'homme, il peut améliorer les techniques utilisées en physiothérapie et aider les athlètes à franchir des étapes qui n'étaient pas possibles dans le passé.