Microsoft dévoile une percée dans l'IA conversationnelle avec un réseau neuronal multi-tâche avancé

Microsoft établit de nouveaux records dans le domaine de l'intelligence artificielle conversationnelle. Ils ont développé une version améliorée du réseau de neurones profond multi-tâche pour l'apprentissage de représentations textuelles à travers diverses tâches de compréhension du langage naturel.

Des représentations linguistiques robustes et universelles sont importantes pour obtenir de bons résultats sur diverses tâches de traitement du langage naturel (NLP). L'apprentissage par ensemble est l'une des approches les plus efficaces pour améliorer la généralisation du modèle. Jusqu'à présent, les développeurs l'ont utilisé pour obtenir des résultats de pointe dans une variété de tâches de compréhension du langage naturel (NLU), allant de la compréhension de lecture machine aux questions-réponses.

Cependant, de tels modèles d'ensemble contiennent des centaines de modèles de réseaux de neurones profonds (DNN) et sont assez coûteux à implémenter. Les modèles pré-entraînés, tels que GPT et BERT, sont également très coûteux à déployer. GPT, par exemple, se compose de 48 couches de transformateur avec 1,5 milliard de paramètres, tandis que BERT a 24 couches de transformateur avec 344 millions de paramètres.

En 2019, Microsoft a présenté son propre algorithme de traitement du langage naturel (NLP), nommé Multi-Task DNN. Ils ont maintenant mis à jour cet algorithme pour obtenir des résultats impressionnants.

Extension de la distillation de connaissances

L'équipe de recherche a compressé plusieurs modèles d'ensemble en un seul Multi-Task DNN, en utilisant la distillation de connaissances. Ils ont utilisé le modèle d'ensemble [de manière hors ligne] pour générer des cibles douces pour chaque tâche dans l'ensemble de données d'entraînement. Comparées aux cibles dures, elles offrent des données plus utiles par échantillon d'entraînement.

Prenons une phrase par exemple : « J'ai eu une bonne discussion avec Jean hier soir », le sentiment dans cette phrase est peu susceptible d'être négatif. Cependant, la phrase « Nous avons eu une conversation intrigante hier soir » peut être soit négative soit positive, selon le contexte.

Référence : arXiv:1904.09482 | Microsoft Research Blog

Les chercheurs ont utilisé à la fois les cibles correctes et les cibles douces à travers diverses tâches pour entraîner un seul MT-DNN. Ils ont utilisé le framework d'apprentissage profond PyTorch accéléré par cuDNN pour entraîner et tester le nouveau modèle sur des GPU NVIDIA Tesla V100.

Résultats

Ils ont comparé le MT-DNN distillé avec le MT-DNN normal et BERT. Les résultats montrent que le MT-DNN distillé surpasse les deux modèles de manière significative, en termes de score global sur le benchmark General Language Understanding Evaluation (GLUE), qui est utilisé pour tester la performance du système sur une large gamme de phénomènes linguistiques.

Score de benchmark GLUE

Le benchmark comprend 9 tâches NLU, y compris la similarité de texte, l'implication textuelle, l'analyse de sentiment et les questions-réponses. Les données contiennent plusieurs centaines de paires de phrases tirées de différentes sources, telles que des textes académiques et encyclopédiques, des nouvelles et des médias sociaux.

Toutes les expériences menées dans cette recherche montrent clairement que la représentation du langage apprise par le MT-DNN distillé est plus universelle et robuste que le MT-DNN normal et BERT.

Dans les années à venir, les chercheurs essaieront de trouver de meilleures façons de combiner les cibles correctes dures et les cibles douces pour l'apprentissage multi-tâche. Et, plutôt que de compresser un modèle complexe en un plus simple, ils exploreront de meilleures façons d'utiliser la distillation de connaissances pour améliorer la performance du modèle indépendamment de sa complexité.