Microsoft dévoile un modèle de langage record de 17 milliards de paramètres

Microsoft présente Turing Natural Language Generation, le plus grand modèle mondial avec 17 milliards de paramètres.

Il génère des résumés abstraits de documents textuels, des réponses directes aux questions, et des mots pour compléter des phrases.

Le modèle répond aussi précisément, directement et couramment que les humains dans différentes situations.

Entraînement de T-NLG

Les modèles de langage d'apprentissage profond à grande échelle (comme GPT-2 et BERT), avec des milliards de paramètres entraînés sur tout le texte disponible sur Internet, ont amélioré diverses tâches de traitement du langage naturel (NLP), telles que la compréhension de documents, les agents conversationnels et la réponse aux questions.

Il a été observé que les modèles plus grands avec des données de pré-entraînement plus diversifiées et complètes performent mieux, même avec moins d'échantillons d'entraînement. Ainsi, il est plus efficace d'entraîner un modèle centralisé massif et de partager ses fonctionnalités à travers différentes tâches au lieu d'entraîner un nouveau modèle pour chaque tâche individuellement.

Dans cette lignée, des chercheurs de Microsoft ont introduit Turing Natural Language Generation (T-NLG), le plus grand modèle mondial avec 17 milliards de paramètres. Il surpasse les modèles existants de pointe sur différents benchmarks de modélisation de langage.

T-NLG peut générer des mots pour compléter des phrases inachevées, des résumés de documents d'entrée, et des réponses directes aux questions. Contrairement aux autres systèmes NLP qui s'appuient sur l'extraction de contenu des documents pour créer un résumé ou répondre aux questions, le nouveau modèle génératif répond aussi précisément, directement et couramment que les humains dans différentes situations.

Au lieu de copier le passage, T-NLG répond directement à la question avec une phrase complète.

Entraînement de T-NLG

Puisqu'un GPU (même avec 32 Go de mémoire) ne peut pas traiter des milliards de paramètres, vous devez paralléliser le modèle lui-même ou le diviser en tranches pour l'entraîner sur plusieurs GPUs.

Dans cette étude, les chercheurs ont exploité la configuration matérielle NVIDIA DGX-2 (pour accélérer la communication entre GPUs) et le tranchage tenseur (pour diviser le modèle sur 4 GPUs NVIDIA V100). En utilisant la bibliothèque DeepSpeed et l'optimiseur Zero, ils ont pu entraîner T-NLG très efficacement avec moins de GPUs.

Performance sur tâches standards

Ils ont ensuite comparé la performance du T-NLG pré-entraîné contre d'autres puissants modèles de langage transformeurs sur deux tâches standards : la précision de prédiction du mot suivant LAMBADA (plus c'est haut, mieux c'est) et la perplexité Wikitext-103 (plus c'est bas, mieux c'est). Dans les deux cas, T-NLG a performé mieux.

Référence : Microsoft | GitHub

Performance en réponse aux questions

Pour tester des qualités comme la correction grammaticale et factuelle, les chercheurs ont sollicité l'aide d'annotateurs humains. Ils ont comparé le nouveau modèle avec le modèle LSTM (similaire à CopyNet).

Performance en résumé actif

T-NLG peut écrire des résumés abstraits de type humain pour une variété de documents textuels (incluant documents Word, articles de blog, emails, présentations PowerPoint, et même feuilles Excel), mais à quel point est-il bon comparé aux autres modèles NLP existants.

Pour rendre le nouveau modèle plus polyvalent afin qu'il puisse résumer toutes sortes de textes, les chercheurs l'ont entraîné sur des jeux de données de résumé publics. Ils l'ont ensuite comparé avec un autre grand modèle de langage basé sur transformeur nommé PEGASUS et sa version précédente. Cette fois, ils ont rapporté le score ROUGE – un ensemble de métriques utilisé pour évaluer le résumé automatique en traitement du langage naturel.

Applications

Microsoft a réalisé une percée dans l'intelligence artificielle conversationnelle. Dans les années à venir, ils intégreront T-NLG dans la suite Microsoft Office, ce qui non seulement fera gagner du temps aux utilisateurs en résumant emails et documents, mais offrira aussi une assistance à l'écriture et répondra aux questions que les lecteurs pourraient poser sur le contenu.

De plus, les résultats ouvrent la voie à des assistants numériques et chatbots plus précis et fluides, aidant les entreprises dans les ventes et la gestion de la relation client.