L'IA traduit des articles de recherche complexes en résumés clairs en anglais simple

Des chercheurs développent un nouveau réseau de neurones basé sur une idée jusqu'alors inexplorée — les rotations. Il peut remplacer les méthodes existantes pour résoudre des problèmes réels tels que la synthèse de texte, la modélisation de langage et les questions-réponses.

Un article de recherche est généralement rempli d'approches spécialisées et de terminologies techniques, ce qui le rend assez difficile à comprendre pour les lecteurs sans formation scientifique.

Récemment, des scientifiques du MIT et du Qatar Computing Research Institute ont mis au point un nouveau modèle d'intelligence artificielle (IA) capable de lire des revues scientifiques et de fournir un résumé en anglais simple en quelques phrases.

Bien qu'il donne des résultats bien meilleurs que les techniques précédentes, il ne peut certainement pas remplacer les rédacteurs et éditeurs scientifiques. Cependant, cette IA peut aider les rédacteurs à parcourir un plus grand nombre de revues et à avoir une idée de leur contenu.

L'équipe de recherche essayait à l'origine de développer des réseaux de neurones pour résoudre certains problèmes de physique, par exemple comment la lumière se comporte dans des matériaux complexes conçus.

Ils ont vite réalisé que la même méthodologie pouvait être utilisée pour gérer d'autres tâches computationnelles complexes, telles que la reconnaissance vocale et l'interprétation du langage naturel, de manière beaucoup plus efficace que les méthodes d'apprentissage automatique existantes.

Ce qu'ils ont réellement fait

Au cours des dernières années, le réseau de neurones récurrent (RNN) est devenu un réseau de neurones artificiels standard pour traiter une large gamme de tâches, de la modélisation de langage à la synthèse de texte et au développement de systèmes de chatbots.

Diverses techniques ont été développées pour améliorer la capacité à corréler l'information à partir d'une longue chaîne de données. Les plus populaires sont la mémoire à court et long terme (LSTM) et les unités récurrentes à portes (GRU). Mais elles échouent encore à démontrer des capacités de mémoire impressionnantes ou un rappel efficace sur des tâches synthétiques.

C'est pourquoi les chercheurs ont développé une approche alternative appelée Unité de Mémoire Rotationnelle (RUM). Contrairement aux réseaux de neurones traditionnels basés sur la multiplication de matrices, RUM est basé sur des vecteurs en rotation dans un espace multidimensionnel.

Référence : MIT Press Journals | doi:10.1162/tacl_a_00258 | MIT

Il utilise un vecteur dans un espace multidimensionnel (une certaine ligne pointant dans une direction spécifique) pour représenter chaque mot du texte. Chaque mot successif détourne le vecteur dans une direction particulière dans un espace théorique, qui peut contenir des milliers de dimensions. Le vecteur résultant (ou un groupe de vecteurs) est ensuite reconverti en sa chaîne de mots associée.

Dans l'ensemble, RUM fait deux choses : il mémorise des dynamiques séquentielles complexes et rappelle l'information avec précision. Il montre également des performances prometteuses pour la modélisation de langage au niveau des caractères et les questions-réponses.

Tests

Les chercheurs ont testé ce système sur de nombreux articles scientifiques, y compris leur propre article décrivant ces résultats, et ont comparé les résultats avec les réseaux de neurones traditionnels basés sur LSTM et GRU.

Au lieu de simplement scanner les résumés, RUM lit l'article entier pour générer un résumé simple de son contenu. Le résumé rendu par ce système contenait moins de termes techniques et de mots répétitifs. Bien que ce ne soit pas une prose élégante, il touche les points clés des données.

Vous pouvez essayer ce système sur vos propres tâches : le code et la démo sont disponibles sur GitHub.