L'IA peut lire des articles de recherche et fournir un résumé en anglais simple

• Les chercheurs développent un nouveau réseau de neurones basé sur une idée jusqu'alors inexplorée :les rotations.
• Il peut remplacer les méthodes existantes pour résoudre des problèmes du monde réel tels que la synthèse de texte, la modélisation du langage et la réponse aux questions.

Un document de recherche est généralement rempli d'approches spécialisées et de terminologies techniques, ce qui le rend assez difficile à comprendre pour les lecteurs sans formation scientifique.

Récemment, des scientifiques du MIT et du Qatar Computing Research Institute ont mis au point un nouveau modèle d'intelligence artificielle (IA) capable de lire des revues scientifiques et de fournir un résumé en anglais simple en quelques phrases.

Bien qu'elle donne de bien meilleurs résultats que les techniques précédentes, elle ne peut certainement pas remplacer les rédacteurs et éditeurs scientifiques. Cependant, cette IA peut aider les rédacteurs à parcourir un plus grand nombre de revues et à se faire une idée de leur sujet.

L'équipe de recherche essayait à l'origine de développer des réseaux de neurones pour résoudre certains problèmes de physique, par exemple le comportement de la lumière dans des matériaux d'ingénierie complexes.

Ils ont rapidement réalisé que la même méthodologie pouvait être utilisée pour gérer d'autres tâches de calcul complexes, telles que la reconnaissance vocale et l'interprétation du langage naturel, de manière beaucoup plus efficace que les méthodes d'apprentissage automatique existantes.

Qu'ont-ils réellement fait ?

Au cours des dernières années, le réseau de neurones récurrents (RNN) est devenu un réseau de neurones artificiels standard pour traiter un large éventail de tâches, de la modélisation du langage à la synthèse de texte et au développement de systèmes de chatbots.

Diverses techniques ont été développées pour améliorer la capacité de corréler les informations à partir d'une longue chaîne de données. Les plus populaires sont la mémoire à long court terme (LSTM) et les unités récurrentes fermées (GRU). Mais ils ne parviennent toujours pas à démontrer des capacités de mémoire impressionnantes ou un rappel efficace sur les tâches synthétiques.

C'est pourquoi les chercheurs ont développé une approche alternative appelée Rotational Unit of Memory (RUM). Contrairement aux réseaux de neurones traditionnels basés sur la multiplication de matrices, RUM est basé sur des vecteurs tournant dans un espace multidimensionnel.

Référence :Journaux de presse du MIT | doi:10.1162/tacl_a_00258 | MIT 

Il utilise un vecteur dans un espace multidimensionnel (une certaine ligne pointant dans une direction spécifique) pour représenter chaque mot du texte. Chaque mot successif détourne le vecteur vers une direction particulière dans un espace théorique, qui peut contenir des milliers de dimensions. Le vecteur résultant (ou un groupe de vecteurs) est ensuite reconverti en sa chaîne de mots associée.

Dans l'ensemble, RUM fait deux choses :il mémorise des dynamiques séquentielles compliquées et rappelle les informations avec précision. Il montre également des performances prometteuses pour la modélisation du langage au niveau des caractères et la réponse aux questions.

Tests

Les chercheurs ont testé ce système sur de nombreux articles scientifiques, y compris leur propre article décrivant ces résultats, et ont comparé les résultats avec les réseaux de neurones traditionnels basés sur LSTM et GRU.

Au lieu de simplement numériser les résumés, RUM lit l'intégralité de l'article pour générer un résumé simple de leur contenu. Le résumé rendu par ce système contenait des termes moins techniques et des mots répétitifs. Bien qu'il ne s'agisse pas d'une prose élégante, elle touche les points clés des données.

Lire :L'IA écrit sa propre poésie qui ressemble à l'œuvre de Shakespeare

Vous pouvez essayer ce système sur vos propres tâches : le code et la démo sont disponibles sur GitHub.