Comment les incorporations de mots découvrent de nouveaux thermoélectriques

Parlez à n'importe qui aujourd'hui et il vous dira que l'Intelligence Artificielle est la prochaine grande chose - la patate chaude dont tout le monde veut un morceau, mais que personne ne peut mâcher.

Une bonne majorité d'entre eux vous diront également qu'une grande partie de ce qui se passe en tant qu'IA n'est en réalité qu'un battage publicitaire - une glorification du bon vieux machine learning et des mathématiques habillées de Powerpoint. Et pour la plupart, ils auraient raison.

Cependant, le traitement du langage naturel est un domaine dans lequel l'application d'outils d'intelligence artificielle tels que le Deep Learning a été tout simplement révolutionnaire.

Un exemple simple sont les chatbots qui gèrent les sites Web. Ils sont gérés par des architectures d'apprentissage en profondeur relativement compliquées appelées réseaux de neurones à mémoire longue et courte durée (LSTM). Ces algorithmes peuvent « comprendre » ce que nous leur disons et assembler des phrases cohérentes et lisibles en réponse. Bien sûr, ce bot n'est pas Socrate, mais il ne crache pas un méli-mélo aléatoire de mots. Il y a la suggestion indéniable d'une certaine intelligence de bas niveau.

Intégrations de mots

L'ère moderne de l'apprentissage en profondeur dans le traitement du langage a commencé avec la publication en 2013 de l'article word2vec de Tomas Mikolov. Leur triomphe a été de développer une méthode informatiquement réalisable pour générer des incorporations de mots ou vecteurs de mots en utilisant des réseaux de neurones.

Considérez les mots homme, femme, roi etreine . Si on vous demandait de regrouper ces mots, vous avez un certain nombre de choix de bon sens. J'ai tendance à voir [homme, femme ] et [roi, reine ]. Vous pourriez voir [homme, roi ] et [femme, reine ].

L'incorporation de mots capture les relations sémantiques entre les mots d'un texte. Depuis https://samyzaf.com/ML/nlp/nlp.html

Je sais aussi que le mot roi et l'homme sont liés exactement de la même manière que 'femme ' et 'reine '.

homme :roi =femme :reine 

Même si je n'avais jamais entendu ces mots auparavant, je peux apprendre ces relations en observant les phrases que je rencontre. ‘Cet homme est un roi ' , 'La reine était une femme pieuse ', 'Elle a régné comme la reine du grand écran ', 'Son royaume viendra '. Ces phrases suggèrent par la seule proximité des mots que le roi est surtout un homme et qu'une reine est probablement une femme .

Les incorporations de mots font la même chose, mais pour des millions de mots à partir de milliers de documents. La clé ici est que les mots sont appris du contexte . Ce qui permet ce jeu d'analogie mathématique, ce sont les pouvoirs du calcul moderne et la magie de l'apprentissage en profondeur.

Intégrations de mots d'apprentissage en profondeur

Disons que nous voulons trouver les plongements pour tous les mots dans Harry Potter .

Nous créons d'abord une sorte de caveau-bibliothèque-chambre mathématique. Un monstrueux monstre multidimensionnel suffisamment grand pour contenir tous les mots dont nous avons besoin. C'est l'espace vectoriel .

Le but est de traverser Harry Potter mot par mot et mettre chaque mot dans un coffre-fort dans la chambre. Mots similaires à Robe et Cape aller dans le même coffre. Quidditch et Vif d'Or se trouvent dans des voûtes adjacentes. Voiture et Centaure sont aussi loin que Banana et Voldemort .

Le mot imbriqué d'un mot est l'adresse du coffre-fort dans lequel il doit être trouvé. Mathématiquement, cela en fait un vecteur dans le espace vectoriel .

Vous pouvez voir pourquoi aucun humain ne voudrait jamais ce travail. Il y a beaucoup trop de mots et beaucoup trop de mouvements impliqués.

Un réseau de neurones le fait cependant exceptionnellement bien. Il le fait par, eh bien, par magie.

A le réseau neuronal profond est une sorte de machine massive avec des millions d'engrenages et de leviers. Au début, tout est chaos et rien ne va avec quoi que ce soit, même s'il y a du brassage tout autour. Puis, lentement, certains engrenages commencent à se verrouiller. Les leviers se mettent en place – et l'ordre émerge du chaos. La machine commence à bouger. Frankenstein est vivant !

Le langage ici est délibérément vague. Je veux vous emmener aux applications des incorporations de mots, plutôt qu'à la façon dont elles sont dérivées. Cela dit, à un niveau fondamental, nous ne savons pas très bien comment les réseaux de neurones font ce qu'ils font. Ainsi, dans nos expériences, nous devons jouer avec le nombre de couches, les fonctions d'activation, le nombre de neurones dans chaque couche, etc. avant d'arriver à notre tâche. Mais c'est un sujet pour un autre jour.

Thermoélectrique

Dans un article publié en 2019, une équipe de chercheurs du Lawrence Berkeley Lab a généré les incorporations de mots de tous les résumés dans environ 3,3 millions d'articles publiés dans 1000 revues. Cette liste est évidemment énorme et couvre presque tous les sujets publiés en science des matériaux au cours des deux dernières décennies.

Lorsqu'il s'agit d'un texte scientifique, les formules chimiques et les symboles sont aussi des « mots ». Il existe donc un vecteur de mots pour LiCoO 2 – qui est une cathode de batterie commune. Vous pouvez ensuite poser des questions telles que :quels sont les vecteurs de mots les plus proches de LiCoO2 ?

Nous savons que LiCoO2 est un vecteur dans l'espace vectoriel. Donc, tout ce que nous avons à faire est de trouver des vecteurs proches.

La réponse est LiMn 2 O 4 , LiNi 0,5 Mn 1.5 O 4 , LiNi 0,8 Co 0.2 O 2 , LiNi 0,8 Co 0,15 Al 0,05 O 2 et LiNiO 2 -qui sont tous également des matériaux de cathode lithium-ion.

La voie de relation des composés chimiques sélectionnés avec le mot « thermoélectrique ». Li2CuSb n'est pas directement lié à "thermoélectrique", mais il est proche d'autres mots qui sont des indicateurs de cette propriété tels que "bande indirecte" et "optoélectronique". À partir de [2]

Vous voyez ce que nous avons fait ici ?

Nous essayions vraiment d'explorer d'autres matériaux similaires à notre cathode préférée. Au lieu de lire un millier d'articles, de prendre des notes et de dresser une liste de composés de lithium, les incorporations de mots ont résolu la tâche en quelques secondes.

C'est le pouvoir de l'incorporation de mots. En convertissant les requêtes sémantiques en opérations vectorielles mathématiques, cette approche nous permet d'interroger et de comprendre mieux et plus efficacement de grandes bases de données textuelles.

Comme autre exemple, les chercheurs ont étudié la fréquence à laquelle un composé chimique a été trouvé près du vecteur de "thermoélectricité '. (Ce sont des matériaux qui convertissent l'énergie électrique en chaleur ou vice versa).

Vous pouvez le faire grâce à une opération vectorielle simple appelée produit scalaire. Les vecteurs similaires ont un produit scalaire proche de un. Les vecteurs dissemblables ont un produit scalaire proche de zéro.

En effectuant la même opération sur les composés chimiques de la base de données et le mot ‘thermoélectrique ', les auteurs ont trouvé tous les produits chimiques qui étaient susceptibles d'être thermoélectriques .

Les plongements de mots de la base de données des résumés peuvent répondre à des questions telles que :Si Zr est Hexagonal, Chromium est … ? (Centré sur le corps) À partir de [2]

Les auteurs poursuivent en montrant que des relations similaires peuvent être démontrées pour plusieurs propriétés de matériaux telles que la structure cristalline et la ferroélectricité. De plus, ils montrent qu'en utilisant cette technique, plusieurs des thermoélectriques actuels auraient pu être prédits il y a des années à partir de la littérature existante.

L'analyse est une expression très belle, élégante mais d'une simplicité trompeuse de la question "De tous les matériaux étudiés par l'homme, lesquels sont susceptibles d'être thermoélectriques ?" .

Les bases de données matérielles sont le besoin de l'heure

Vous supposeriez que nous avons déjà cette liste – il est clair que quelqu'un a pris note de tout le travail que nous avons fait ? Compiler des manuels de matériaux et des bases de données électroniques ?

La réponse est un non surprenant. La grande quantité de connaissances que nous avons accumulées au fil des ans est enfermée dans des textes tels que des livres, des revues et des articles. Il y en a tellement qu'il nous est impossible de les parcourir manuellement.

C'est précisément pourquoi les intégrations de mots et les techniques présentées dans cet article sont tout simplement révolutionnaires.
Ils promettent de changer la façon dont nous interagissons avec le texte et d'accélérer rapidement notre base de données de matériaux.

Quels sont certains des matériaux qui ont été étudiés pour la piézoélectricité ? Y a-t-il un supraconducteur que nous avons manqué dans la littérature ? Existe-t-il un nouveau médicament capable de guérir la maladie d'Alzheimer ?
Demandez le mot incorporations. Ils sauraient.