Apprentissage non supervisé avec des neurones artificiels

Manuel Le Les recherches de Gallo inspireront une nouvelle génération de systèmes informatiques neuromorphiques extrêmement denses. (Source :IBM Research – Zurich)

Inspirée par le fonctionnement du cerveau humain, une équipe de scientifiques d'IBM Research à Zurich a imité la façon dont les neurones s'affolent, par exemple lorsque nous touchons une plaque chauffante. Ces soi-disant neurones artificiels peuvent être utilisés pour détecter des modèles et découvrir des corrélations dans le Big Data avec des budgets de puissance et à des densités comparables à celles observées en biologie, ce que les scientifiques se sont efforcés d'accomplir pendant des décennies. Ils peuvent également apprendre sans surveillance à grande vitesse en utilisant très peu d'énergie.

L'article intitulé « Nourons à changement de phase stochastique », qui est paru aujourd'hui sur la couverture de Nature Nanotechnology , décrit la recherche et ses conclusions.

J'ai parlé avec le co-auteur de l'article et scientifique d'IBM Research - Zurich, Manuel Le Gallo, qui travaille actuellement sur un doctorat de l'ETH Zurich.

Comment fonctionne un neurone artificiel ?

Manuel Le Gallo : Le neurone a une certaine fonctionnalité que nous appelons « intégrer et tirer ». Le neurone agit comme un accumulateur - si vous continuez à envoyer plusieurs entrées au neurone, le neurone intégrera toutes ces entrées. En fonction de la quantité d'entrées et de leurs forces, le potentiel membranaire atteindra un certain seuil et le neurone « se déclenchera » ou « augmentera ». Un tel accumulateur peut être utilisé pour effectuer des tâches de calcul étonnamment complexes.

Comment le cerveau humain inspire-t-il le développement de neurones artificiels ?

ML : Le neurone artificiel est conçu pour imiter ce que fait un neurone biologique. Un neurone artificiel n'aura pas exactement la même fonctionnalité, mais il est toujours suffisamment proche pour que vous puissiez réaliser le calcul effectué par le cerveau à l'aide de ces neurones. Habituellement, les neurones artificiels sont construits à l'aide de circuits à base de CMOS, la technologie de transistor standard que nous avons dans nos ordinateurs. Notre article se concentre sur l'utilisation de dispositifs non CMOS, tels que les dispositifs à changement de phase, pour reproduire des fonctionnalités similaires avec une consommation d'énergie réduite et une densité surfacique accrue.

Quelle est votre contribution à l'article ?

ML : Nous avons acquis une compréhension de la physique des dispositifs à changement de phase grâce aux travaux de caractérisation et de modélisation que j'ai menés au cours des trois dernières années. Cela était crucial pour concevoir des neurones artificiels basés sur ces dispositifs et comprendre leur fonctionnalité. De plus, j'ai obtenu certaines des données expérimentales présentées dans l'article et j'ai contribué à l'analyse et à l'interprétation des résultats.

"Nous pensons que notre approche sera plus efficace, en particulier pour le traitement de grandes quantités de données."

—Manuel Le Gallo, chercheur d'IBM

Dans quels contextes les neurones artificiels peuvent-ils être appliqués ?

Le petit les carrés sont des plots de contact qui sont utilisés pour accéder aux cellules à changement de phase à l'échelle nanométrique (non visibles). Les sondes pointues touchent les plots de contact pour modifier la configuration de phase stockée dans les cellules en réponse à l'entrée neuronale. Chaque ensemble de sondes peut accéder à une population de 100 cellules.

ML : Dans notre article, nous montrons comment vous pouvez détecter des corrélations à partir de plusieurs flux d'événements. Supposons que vous ayez plusieurs flux d'événements binaires et que vous souhaitiez trouver quels flux sont temporairement corrélés, par exemple, lorsque les 1 se produisent simultanément.

Dans l'article, nous avons montré comment détecter les corrélations à partir de plusieurs flux d'événements.

Qu'entendez-vous par événements ?

ML : Les événements peuvent être, par exemple, des données Twitter, des données météorologiques ou des données sensorielles collectées par l'Internet des objets. Supposons que vous ayez plusieurs flux d'événements binaires et que vous souhaitiez trouver quels flux sont temporairement corrélés, par exemple lorsque les 1 arrivent simultanément. Nous montrons dans l'article comment nous pourrions faire cette discrimination en utilisant un seul neurone connecté à plusieurs synapses plastiques recevant les événements.

Qu'est-ce qui rend l'informatique neuromorphique plus efficace que l'informatique conventionnelle ?

ML : En informatique conventionnelle, nous avons une mémoire et une unité logique séparées. Chaque fois que vous souhaitez effectuer un calcul, vous devez d'abord accéder à la mémoire, obtenir vos données et les transférer vers l'unité logique, qui renvoie le calcul. Et chaque fois que vous obtenez un résultat, vous devez le renvoyer à la mémoire. Ce processus va et vient en continu. Donc, si vous traitez d'énormes quantités de données, cela deviendra un réel problème.

Dans un réseau de neurones, l'informatique et le stockage sont colocalisés. Vous n'avez pas à établir de communication entre la logique et la mémoire ; il suffit de faire les connexions appropriées entre les différents neurones. C'est la principale raison pour laquelle nous pensons que notre approche sera plus efficace, en particulier pour le traitement de grandes quantités de données.

---

Manuel Le Gallo est venu à Zurich pour poursuivre sa maîtrise en génie électrique à l'Ecole polytechnique fédérale de Zurich (ETH Zurich). Il a terminé sa thèse chez IBM, où une offre d'emploi correspondait à ses antécédents et à ses intérêts. Il travaille actuellement sur son doctorat.

À propos de l'auteur :  Millian Gehrer est stagiaire d'été chez IBM Research – Zurich, où il interviewe des scientifiques pour en savoir plus sur leur travail et leurs motivations. À l'automne, il commencera à étudier l'informatique en tant que premier cycle à l'Université de Princeton.