Maîtriser la mise à jour des poids et la rétropropagation dans les perceptrons multicouches

Dans cet article, nous présentons les équations précises utilisées pour les calculs de mise à jour des poids et expliquons comment la rétropropagation permet à un perceptron multicouche (MLP) d'apprendre des données.

Bienvenue dans la série complète d'apprentissage automatique d'AAC.

Rattrapez la série jusqu'ici ici :

1. Comment effectuer une classification avec un réseau de neurones : qu'est-ce que le perceptron ?
2. Comment utiliser un exemple simple de réseau de neurones perceptron pour classifier des données
3. Comment entraîner un perceptron de base
4. Comprendre l'entraînement simple de réseau de neurones
5. Introduction à la théorie de l'entraînement pour réseaux de neurones
6. Comprendre le taux d'apprentissage dans les réseaux de neurones
7. Apprentissage automatique avancé avec le perceptron multicouche
8. La fonction d'activation sigmoïde : activation dans les réseaux de neurones perceptron multicouches
9. Comment entraîner un perceptron multicouche
10. Comprendre les formules d'entraînement et la rétropropagation pour perceptrons multicouches
11. Architecture de réseau de neurones pour une implémentation Python
12. Comment créer un perceptron multicouche en Python
13. Traitement du signal avec réseaux de neurones : validation dans la conception de réseaux de neurones
14. Jeux de données d'entraînement pour réseaux de neurones : comment entraîner et valider un réseau de neurones Python

Nous avons atteint le cœur de la théorie des réseaux de neurones : les étapes computationnelles qui affinent les poids d'un MLP pour qu'il puisse classifier les échantillons d'entrée avec précision. Ce processus est la base de l'algorithme de rétropropagation, une pierre angulaire de l'apprentissage profond moderne.

Mise à jour des poids

L'entraînement d'un MLP est mathématiquement dense, et la terminologie varie selon les sources. Les équations ci-dessous sont tirées des dérivations claires du Dr Dustin Stansbury, en faisant une excellente référence pour débutants et praticiens.

Le diagramme montre l'architecture que nous implémenterons en code, et les équations qui suivent correspondent directement à cette structure.

Terminologie

• Pré-activation (S_preA) : La somme pondérée en entrée de la fonction d'activation d'un neurone, calculée comme produit scalaire des poids entrants et activations.
• Post-activation (S_postA) : La sortie du neurone après application de la fonction d'activation f_A(·). Nous utilisons la fonction logistique (sigmoïde) dans nos exemples.
• Matrices de poids : Dans le code, nous les étiquetons ItoH (entrée-vers-cachée) et HtoO (cachée-vers-sortie) pour éviter l'ambiguïté.
• Cible (T) : La sortie correcte pour un échantillon d'entraînement.
• Taux d'apprentissage (LR) : La taille de pas pour les mises à jour de poids.
• Erreur finale (FE) : S_postA,O – T.
• Signal d'erreur (S_ERROR) : FE multiplié par la dérivée de la fonction d'activation du neurone de sortie.
• Gradient : La contribution d'un poids spécifique au signal d'erreur ; nous soustrayons LR × gradient du poids courant.

Le diagramme accompagnant illustre ces concepts en contexte.

Les équations de mise à jour des poids résultent de la prise de la dérivée partielle de l'erreur quadratique sommée par rapport à chaque poids. Pour les poids cachés-vers-sortie :

S_ERROR = FE × f_A'(S_preA,O)

gradient_HtoO = S_ERROR × S_postA,H

weight_HtoO ← weight_HtoO – (LR × gradient_HtoO)

Pour les poids entrée-vers-cachée, l'erreur doit traverser une couche additionnelle :

gradient_ItoH = S_ERROR × weight_HtoO × f_A'(S_preA,H) × input

weight_ItoH ← weight_ItoH – (LR × gradient_ItoH)

Rétropropagation

La rétropropagation résout le dilemme du nœud caché : bien que les poids entrée-vers-cachée influencent la sortie finale indirectement, nous pouvons calculer leur effet en propageant le signal d'erreur en arrière à travers le réseau et en l'échelonnant avec les poids sortants et les dérivées d'activation. Cette technique est fondamentale pour l'entraînement de modèles profonds.

Conclusion

Nous avons déballé les équations clés qui pilotent les mises à jour de poids et la mécanique de la rétropropagation dans les MLP. Ces concepts sous-tendent chaque application moderne de réseau de neurones, et les maîtriser ouvre la porte à la modélisation avancée. Restez à l'écoute pour les prochains épisodes de notre série, où nous plongerons plus profondément dans la conception d'architecture, l'implémentation Python et les techniques de validation.