Conception d'un perceptron flexible en Python : architecture, biais et activation

Construction d'un perceptron pour la classification : architecture, biais et activation

Bienvenue dans la série réseaux de neurones d'All About Circuits. Nos articles précédents ont couvert les fondations théoriques des réseaux de neurones :

1. Comment effectuer une classification avec un réseau de neurones : qu'est-ce que le perceptron ?
2. Comment utiliser un exemple simple de réseau de neurones perceptron pour classifier des données
3. Comment entraîner un perceptron de base
4. Comprendre l'entraînement simple de réseau de neurones
5. Introduction à la théorie de l'entraînement pour réseaux de neurones
6. Comprendre le taux d'apprentissage dans les réseaux de neurones
7. Apprentissage automatique avancé avec le perceptron multicouche
8. La fonction d'activation sigmoïde : activation dans les réseaux de neurones perceptron multicouches
9. Comment entraîner un perceptron multicouche
10. Comprendre les formules d'entraînement et la rétropropagation pour perceptrons multicouches
11. Architecture de réseau de neurones pour une implémentation Python
12. Comment créer un perceptron multicouche en Python
13. Traitement du signal avec réseaux de neurones : validation dans la conception de réseaux de neurones
14. Jeux de données d'entraînement pour réseaux de neurones : comment entraîner et valider un réseau de neurones Python

Nous sommes maintenant prêts à traduire cette théorie en un système de classification Perceptron fonctionnel. La section suivante décrit l'architecture que nous implémenterons en Python, avec des choix de conception clairs qui rendent le code portable vers d'autres langages comme C.

L'architecture du réseau de neurones Python

Le diagramme ci-dessous illustre la structure du réseau que nous coderons :

• Nœuds d'entrée variables – Essentiels pour correspondre à la dimensionalité des données réelles.
• Unique couche cachée – Une seule couche cachée suffit pour de nombreuses tâches de classification, simplifiant l'implémentation.
• Nœuds cachés variables – Le nombre optimal est trouvé empiriquement ; nous discuterons d'heuristiques dans un futur article.
• Nœuds de sortie fixes (1) – Simplifie le programme initial ; futures versions pourront supporter des sorties multi-classes.
• Fonction d'activation – Les couches cachée et de sortie utilisent la sigmoïde logistique : f(x)=1/(1+e^{-x}).

Qu'est-ce qu'un nœud de biais ? (Le biais améliore la flexibilité du perceptron)

Les nœuds de biais — ou simplement biais — sont des constantes ajoutées à la somme pondérée d'un nœud avant activation. Ils sont typiquement mis à 1 et peuvent être placés dans la couche d'entrée ou cachée.

Les poids de biais sont mis à jour comme n'importe quel autre poids pendant la rétropropagation. L'inclusion de nœuds de biais permet au réseau de décaler sa frontière de décision, améliorant la performance sur des données non linéairement séparables.

Dans la Partie 10 de cette série, nous avons décrit la pré-activation comme un produit scalaire : S_preA = w · x = Σ(w_i x_i). L'ajout de biais b modifie cela en :

S_preA = (w · x) + b = Σ(w_i x_i) + b

Le biais agit efficacement comme l'ordonnée à l'origine dans l'équation linéaire y = mx + b, décalant la courbe d'activation horizontalement.

Poids, biais et activation

Pendant l'entraînement, les poids échelonnent la pente de l'entrée, tandis que le biais la décale verticalement. Avec la sigmoïde logistique f_A(x) = 1/(1+e^{-x}), la transition de 0 à 1 est centrée en x = 0. Ajuster le biais déplace cette transition vers la gauche ou la droite, et la magnitude du poids contrôle la raideur de la transition.

Conclusion

Nous avons décrit les choix architecturaux de base pour notre Perceptron et expliqué le rôle des nœuds de biais. Dans le prochain article, nous plongerons dans le code Python qui donne vie à ce design.