Intégrer des modèles Deep Learning doubles pour une automatisation industrielle améliorée

Le Deep Learning est un outil inestimable pour les analystes de données, avec de nouvelles applications dans différentes sphères, dont l'industrie. Son principe de base : utiliser de gros volumes de données pour construire un modèle capable de prédictions précises.

Considérons un exemple où des ingénieurs automatisation industrielle pourraient avoir besoin de combiner deux modèles Deep Learning. Une entreprise de smartphones a une ligne de production fabriquant plusieurs modèles. La vision par ordinateur avec algorithmes Deep Learning assure le contrôle qualité.

Actuellement, la ligne produit deux smartphones : Phone A et Phone B. Les modèles A et B font le contrôle qualité pour Phones A et B respectivement. L'entreprise lance un Phone C. L'usine pourrait avoir besoin d'un nouveau modèle (Modèle C) pour son contrôle qualité. Construire un nouveau modèle demande énormément de données et de temps.

Figure 1. Vidéo utilisée avec l'autorisation de Matt Chan.

Alternative : combiner les apprentissages des Modèles A et B pour construire le Modèle C. Le modèle combiné peut faire le contrôle qualité avec ajustements mineurs des poids.

Autre scénario nécessitant combinaison : un nouveau modèle devant effectuer deux tâches simultanément. Deux modèles Deep Learning pourraient le faire. Un modèle classifiant un jeu de données et faisant des prédictions par catégorie peut être créé en combinant : un modèle classifiant de gros jeux de données, et un faisant des prédictions.

Apprentissage par ensemble (Ensemble Learning)

Combiner plusieurs modèles Deep Learning, c'est l'apprentissage par ensemble. Objectif : meilleures prédictions, classifications, ou autres fonctions. Peut aussi créer un nouveau modèle avec fonctionnalités combinées de différents modèles.

Créer un nouveau modèle par combinaison a de nombreux avantages vs entraînement from scratch :

• Très peu de données nécessaires pour entraîner le modèle combiné (l'essentiel de l'apprentissage vient des modèles combinés)
• Moins de temps pour construire un modèle combiné
• Moins de ressources de calcul
• Nouveaux modèles combinés : précision et capacités supérieures aux modèles sources

Vu ces avantages, l'apprentissage par ensemble est souvent utilisé pour créer de nouveaux modèles. Algorithmes Deep Learning, packages, modèles entraînés respectifs doivent combiner différents modèles, et la plupart des algorithmes avancés sont en Python.

Figure 2. Ensemble stacking pour réseaux de neurones Deep Learning en Python. Image utilisée avec l'autorisation de Machine Learning Mastery.

Connaître Python et les outils Deep Learning respectifs est prérequis. Une fois en place, différentes techniques combinent les algorithmes. Expliquées ci-après.

Méthode de la moyenne (pondérée)

La moyenne des deux modèles devient le nouveau modèle. Méthode la plus directe pour combiner deux modèles Deep Learning. Le modèle issu de la moyenne simple a plus de précision que les deux modèles combinés.

Pour améliorer encore précision et résultat, la moyenne pondérée est viable. Poids basés sur performance des modèles ou volume d'entraînement de chacun. Deux modèles différents combinés en un nouveau.

Méthode Bagging

Un même modèle Deep Learning peut avoir plusieurs itérations. Différents jeux de données d'entraînement, différents niveaux d'amélioration. Combiner différentes versions du même modèle = méthode Bagging.

Même méthodologie que moyenne : versions combinées en moyenne simple ou pondérée. Crée un nouveau modèle sans le biais de confirmation accumulé par un modèle unique → plus précis et performant.

Méthode Boosting

Similaire à une boucle de rétroaction pour modèles. La performance d'un modèle ajuste les modèles suivants. Boucle positive accumulant tous facteurs contribuant au succès.

Figure 3. Méthode boosting pour ensemble learning. Image utilisée avec l'autorisation d'Ashish Patel.

Le boosting réduit biais et variance des modèles. Possible car ces aspects négatifs sont filtrés aux itérations suivantes. Deux modes : boosting basé sur poids, et boosting basé sur résidus.

Méthode de concaténation

Utilisée quand différentes sources de données doivent être fusionnées dans le même modèle. Cette technique prend différentes entrées et les concatène au même modèle. Le jeu de données résultant a plus de dimensions que l'original.

Répétée séquentiellement, les dimensions croissent beaucoup, risquant surapprentissage (overfitting) et perte d'information critique, réduisant la performance.

Méthode Stacking

Le stacking intègre différentes méthodes pour développer des modèles Deep Learning en utilisant la performance des itérations précédentes pour booster les modèles précédents. Ajouter une moyenne pondérée à ce modèle stacké améliore les contributions positives des sous-modèles.

De même, techniques de bagging et concaténation peuvent être ajoutées. Combiner différentes techniques de combinaison améliore la performance du modèle combiné.

Les méthodologies, techniques, algorithmes pour combiner modèles Deep Learning sont innombrables et en constante évolution. De nouvelles techniques apparaîtront pour accomplir la même tâche avec de meilleurs résultats. Idées clés à retenir :

• Combiner modèles Deep Learning = apprentissage par ensemble (ensemble learning)
• Objectif : améliorer performance des modèles Deep Learning
• Construction par combinaison : moins de temps, données, ressources calculatoires
• Méthode la plus courante : moyennage de plusieurs modèles ; moyenne pondérée améliore la précision
• Bagging, boosting, concaténation : autres méthodes
• Stacking : utilise différentes techniques de combinaison pour construire un modèle