L'entraînement d'un grand réseau neuronal génère 284 000 kg de CO₂ — Équivalent à 5 voitures sur leur durée de vie

Le développement et l'optimisation d'un grand réseau neuronal peuvent émettre jusqu'à 284 000 kilogrammes de dioxyde de carbone. Cela équivaut à 5 fois l'émission sur la durée de vie d'une voiture moyenne.

Les avancées récentes dans le domaine de l'intelligence artificielle (IA) ont inauguré une nouvelle ère de grands réseaux entraînés sur des données massives. Ces réseaux ont apporté des améliorations drastiques de précision sur plusieurs tâches de base du traitement du langage naturel (NLP).

Les modèles les plus gourmands en ressources, en particulier, ont obtenu les scores les plus élevés. Cependant, l'entraînement de tels modèles nécessite une énorme quantité de ressources computationnelles, qui demandent une énergie significative.

Récemment, des chercheurs de l'Université du Massachusetts Amherst ont publié un article dans lequel ils décrivaient les émissions de dioxyde de carbone des modèles d'IA, en réalisant une évaluation du cycle de vie pour l'entraînement de grands réseaux de neurones.

Il y a une décennie, les modèles NLP pouvaient être développés et entraînés sur un serveur conventionnel ou un ordinateur portable, mais ce n'est plus le cas. Aujourd'hui, les modèles hautement précis nécessitent de multiples instances de TPU (unités de traitement tensoriel) ou de GPU. La recherche et les expériences avec les architectures de modèles et les hyperparamètres ont encore augmenté les coûts matériels.

Alimenter un tel matériel pendant des semaines laisse un impact substantiel sur l'environnement. Bien qu'une partie de cette énergie provienne de sources renouvelables, elle est limitée à la technologie que nous avons actuellement pour la générer et la stocker. En fait, la plupart des endroits n'ont pas assez d'installations pour tirer de l'énergie de sources neutres en carbone.

Émissions de carbone de l'entraînement des modèles NLP

Dans cette étude, les chercheurs ont caractérisé les émissions de carbone et les coûts résultant de l'entraînement de grands réseaux de neurones. Ils ont estimé combien de kilowatts d'énergie il faut pour développer et ajuster les modèles NLP populaires. Ils l'ont ensuite converti en coûts d'électricité approximatifs et en émissions de carbone.

Émissions de CO2 estimées des modèles NLP vs autres consommations familières

Les résultats montrent que le développement et l'optimisation d'un grand pipeline NLP pourraient émettre 284 000 kilogrammes de dioxyde de carbone, ce qui équivaut à 5 fois l'émission sur la durée de vie d'une voiture moyenne (y compris son processus de fabrication).

Référence : arXiv:1906.02243

Les coûts financiers et environnementaux augmentent proportionnellement à la taille des modèles d'IA. Mais une fois que vous ajoutez des fonctions d'ajustement pour améliorer encore la précision du modèle, les coûts associés explosent.

Plus spécifiquement, la fonction d'ajustement (aussi appelée recherche d'architecture neuronale) — qui ajuste itérativement la conception du réseau par essais et erreurs intensifs — entraîne des coûts extrêmement élevés pour de faibles améliorations de performance.

Compte tenu des tendances actuelles dans le domaine de l'IA, l'importance de cette recherche est énorme. De nombreux centres de recherche en IA négligent l'efficacité car les modèles de réseaux entraînés sur des données abondantes se sont avérés utiles dans diverses tâches.

Bien que des algorithmes efficaces sur le plan computationnel existent, ils sont à peine utilisés en pratique pour optimiser les modèles NLP, en raison de leurs incompatibilités avec la plupart des frameworks d'apprentissage profond courants comme TensorFlow et PyTorch.

Selon les chercheurs, ce type de recherche devrait être mené pour sensibiliser à l'utilisation extensive des ressources et promouvoir des pratiques et politiques conscientes.