L'entraînement d'un grand réseau de neurones peut émettre 284 000 kilo de CO2

• Le développement et l'optimisation d'un grand réseau de neurones peuvent émettre jusqu'à 284 000 kg de dioxyde de carbone.
• Cela équivaut à 5 fois les émissions à vie d'une voiture moyenne.

Les progrès récents dans le domaine de l'intelligence artificielle (IA) ont inauguré une nouvelle ère de grands réseaux entraînés sur des données massives. Ces réseaux ont des améliorations drastiques de précision dans plusieurs tâches de base de traitement du langage naturel (NLP).

Les modèles les plus gourmands en ressources, en particulier, ont obtenu les scores les plus élevés. Cependant, la formation de tels modèles nécessite une énorme quantité de ressources de calcul, qui nécessitent une énergie importante.

Récemment, des chercheurs de l'Université du Massachusetts à Amherst ont publié un article dans lequel ils décrivaient les émissions de dioxyde de carbone des modèles d'IA, en effectuant une évaluation du cycle de vie pour la formation de grands réseaux de neurones.

Il y a dix ans, les modèles de PNL pouvaient être développés et entraînés sur un serveur ou un ordinateur portable conventionnel, mais ce n'est plus le cas. Aujourd'hui, les modèles très précis nécessitent plusieurs instances de TPU (unités de traitement de tenseur) ou de GPU. Les recherches et les expériences avec les architectures de modèles et les hyperparamètres ont encore augmenté les coûts du matériel.

L'alimentation d'un tel matériel pendant des semaines a un impact substantiel sur l'environnement. Bien qu'une partie de cette énergie provienne de sources renouvelables, elle se limite à la technologie dont nous disposons actuellement pour la générer et la stocker. En fait, la plupart des sites disposent de suffisamment d'installations pour tirer de l'énergie de sources neutres en carbone.

Émissions de carbone des modèles PNL de formation

Dans cette étude, les chercheurs ont caractérisé les émissions de carbone et le coût résultant de la formation de grands réseaux de neurones. Ils ont estimé combien de kilowatts d'énergie il faut pour développer et régler des modèles NLP populaires. Ils l'ont ensuite converti en coûts d'électricité approximatifs et en émissions de carbone.

Émissions de CO2 estimées des modèles NLP par rapport à d'autres consommations habituelles 

Les résultats montrent que le développement et l'optimisation d'un grand pipeline de PNL pourraient émettre 284 000 kilogrammes de dioxyde de carbone, ce qui équivaut à 5 fois les émissions à vie d'une voiture moyenne (y compris son processus de fabrication).

Référence :arXiv:1906.02243

Les coûts financiers et environnementaux augmentent proportionnellement à la taille des modèles d'IA. Mais une fois que vous ajoutez des fonctions de réglage pour améliorer encore la précision du modèle, les coûts associés explosent.

Plus précisément, la fonction de réglage (également appelée recherche d'architecture neuronale) - ajuste la conception du réseau de manière itérative par le biais d'essais et d'erreurs intensifs - conduit des coûts extrêmement élevés pour peu d'améliorations des performances.

Compte tenu des tendances actuelles dans le domaine de l'IA, l'importance de cette recherche est énorme. De nombreux centres de recherche en IA négligent l'efficacité, car les modèles de réseaux formés sur des données abondantes se sont avérés utiles dans diverses tâches.

Lire : Les feuilles artificielles peuvent réduire le dioxyde de carbone de l'atmosphère

Bien qu'il existe des algorithmes efficaces en termes de calcul, ils ne sont pratiquement pas utilisés dans la pratique pour optimiser les modèles NLP, en raison de leurs incompatibilités avec les frameworks d'apprentissage en profondeur les plus courants tels que TensorFlow et PyTorch.

Selon les chercheurs, ce type de recherche devrait être mené pour sensibiliser à l'utilisation intensive des ressources et promouvoir des pratiques et des politiques conscientes.