L’IA générative c’est cool, mais n’oublions pas ses coûts humains et environnementaux.

Au cours des derniers mois, le domaine de l’intelligence artificielle a connu une croissance rapide, avec une vague après vague de nouveaux modèles tels que Dall-E et GPT-4 apparaissant les uns après les autres. De nouveaux modèles, produits et outils passionnants sont promis chaque semaine. Il est facile de se laisser emporter par des vagues de battage médiatique, mais ces brillantes opportunités ont un coût pour la société et la planète.

Les inconvénients incluent le coût environnemental de l’extraction de minéraux rares, le coût humain du processus d’annotation des données qui prend du temps et l’investissement financier croissant requis pour former les modèles d’IA car ils incluent plus de paramètres.

Jetons un coup d’œil aux innovations qui ont conduit aux dernières générations de ces modèles et ont fait grimper les coûts qui y sont associés.

Grands modèles

Les modèles d’IA se sont agrandis ces dernières années, les chercheurs mesurant désormais leur taille en centaines de milliards de paramètres. Les « paramètres » sont des relations internes utilisées dans les modèles pour apprendre des modèles basés sur des données de formation.

Pour les grands modèles de langage (LLM) comme ChatGPT, nous avons augmenté le nombre de paramètres de 100 millions en 2018 à 500 milliards en 2023 grâce au modèle PaLM de Google. La théorie derrière cette croissance est que les modèles avec plus de paramètres devraient avoir de meilleures performances même sur des tâches pour lesquelles ils n’ont pas été formés à l’origine, bien que cette hypothèse reste non prouvée .

Les grands modèles prennent généralement plus de temps à former, ce qui signifie qu’ils nécessitent également plus de GPU, ce qui coûte plus cher, de sorte que seules quelques organisations sélectionnées peuvent les former. Le coût de la formation GPT-3, qui compte 175 milliards de paramètres, est estimé à 4,6 millions de dollars, ce qui est hors de portée pour la plupart des entreprises et organisations. (Il convient de noter que le coût des modèles de formation est réduit dans certains cas , comme dans le cas de LLaMA, un modèle récent formé par Meta.)

Cela crée une fracture numérique dans la communauté de l’IA entre ceux qui peuvent enseigner les LLM les plus pointus (principalement les grandes entreprises technologiques et les riches institutions du Nord) et ceux qui ne le peuvent pas (les organisations à but non lucratif, les start-ups , et toute personne n’ayant pas accès à un supercalculateur). ou des millions en crédits cloud). Construire et déployer ces géants nécessite beaucoup de ressources planétaires : des métaux rares pour fabriquer des GPU, de l’eau pour refroidir d’énormes centres de données, de l’énergie pour faire fonctionner ces centres de données 24h/24 et 7j/7 à l’échelle planétaire… toutes ces ressources sont souvent négligées au profit de la concentration. attention. sur le potentiel futur des modèles résultants.

influences planétaires

Une étude d’ Emma Strubell , professeure à l’Université Carnegie Mellon, sur l’empreinte carbone de la formation LLM a révélé que la formation d’un modèle 2019 appelé BERT, qui ne compte que 213 millions de paramètres, émet 280 tonnes métriques d’émissions de carbone, soit environ l’équivalent de cinq voitures. vie. Depuis, les modèles se sont multipliés et les équipements sont devenus plus performants, alors où en est-on ?

Dans un article scientifique récent que j’ai écrit pour étudier les émissions de carbone causées par la formation de BLOOM, un modèle de langage avec 176 milliards de paramètres, nous avons comparé la consommation d’énergie et les émissions de carbone subséquentes de plusieurs LLM, qui ont tous été publiés au cours des dernières années. Le but de la comparaison était de se faire une idée de l’ampleur des émissions de LLM de différentes tailles et de ce qui les influence.