Justine ReynaudI look into the resource consumption of data centers and present my state of knowledge. I ask more questions than I give answers.
The increase has already been exponential for years. With the AI hype, this demand for energy, cooling and water has increased dramatically.
What is known, what is to be expected and how an upcoming crisis be avoided? Can we reuse the energy? At least partially? Are there other concepts of integrating data centers into buildings and cities? Do we have non technical patterns driving the resource exhaustion?
The AI hype has increased the demand dramatically. The existing GPU based computing paradigm cuts hard into the standard design of data centers and demands other ways of cooling. Does the approach of modeling neurons really need floating point numbers? Which alternatives could be found?
This is an update of Thomas' previous talks at the #cccamp23 Camp[1] and at the Bits und Bäume conference [2].
[1] https://media.ccc.de/v/camp2023-57070-energy_consumption_of_data_centers
[2] https://media.ccc.de/v/bitsundbaeume-19844-datenschutz-sparsamkeit-und-resourcenverbrauch-am-beispiel-einer-terminbuchungsanwendung
Thomas Frincke s'intéresse à la consommation énergétique de l'intelligence artificielle. Trois mesures sont étudiées : consommation électrique, consommation en eau et émissions de CO2. Il y a beaucoup de discours de green-washing et des enjeux économiques énormes, ce qui rend difficile de s'y retrouver aisément. Dans son exposé, il ne s'intéresse pas au coût de construction du matériel.
La consommation électrique d'un data center (avant les LLMs et compagnie) d'environ 3 à 6 kW/rack. L'ensemble des data centers avait une consommation a peu près égale à l'aviation (soit 2.5% des émissions de CO2). Si l'on considère les besoins en eau, la consommation était à peu près celle de 3 hôpitaux ou un peu plus de 2 terrains de golf.
Exemples de consommations pour l'entraînement : Pour AlphaGo Zero, on est à 67 MWh (environ 1 millième du nucléaire français) ; pour ChatGPT (GPT-3) à 1,287 GWh (c'est un peu plus de 2% de la production nucléaire française).
Avec l'IA (deep learning + IA générative), on passe à 3.7% des émissions de CO2 (soit une fois et demi plus). La consommation électrique explose : elle est multipliée par 5 à 10 (25 à 30 kW par rack avec des Nvidia Hopper H100 qui consomment chacune 700W). Cela nécessite également un refroidissement plus élaboré (on passe d'un refroidissement passif à un refroidissement actif).
Parmi les actions qui peuvent être menées, on note par exemple le fait de chauffer les habitations à proximité des data center (mais en été, on fait comment ?) ou d'utiliser du matériel plus efficient (passer de GPU à TPU par exemple). Cependant, il faut prendre garde à l'effet rebond.
L'orateur souligne aussi à quel point la métaphore du neurone est problématique : un neurone est bien plus complexe que les neurones artificiels. Ce qui s'approche le plus d'un neurone artificiel est une synapse, c'est-à-dire une connexion entre deux neurones. Mais pour donner une idée de la consommation électrique, il la compare au cerveau : 20 Watts !
1,287GWh = 1 cerveau pendant 7 000 ans