Extremer Energiehunger von KI und IT: Was wir tun können

Das Training künstlicher Intelligenz, Übertragung großer Datenmengen und der Betrieb von Rechenzentren haben gemeinsam, dass sie extrem energiehungrig sind. Nachhaltigkeit wird in diesem Feld jedoch oft nicht beachtet, warnt die Informatikerin Ivona Brandić, die an der TU Wien an Cloud-Computing und der Energieeffizienz von IT-Systemen forscht. Im futurezone-Interview erklärt sie, wie sich auch der IT-Sektor an die Herausforderungen der Energie- und Klimakrise anpassen kann.

futurezone: Der Ressourcenhunger von IT-Systemen kommt langsam in den Medien an. Was glauben Sie, hat dazu geführt?
Ivona Brandić: Menschen und vor allem Firmen sind ein bisschen empfindlicher geworden. Bis vor einem halben Jahr war das nicht so, das war wirklich ein Nischenfeld. Mittlerweile tut es halt weh.

Liegt es am jetzigen KI-Hype, oder an den hohen Strompreisen oder kommt da alles zusammen?
Einerseits hat Corona den Einsatz von Online-Tools befeuert. Da merkt man, dass das als Teil der gesamten Infrastruktur auch Kosten bedeutet. Dann hat man gesehen, wie empfindlich die Energiepreise sind, und dass IT doch relativ viel Strom benötigt, vor allem in den Rechenzentren. Das andere sind natürlich die KI-Tools. Es wird jetzt auch langsam klar, wie viel Strom die brauchen.

In Studien wird bereits berechnet, wie viel CO2 so ein KI-Modell beim Training verursacht. Das sind mit Pro-Kopf-Verbräuchen verglichen enorme Mengen. Wie ordnen Sie das ein?
Also vernachlässigbar ist es überhaupt nicht. Erstens gibt es sehr wenige Studien in diesem Bereich. Die US-Forscherin Emma Strubell ist eine der wenigen, die sich damit auseinandersetzt. Sie war die erste, die Large Language Models und generative KI untersucht hat. Und da redet man immer davon, dass das Training eines Large Language Models ungefähr so viel CO2 verursacht wie ein Mensch in seinem Leben. Das mag nach nicht viel klingen. Aber man muss auch gestehen, dass diese Modelle von statischen Daten ausgehen. Die einmal zu trainieren, ist nicht realistisch. Wenn ich jetzt ChatGPT benutze, möchte ich frische Daten haben. Das heißt, all diese Zahlen, die man im Netz oder in diesen Studien findet, muss man mit der Frequenz der Aktualisierungen multiplizieren. Und wenn ich sage, ich möchte jeden Tag frische Daten haben, dann muss ich das mit 365 multiplizieren. Ich glaube, man ist sich dieser Dimension noch nicht ganz bewusst.

Die Frage ist da natürlich, wie oft das Modell aktualisiert wird, und ob man da auf den kompletten Datensatz zurückgreifen muss.  
Ja, das ist dann die Frage. Ob nur ganz kleine Teile upgedatet werden oder ob sie von Neuem trainiert werden, wissen wir nicht. Da gibt es unterschiedliche Methoden und unterschiedliche Programmiermodelle in der KI. Da gibt es natürlich auch einen unterschiedlichen energetischen Aufwand. In den vergangenen 5 Jahren habe ich mich etwa mit dem “Staleness Control Problem” beschäftigt. Dabei versucht man den richtigen Zeitpunkt zu finden, um ein Modell mit frischen Daten zu füttern. Und da geht es auch darum, zu entscheiden, wann die Daten alt genug sind, um ein neues Training zu rechtfertigen.

Nicht nur das Training ist energieintensiv, sondern auch der tägliche Betrieb. ChatGPT erreichte innerhalb eines Monats mehr als 1 Million Nutzer*innen. Welche Ausmaße kommen da noch hinzu?
Was oft vernachlässigt wird, sind die Netzwerkkosten. Also jedes Mal, wenn wir ChatGPT nutzen, werden Daten übertragen. Das kommt jetzt zusätzlich zu den anderen Sachen hinzu, die wir in unserem Netz machen - seien es E-Mails, Surfen oder Streaming. Das macht einen großen Teil der Kosten in der Netzübertragung aus. Dann gibt es die Kosten, um Daten auf das Endgerät zu übertragen und zu visualisieren, da gibt es noch sehr wenige Untersuchungen. Oft kommt dann das Argument: Rechenzentren kann man immer dort bauen, wo Strom günstig und grün zu erzeugen ist. Das geht bei der Nutzung aber nicht. Denn da entstehen die Kosten dort, wo Menschen die Geräte auch verwenden. Und in vielen Entwicklungsländern kommt Strom eben nicht aus erneuerbaren Quellen.

Das bedeutet, dass die Masse an Endgeräten den Energieverbrauch ausmacht?
Ja, absolut.

Apple führte kürzlich die Funktion "Clean Energy Charging" ein, bei der das Handy geladen wird, wenn möglichst viel grüner Strom im Netz ist. Sind solche Maßnahmen sinnvoll oder nur ein PR-Gag? 
Das kann ich nicht sagen, das kann beides sein. Solche Dinge sind sehr schwer neutral zu evaluieren, da man sich auf die Aussagen der Firma verlassen muss. Aber Firmen investieren jetzt tatsächlich in Methoden, Energie zu sparen. Ich habe erst mit einer Kollegin geredet, die bei einem anderen Silicon-Valley-Unternehmen arbeitet. Die hat mir erzählt, dass viele Energiesparmethoden, die sie vor 10 Jahren entwickelt haben, jetzt zur Anwendung kommen. Workload Shift oder Carbon Neutral Scheduling, die Methoden gibt es bereits. Aber sie wurden nicht implementiert, weil die Kosten zur Umstellung der Prozesse viel höher waren als die Einsparungen. Jetzt zahlt sich das aus. Ich merke auch bei den Kollegen und Kolleginnen, die in der Industrie arbeiten, dass die plötzlich auch mit diesen Sachen beauftragt werden. 

Das bedeutet: Es muss ein Preisdruck da sein, damit das auch durchgesetzt wird?
Genau. 

Wenn wir zu ChatGPT oder zum Streaming zurückkommen, könnte man argumentieren, dass die Technologie weniger Ressourcen verbraucht als die analoge Tätigkeit. Videostreams ersetzen etwa persönliche Treffen, wo ich mit dem Auto anreisen muss. Werden diese Einsparungen alle von Rebound-Effekten aufgefressen?
Da entsteht eine eigene Forschungsrichtung in dem Bereich, wie man diese Verhaltensweisen ändern kann. Man kommuniziert einfach viel mehr mit Menschen und hängt länger am Bildschirm. Und dadurch entstehen wieder mehr Kosten, die die Vorteile dieser Digitalisierung auffressen. Jetzt überlegt man sich tatsächlich: Was muss oder was kann sinnvoll digitalisiert werden. Es gibt also eine Art Gegenbewegung. Man versucht auch Kinder so zu erziehen, dass digitale Medien bewusst konsumiert werden, vielleicht eine halbe Stunde oder eine Stunde pro Tag. Das ist aber eine Lernkurve, wie sie auch bei der Ernährung stattfindet. Wir leben im Überfluss und müssen lernen, mit Lebensmitteln gut umzugehen und uns gesund zu ernähren. Genau so muss man es bei der Digitalisierung auch schaffen. Aber das entwickelt sich erst. 

Also muss in der Gesellschaft erst der Konsens entstehen, digitale Geräte weniger zu nutzen?
Genau. Da müssen alle mitmachen: die Politik, das Bildungssystem, die Gesellschaft. Man muss ein gesundes Maß an Konsum von digitalen Inhalten finden.

Auch wenn Unternehmen effizienter werden, Datencenter zum Beispiel effizientere Chips verbauen: Der steigende Konsum reizt den Energieverbrauch immer aus? 
Es gibt allerdings mehrere Schrauben, an denen man drehen muss. Eine Frage ist: Wie kann man mit den Technologien, die man hat, möglichst effizient arbeiten? Da gibt es neue Methoden, wie man Rechenzentren führt, wie man Daten überträgt, komprimiert und so weiter. Dann gibt es eine Schraube beim Konsum des Menschen. Und dann gibt es noch eine dritte Baustelle. Da geht es um komplett disruptive Methoden, die alles verändern werden, was wir derzeit machen. 

Welche wären das?
Das sind zum Beispiel neuromorphe Computer (siehe Infobox) und Quantencomputer. Die sind keine Allheilmittel, das muss man dazu sagen. Man wird nicht alles auf einem Quantencomputer oder einem neuromorphen Computer ausführen können, sie eignen sich nämlich nur für ganz bestimmte Aufgaben. Aber für diese Aufgaben eignen sie sich ausgesprochen gut, sie sind unglaublich effizient. Die Aufgabe der Informatik ist es, das sinnvoll zu entwickeln. Wenn man sich ein klassisches Programm anschaut, können vielleicht nur wenige Prozent auf einem Quantencomputer ausgeführt werden. Die werden dafür super effizient ausgeführt und damit liegt die gesamte Effizienz des Programms in einer ganz anderen Größenordnung.

In der Informatik haben wir in den letzten 40, 50 Jahren versucht, generelle Architekturen zu entwickeln. Wir benutzen alle - völlig egal, ob es ein Smartphone ist, ein Laptop, oder ein riesiges Rechenzentrum - die gleiche Von-Neumann-Architektur. Jetzt geht man davon wieder weg – weil die Datenmenge steigt und die Geschwindigkeit der Computer da nicht mehr mithalten kann. 

Das heißt, dass es wird in Zukunft mehr spezialisierte Prozessoren für manche Prozesse geben wird?
Ja. Diese sogenannten Accelerators sind für spezifische Berechnungen da. 

Diese zu entwickeln wäre auch im Sinne der Unternehmen, weil man dadurch Energiekosten sparen und ein besseres Service anbieten kann. 
Natürlich. Die Idee ist aber auch, dass man dadurch Anwendungen entwickeln kann, die man mit der klassischen Architektur einfach nicht realisieren kann. Das ist zum Beispiel personalisierte Medizin, also personalisierte Behandlungspläne. Damit können die Werte der Patienten etwa rund um die Uhr überwacht werden. So viel Kapazität haben wir derzeit einfach nicht.

Sie haben vorhin auch die Politik angesprochen: Verschläft sie diesen Wandel gerade?
Man sieht es leider bei der Klimakrise recht gut: Die passt nicht in die Fünfjahrespläne der Regierung, man kann ja keine Effekte nach 5 Jahren messen. Bei diesen IT-Infrastrukturen sehe ich ähnliche Probleme. Das wird einfach vernachlässigt, denn bis sich das auszahlt, muss man einen langen Atem haben. Dafür ist unser politisches System einfach noch nicht gemacht.

Kann man eigentlich schon Zeiträume angeben, die es für eine solche Umstellung brauchen würde?
Das ist ja das Problem, das wissen wir so nicht. Es gehen jetzt mehrere Ideen ins Rennen und wir wissen nicht, wie sich das entwickeln wird. Wir in der Forschung wissen damit umzugehen. Man muss auch risikobehaftete Forschung machen, wo es keine Garantie gibt, ob sie sich in 3 oder 5 oder 10 Jahren durchsetzen wird. Große Durchbrüche sind aber nur dann zu erreichen, wenn man auch ein Risiko eingeht. Und oft muss man auch in eine Richtung forschen, wo es nicht ganz klar ist, wofür das gut ist. Man muss in Grundlagenforschung investieren, wo dann einige Dinge - nicht alle - später zu Durchbrüchen auf dem Markt führen können. Seien wir froh, dass Anton Zeilinger zu Quanten geforscht hat, als sich keiner dafür interessiert hat.

Ich glaube, es war sogar sein Argument, weshalb er sich für die Quantenphysik entschieden hat. 
Seien wir, froh, dass viele an Sachen forschen, die nicht gerade gefordert sind. Dann können wir sie einfach so aus der Tasche zaubern, wenn sie gerade benötigt werden.