Das Zeitalter der energieineffizienten KI ist bereits angebrochen: Die Kosten der KI

Künstliche Intelligenz ist aufregend; der technologische Durchbruch, der in weniger als einem Jahr unser Leben erobert hat, ist seitdem nicht mehr gestoppt worden.

Persönlich habe ich einige Probleme mit KI-Tools und der Art und Weise, wie sie derzeit eingesetzt werden. Dennoch kann ich nicht leugnen, dass sie ein mächtiges Instrument sind, wenn man sie der richtigen Person für die richtige Arbeit gibt – aber wie wir alle wissen, geht mit großer Macht auch große Verantwortung einher.

Haben wir bei all der Aufregung und den halb erfüllten Versprechen jemals darüber nachgedacht, wie viel es kostet, 1,2 oder 3 Milliarden Parametermodelle stundenlang, skaliert über mehrere Instanzen, für Millionen von Benutzern gleichzeitig auszuführen?

Ich war immer ein Befürworter des Konzepts des „minimalen Webs“ (ich werde in Zukunft einen Artikel über dieses Konzept schreiben; es gibt viel zu sagen). Wir leben in einer Zeit, in der auf der einen Seite jeder äußerst besorgt um die Gesundheit des Planeten zu sein scheint (und das aus gutem Grund). Auf der anderen Seite denkt jedoch niemand darüber nach, wie viel uns das Internet in seinem gegenwärtigen Zustand an Rohenergie kostet. Ist es effizient? Ist es umweltfreundlich? Weit gefehlt.

Verkehr und Energie

Vor einiger Zeit habe ich mit Perl ( Webmeter ) ein kleines TUI-Tool geschrieben, das meinen Internetverkehr überwacht und die Bytelänge der Pakete aggregiert, die gesendet und empfangen werden, während das Tool ausgeführt wird.

Allein beim Öffnen der Startseite von Reddit protokollierte mein Tool satte 5,85 Megabyte an Daten, die zwischen meiner Schnittstelle und den Servern von Reddit übertragen wurden.

Reddit als Website ist eine Kombination aus Text, Bildern in niedriger bis mittlerer Qualität und gelegentlich Videos. Es erscheint äußerst unwahrscheinlich, dass ich allein durch das Öffnen der Reddit-Startseite so viele Daten über den ganzen Planeten übertragen habe (die automatische Videowiedergabe war während des Tests deaktiviert, dieses Ergebnis schließt Videoinhalte aus).

Die Startseite von Reddit, die mit 10 Kilobyte Inhalt, JavaScript und CSS (vielleicht noch ein paar Kilobyte für zusätzliche Bilder) hätte enden können, benötigte allein zum Laden die 300-fache Bandbreite.

Zum Vergleich: Die für die Apollo-11-Mission geschriebene Software war nur 72 Kilobyte groß (wenn man bedenkt, dass die Mondlandung nicht in einem Keller in Hollywood stattfand).

Stellen Sie sich zum Spaß einmal vor, Milliarden von Menschen würden gemeinsam, zu jeder Zeit und zu jeder Zeit die Startseite von Reddit öffnen. Versuchen Sie zu überlegen: Was sind die direkten Kosten für die Datenübertragung? Was sind die sekundären Kosten? Wie viel Energie verschwenden wir als internetnutzende Wesen?

Dieses Konzept schwirrt mir seit etwa einem Jahr im Kopf herum und war der Hauptgrund, warum ich überhaupt mein Perl-Tool zusammengehackt habe. Ein „Minimal Web“-Gedanke führte zum nächsten und mir wurde klar, dass wir so sehr vom Hype (oder Hass) eingenommen sind, dass wir die Kosten unserer Bemühungen um künstliche Intelligenz ignorieren.

Wie können wir die Energiekosten von KI als Service (oder beispielsweise stabiler Diffusion) berechnen?

Genau? Das können wir nicht. Nicht ohne zu wissen, wie diese Dienste funktionieren: welche CPUs oder GPUs (oder dedizierten Chips) sie verwenden. Wie viele Instanzen laufen, wie hoch ist ihre Auslastung, wie hoch ist der genaue Stromverbrauch der kritischen Hardware usw.?

Aber wir können zu einer ziemlich realistischen (wenn auch nicht ganz so genauen) Schlussfolgerung gelangen, wenn wir uns darauf konzentrieren. Ich habe für dieses Beispiel Fooocus gewählt, die einfachste (und meiner Meinung nach beliebteste) stabile Diffusions-GUI, die es gibt. Fangen wir einfach an:

Mit Fooocus brauchte meine alte GPU (eine Quadro P2000) etwa 10 Minuten, um ein Bild zu erzeugen. Laut der Leistungstabelle im Repository von Fooocus wissen wir, dass wir mit einer Nvidia RTX 4XXX GPU das schnellste Ergebnis erzielen würden. Meine Quadro ist in etwa mit einer Nvidia GTX 1060 vergleichbar, daher wissen wir, dass wir mit einer Nvidia GTX 1060 GPU in etwa 10 Minuten ein Bild erzeugen können.

Nach einiger Online-Suche kam ich zu dem Schluss, dass die am häufigsten verwendete (Unternehmens-)GPU für KI/ML die Nvidia A100 ist (bis zu 400 W unter Last).

Die Nvidia A100 ist eine wesentlich leistungsstärkere GPU als die Nvidia GTX 1060; sie ist außerdem speziell für KI und ML konzipiert. Nehmen wir daher an, dass die Generierung eines Bildes mit einer Nvidia A100 5 Sekunden dauert (wenn jemand, der dies liest, genaue Daten über die A100 und ihre Leistung hat, teilen Sie sie bitte mit).

Mit der Formel E = P * T kostet der Stromverbrauch einer Nvidia A100 GPU unter Last für 5 Sekunden etwa 0,5 Wattstunden.

Ergänzung zu diesem Beispiel: Midjourney (oder andere KI-Bildgenerierungsdienste) generiert 4 Bilder pro Eingabeaufforderung. Nehmen wir an, der Dienst verwendet zur Generierung der Bilder eine Reihe von Nvidia A100s, was bedeutet, dass der Dienst pro Eingabeaufforderung und Benutzer wahrscheinlich etwa 2 Wattstunden Energie verschwendet.

Im November 2023 verfügt Midjourney über 2,5 Millionen DAUs.

 2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh

120.000 Megawattstunden könnten potenziell über 100.000 Haushalte einen ganzen Monat lang mit Strom versorgen.

Bescheiden betrachtet verschwenden Dienste wie Midjourney, Dall-E oder sogar selbst gehostete Lösungen wie Fooocus jeweils mindestens 50 Millionen Wattstunden pro Tag (unter der Annahme, dass ihre GPUs auf dem neuesten Stand der Technik sind und jeder DAU den Dienst mehrere Stunden am Tag nutzt).

Mit dieser Energiemenge könnten möglicherweise über 100.000 Haushalte mittlerer Größe einen Monat lang täglich mit Strom versorgt werden.

Bedenken Sie, dass wir nur über Bildgenerierungsdienste gesprochen haben. Vergessen wir nicht alle anderen Dienste wie ChatGPT, Gemini, Bard und alle ihre Versionen und Varianten. Die Liste und der Abfall gehen weiter.

Was sollen wir machen?

Wie können wir als Entwickler gemeinsam dieses neue Problem angehen? Wie können wir Maßnahmen ergreifen, um andere zu einem verantwortungsvollen Umgang mit Energie zu erziehen? Ich würde gerne Ihre Gedanken zu diesem Thema und seinen möglichen Lösungen hören.

Auch hier erschienen