Die KI-Energiekrise und ein neuer Drang nach Effizienz

Es ist kein Geheimnis, dass wir auf dem Weg zu unserer KI-gestützten Zukunft auf ein gewaltiges Hindernis gestoßen sind: den atemberaubenden Energieverbrauch unserer aktuellen Modelle.

Branchenführer bemühen sich, kurzfristige Antworten zu finden, um sicherzustellen, dass sie die Welle nicht verpassen. Dazu zählen ehrgeizige Maßnahmen wie Microsofts Wiedereröffnung der Atomreaktoren auf Three Mile Island Und Google arbeitet an den ersten Geothermieprojekten ihrer Art .

Und während sich diese Entwicklung am Tisch der Großen abspielt, baut eine Schar neuer Startups auf den Fortschritten der letzten Jahre auf und überdenkt die Grundlagen, um zu sehen, ob es Lösungen gibt, die auch langfristig Bestand haben könnten.

Eines, das keine Hunderte Millionen Dollar an Infrastrukturinvestitionen erfordert.

Der Energiebedarf der KI ist eine tickende Zeitbombe

Der Betrieb großer Sprachmodelle in ihrer aktuellen Iteration ist ein energieintensiver Prozess, der sich schnell einem nicht mehr nachhaltigen Niveau nähert. Das Training eines einzigen KI-Modells kann während der gesamten Lebensdauer so viel Kohlenstoff ausstoßen wie fünf Autos. Dies ist nicht nur ein Umweltproblem; es ist ein Skalierbarkeitsalptraum, der die KI-Revolution zum Scheitern zu bringen droht, bevor sie richtig Fahrt aufgenommen hat.

Bedenken Sie diese ernüchternden Fakten:

• GPT-3 mit seinen 175 Milliarden Parametern benötigte Berichten zufolge 1.287 MWh für einen einzigen Trainingslauf.
• Der CO2-Fußabdruck beim Training eines großen NLP-Modells wird auf etwa 626.000 Pfund CO2-Äquivalent geschätzt.
• Mit dem Wachstum der Modelle steigt auch ihr Energieverbrauch – oft überlinear.

Und da die Branche nach fortschrittlicheren KI-Funktionen strebt, wird dieser Energieverbrauch in die Höhe schnellen. Dies ist nicht nur auf operativer Ebene ein Problem, sondern auch im Gesamtbild, da Branchenführer wie Google sich verpflichtet haben, durch den Kauf von Emissionszertifikaten von Unternehmen, die beispielsweise verlassene Öl- und Gasquellen verschließen, Netto-Null-Emissionen zu erreichen – ein Markt, in dem die Nachfrage das Angebot bereits bei weitem übersteigt.

Effizienz und minimale Parameteraktivierung: Der neue Nordstern der KI-Innovation

Die Lösung könnte ganz einfach sein: intelligentere, kleinere und effizientere Modelle, die für eine Reihe spezifischer Zwecke gebaut werden.

Den Umfang einschränken, wenn Sie so wollen.

Ein solches Beispiel ist das von Rhymes entwickelte Open-Source-Modell Aria , das nur eine minimale Parameteraktivierung verwendet. Obwohl das Aria-Modell insgesamt 25,3 Milliarden Parameter aufweist, werden für jede Aufgabe lediglich 3,9 Milliarden davon aktiviert. Traditionelle, gängige Modelle wie GPT-3 aktivieren alle ihre Parameter für jede Aufgabe, unabhängig von der Komplexität, während Arias Ansatz dem eines Chirurgen gleicht, der für einen bestimmten Eingriff nur die notwendigen Instrumente verwendet. Viele Chirurgen würden Ihnen sagen, dass sie nicht für jede Operation die gesamte Ausrüstung des Operationssaals einsetzen müssen.

Rhyme hat dies in der Praxis mit BeaGo umgesetzt, das sie als „intelligentere, schnellere KI-Suche“ bezeichnen. Basierend auf meinen Tests waren die Ergebnisse von BeaGo nicht von den Ergebnissen der Konkurrenzprodukte von Perplexity und anderen, sehr energie- und zeitintensiven Produkten zu unterscheiden.

Doch es geht um mehr als nur eine Verengung des Umfangs: Das Startup hat ein multimodales Open-Source-Modell mit einer Mischung aus Experten entwickelt, das große Datenmengen mit langem Kontext aller Art, darunter Text, Video und Bilder, sortiert und intelligent verwaltet.

Die Lösung von Rhymes könnte den Weg für künstliche Intelligenz im Jahr 2025 und darüber hinaus ebnen – und das ohne Hunderte Millionen Dollar an Infrastrukturausgaben.

Die Erinnerung: Innovation hört nie auf

Letztendlich dient die Arbeit von Unternehmen wie Rhymes als Erinnerung daran, dass die Aufgabe der Innovation nicht beendet ist, nur weil wir etwas gefunden haben, das funktioniert . Während Microsoft und Google mit unseren bestehenden großen Sprachmodellen arbeiten und daran arbeiten, KI zu Produkten zu machen und auf den Massenmarkt zu bringen, können andere nicht aufhören, daran zu arbeiten, etwas noch Besseres zu entwickeln.

Ich bin ermutigt durch den Startup-getriebenen Ansatz, den ich hier Ende 2024 sehe – die Kombination multimodaler Fähigkeiten, selektiver Parameteraktivierung und Open-Source-Zusammenarbeit – der eine Blaupause dafür bietet, wie wir die Vision einer KI verwirklichen können, die sowohl funktioniert als auch dem Planeten zugutekommt.