De AI-energiecrisis en een nieuwe drang naar efficiëntie

Het is geen geheim dat we een groot obstakel zijn tegengekomen in onze toekomst vol AI: het enorme energieverbruik van onze huidige modellen.

Leiders in de industrie doen hun best om op korte termijn oplossingen te bedenken om ervoor te zorgen dat ze de golf niet missen, met ambitieuze inspanningen zoals Microsoft heropent kernreactoren op Three Mile Island En Google werkt aan ‘unieke’ geothermische projecten .

Terwijl dat zich afspeelt aan de grote tafel, bouwt een hele reeks nieuwe startups voort op de vooruitgang die de afgelopen jaren is geboekt. Ze herzien de basisprincipes om te zien of er oplossingen zijn die als oplossing voor de lange termijn kunnen dienen.

Eentje waarvoor geen honderden miljoenen dollars aan infrastructuurinvesteringen nodig zijn.

De energiebehoefte van AI is een tikkende tijdbom

Het bedienen van grote taalmodellen in hun huidige iteratie is een energie-intensief proces dat snel onhoudbare niveaus nadert. Het trainen van één enkel AI-model kan net zoveel koolstof uitstoten als vijf auto's gedurende hun hele levensduur. Het is niet alleen een milieuprobleem; het is een schaalbaarheidsnachtmerrie die de AI-revolutie dreigt te laten ontsporen voordat deze volledig van start gaat.

Denk eens aan deze ontnuchterende feiten:

• Voor GPT-3, met zijn 175 miljard parameters, was naar verluidt 1.287 MWh nodig voor één trainingsrun.
• De CO2-voetafdruk van het trainen van een groot NLP-model wordt geschat op ongeveer 626.000 pond CO2-equivalent.
• Naarmate modellen groeien, groeit ook hun energieverbruik – vaak in een superlineair tempo.

En nu de industrie aandringt op geavanceerdere AI-mogelijkheden, zal dit energieverbruik de pan uit rijzen. Dit is niet alleen een probleem op operationeel niveau, maar ook in het grotere geheel, aangezien leiders in de industrie zoals Google hebben beloofd om netto nul koolstofemissies te bereiken door de aankoop van koolstofkredieten van bedrijven die dingen doen zoals het dichten van verweesde olie- en gasputten - een markt waar de vraag het aanbod al ver overtreft.

Efficiëntie en minimale parameteractivering: de nieuwe poolster van AI-innovatie

De oplossing kan heel eenvoudig zijn: slimmere, kleinere en efficiëntere modellen die zijn ontworpen voor een reeks specifieke doeleinden.

Het beperken van de reikwijdte, als je wilt.

Een voorbeeld hiervan is het open-source Aria-model dat is gebouwd door Rhymes , dat minimale parameteractivering gebruikt. Hoewel het Aria-model in totaal 25,3 miljard parameters heeft, activeert het er slechts 3,9 miljard voor een bepaalde taak. Traditionele, gangbare modellen zoals GPT-3 activeren al hun parameters voor elke taak, ongeacht de complexiteit, terwijl de aanpak van Aria lijkt op een chirurg die alleen de benodigde instrumenten voor een specifieke procedure gebruikt. Veel chirurgen zouden je vertellen dat ze niet de hele operatiekamer aan apparatuur hoeven in te zetten voor elke operatie.

Rhyme heeft dit in de praktijk toegepast met BeaGo, wat zij “een slimmere, snellere AI-zoekopdracht” noemen. Op basis van mijn tests waren de resultaten van BeaGo niet te onderscheiden van concurrerende producten van Perplexity en andere, meest energie- en tijdrovende producten.

Maar het gaat om meer dan alleen het beperken van de reikwijdte: de startup heeft een multimodaal open-sourcemodel ontwikkeld dat bestaat uit een mix van experts en dat grote hoeveelheden lange-contextgegevens van allerlei typen sorteert en intelligent beheert, waaronder tekst, video en afbeeldingen.

De oplossing van Rhymes kan de weg vrijmaken voor AI in 2025 en daarna, zonder dat er honderden miljoenen dollars aan infrastructuur hoeft te worden uitgegeven.

De herinnering: innovatie stopt nooit

Uiteindelijk dient het werk van bedrijven als Rhymes als een herinnering dat alleen omdat we iets hebben gevonden dat werkt , niet betekent dat de taak van innoveren voorbij is. Terwijl Microsoft en Google met onze bestaande grote taalmodellen werken, werkend aan het productief maken en brengen van AI naar de massamarkt, kunnen anderen niet stoppen met werken aan het bouwen van iets dat nog beter is.

Ik word bemoedigd door de startup-gedreven aanpak die ik hier eind 2024 zie – een combinatie van multimodale mogelijkheden, selectieve parameteractivering en open-sourcesamenwerking – die een blauwdruk biedt voor hoe we een visie kunnen realiseren van een AI die zowel werkt als bijdraagt aan de planeet.