Keď OpenAI koncom roka 2022 spustil ChatGPT, vyvolalo to potešenie aj obavy. Generatívna AI preukázala pozoruhodný potenciál – vytváranie esejí, riešenie problémov s kódovaním a dokonca aj vytváranie umenia. Ale vyvolalo to aj poplach medzi environmentalistami, výskumníkmi a technológmi. Najväčšie obavy? Obrovská spotreba energie potrebná na školenie a prevádzkovanie veľkých jazykových modelov (LLM) vyvoláva otázky o ich dlhodobej udržateľnosti. Keďže LLM naďalej pretvárajú odvetvia ako vzdelávanie a zdravotníctvo, ich vplyv nemožno ignorovať. Tento dokument nastoľuje dôležitú otázku: Dokážu sa tieto inteligentné systémy optimalizovať, aby znížili spotrebu energie a minimalizovali svoju environmentálnu stopu? A ak áno, ako by to mohlo zmeniť prostredie AI? Rozoberieme energetické výzvy LLM, od školenia až po odvodenie, a preskúmame inovatívne stratégie samoladenia, vďaka ktorým by AI mohla byť udržateľnejšia. Pochopenie energetickej výzvy AI Školenie vs Školenie veľkých jazykových modelov, ako sú GPT-4 alebo PaLM, od Googlu vyžaduje obrovské množstvo výpočtových zdrojov. Napríklad tréning GPT-3 zabral tisíce GPU niekoľko týždňov, pričom spotrebovali toľko energie ako stovky amerických domácností za rok. Uhlíková stopa závisí od energetického mixu napájajúceho dátové centrá. Dokonca aj po tréningu fáza inferencie, kde modely zvládajú úlohy v reálnom svete, zvyšuje spotrebu energie. Hoci energia potrebná na jeden dotaz je malá, keď vezmeme do úvahy, že na rôznych platformách sa každý deň uskutočňujú miliardy takýchto interakcií, stáva sa to závažným problémom. Prečo LLM spotrebujú toľko energie? Dnešné LLM sú citlivé na parametre; majú miliardy alebo dokonca bilióny parametrov, ktoré si vyžadujú množstvo zdrojov na spracovanie, aktualizáciu a uloženie. Veľkosť modelu: Použitie čipov na báze kremíka je obmedzené ich spracovateľskými kapacitami, a teda potrebou zhlukov GPU alebo TPU na exponenciálne zvýšenie spotreby energie. Hardvérové obmedzenia: Dátové centrá podporujúce vysokú výpočtovú záťaž sú teplé a chladiace systémy môžu spotrebovať až 40 % energie, ak nie sú energeticky účinné. Potreby chladenia: Environmentálne a ekonomické mýto Náklady z hľadiska životného prostredia zahŕňajú emisie uhlíka, ako aj spotrebu vody pri chladení, zatiaľ čo prevádzkové náklady sú problémom pre menšie spoločnosti AI. Ročné náklady môžu dosiahnuť miliardy, čo robí z udržateľnosti dôležitý nielen environmentálny, ale aj ekonomický problém. Rozdelenie spotreby energie modelu AI Aby sme pochopili, ako LLM spotrebúvajú energiu, poďme si to rozobrať: Operácia AI Spotreba energie (%) Tréningová fáza 60 % Inferencia (spustené dopyty) 25 % Chladenie dátového centra 10% Hardvérové operácie 5% Tréningová fáza zostáva najväčším prispievateľom k spotrebe energie. Kľúčový poznatok: Stratégie samooptimalizácie Výskumníci skúmajú, ako môžu LLM optimalizovať spotrebu energie kombináciou softvérovej práce s hardvérovými zmenami. Modelové prerezávanie a kvantovanie Nadbytočné parametre, ktoré v obmedzenej miere ovplyvňujú presnosť, sú odstránené, čo vedie k zmenšeniu veľkosti modelu bez zníženia presnosti. Prerezávanie: Toto znižuje presnosť (napr. z 32-bitovej na 8-bitovú) údajov, čo znižuje pamäťové a výpočtové požiadavky. Kvantovanie: Kvantovanie a orezávanie sú užitočné, ale pri použití so spätnoväzbovými slučkami, kde je model schopný určiť, ktoré časti sú kľúčové a ktoré časti možno kvantovať, sa stáva celkom efektívnym. Toto je nová oblasť, ale potenciál existuje v samooptimalizačných sieťach. Dynamická inferencia (podmienený výpočet) Myšlienka podmieneného výpočtu umožňuje modelom používať iba tie neuróny alebo vrstvy, ktoré sú relevantné pre danú úlohu. Napríklad prístup spoločnosti Google Mixture-of-Experts (MoE) rozdeľuje sieť na špecializované podsiete, ktoré zlepšujú tréning a znižujú spotrebu energie obmedzením počtu aktívnych parametrov. Posilňovacie vzdelávanie pre ladenie Posilnené učenie môže optimalizovať hyperparametre, ako je rýchlosť učenia a veľkosť dávky, vyváženie presnosti a spotreby energie, aby sa zabezpečilo efektívne fungovanie modelov. Viacúčelová optimalizácia Okrem optimalizácie na presnosť môžu LLM optimalizovať aj pre iné ciele: presnosť, latenciu a spotrebu energie pomocou nástrojov ako Google Vizier alebo Ray Tune. V poslednom čase sa energetická účinnosť stala kľúčovým cieľom v týchto rámcoch. Inovácie hardvéru a spoločný dizajn AI Čipy na špeciálne účely na zlepšenie efektívnosti pri vykonávaní úloh AI. ASIC (Application Specific Integrated Circuits): Čipy inšpirované mozgom, stále vo vývoji, aby sa minimalizovala spotreba energie pri vykonávaní výpočtov v neurónovej sieti, sú vo vývoji. Neuromorphic Computing: Výpočet využívajúci svetlo by mohol prekonať obmedzenia elektronického systému a znížiť spotrebu energie systému. Optické výpočty: Systémy AI vytvorené prostredníctvom spoločného návrhu hardvéru so softvérom umožňujú súčasné prispôsobenie softvérových algoritmov a hardvérových zdrojov. Porovnanie techník AI energetickej optimalizácie Technika Zníženie energie (%) Primárny úžitok Modelové prerezávanie 30 % Znižuje nepotrebné parametre modelu Kvantovanie 40 % Znižuje výpočtovú presnosť Podmienený výpočet (MoE) 25 % Aktivuje iba potrebný model Posilňovacie učenie 15 % Dynamicky upravuje spotrebu energie Neuromorfné výpočty 50 % Napodobňuje efektivitu mozgu Spoločný dizajn hardvéru (ASIC, optické čipy) 35 % Vyvíja hardvér špecifický pre AI pre maximálnu efektivitu Budúce modely AI budú pravdepodobne kombinovať viaceré techniky na dosiahnutie 60-70 % celkového zníženia energie. Výzvy pre samooptimalizujúcu sa AI : Niektoré funkcie, ako napríklad orezávanie a kvantovanie, môžu mierne zhoršiť presnosť. Kompromisy presnosti Stále fungujeme za predpokladu, že sa spoliehame na neefektívne kremíkové čipy. Limity infraštruktúry dátového centra: V súčasnosti neexistuje univerzálny štandard na sledovanie energetickej účinnosti. Medzery v opatreniach energetickej účinnosti: Prísne pravidlá udržateľnosti si môžu vynútiť prijatie efektívnych modelov. Nariadenie vlády: Budúce dôsledky Samooptimalizujúce sa LLM by mohli znížiť spotrebu energie o 20 % alebo viac pre miliardy dopytov, čo by viedlo k enormným úsporám nákladov a emisií. Je to v súlade s globálnymi cieľmi nulovej čistoty a má vplyv na niekoľko sektorov: : Energeticky efektívne LLM by mohli zvýšiť využitie služieb zákazníkom a analytiky. Podnik : Iniciatívy s otvoreným zdrojom, ako je Hugging Face, môžu urýchliť inovácie. Výskum : Normy energetickej transparentnosti by mohli samočinnú optimalizáciu presadiť ako normu. Politika Záver LLM priniesli novú úroveň sofistikovanosti v spracovaní jazyka, ale problém ich spotreby energie je hlavným problémom. Riešenie však poskytuje rovnaká inteligencia, z ktorej vznikli tieto modely. Techniky ako orezávanie, kvantovanie, podmienené výpočty a spoločný návrh hardvéru naznačujú, že je možné navrhnúť LLM, ktoré riadia svoju vlastnú spotrebu energie. Ako výskum napreduje, problém sa stáva menej otázkou, či je udržateľná AI možná, a skôr otázkou toho, ako rýchlo sa môže technický priemysel spojiť, aby to dosiahol – bez obetovania inovácií pre životné prostredie. Referencie Brown, T., a kol. (2020). "Jazykové modely sa málokto učia." , 33, 1877-1901. (Hypotetický zdroj tréningových údajov GPT-3.) Advances in Neural Information Processing Systems Strubell, E., Ganesh, A., & McCallum, A. (2019). "Energetické a politické úvahy pre hlboké vzdelávanie v NLP." , 3645-3650. (Ilustračný zdroj o nákladoch na energiu AI.) Zborník z 57. výročného zasadnutia ACL Fedus, W., a kol. (2021). "Switch Transformers: Škálovanie na bilión modelov parametrov s jednoduchou a efektívnou vzácnosťou." . (Základ pre diskusiu medzi odborníkmi.) arXiv predtlač arXiv:2101.03961 Patterson, D., a kol. (2021). "Cvičenie o emisiách uhlíka a veľkej neurónovej sieti." . (Zdroj pre odhady tréningovej energie.) arXiv predtlač arXiv:2104.10350 Výskum Google. (2023). "Vizier: Služba pre optimalizáciu Black-Box." . (Ilustračný odkaz na nástroj.) Blog Google AI
