Prečo váš umelá inteligencia už nepotrebuje cloud, aby bežala rýchlejšie

```html Autori: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Hlboké neurónové siete (DNN) na spracovanie dátového prúdu vyžadujú výpočtové zdroje na splnenie požiadaviek na priepustnosť inferencie. Aplikácie hlbokého učenia citlivé na latenciu a súkromie si však nemôžu dovoliť presúvať výpočty do vzdialených cloudov kvôli implikovaným nákladom na prenos a nedostatku dôvery v poskytovateľov cloudových služieb tretích strán. Medzi riešenia na zvýšenie výkonu pri zachovaní výpočtov v obmedzenom prostredí patrí hardvérová akcelerácia, ktorá môže byť náročná, a optimalizácia modelu, ktorá si vyžaduje rozsiahle návrhové úsilie a zároveň obmedzuje presnosť. DNN particioning je tretí komplementárny prístup, ktorý spočíva v distribúcii pracovného zaťaženia inferencie na niekoľko dostupných okrajových zariadení, pričom sa berú do úvahy vlastnosti okrajovej siete a štruktúra DNN s cieľom maximalizovať priepustnosť inferencie (počet inferencií za sekundu). Tento článok predstavuje metódu na predpovedanie latencií inferencie a prenosu pre viacvláknové distribuované nasadenia DNN a definuje optimalizačný proces na maximalizáciu priepustnosti inferencie. Následne je prezentovaný a analyzovaný solver typu „branch and bound“ na kvantifikáciu dosiahnutého výkonu a zložitosti. Táto analýza viedla k definícii regiónu akcelerácie, ktorý opisuje deterministické podmienky na vlastnosti DNN a siete, za ktorých je DNN particioning prínosný. Napokon, experimentálne výsledky potvrdzujú simulácie a ukazujú zlepšenie priepustnosti inferencie vo vzorových okrajových nasadeniach. DNN particioning na okraji umožňuje akceleráciu priepustnosti inferencie pri súčasnom znížení využitia šírky pásma a latencie k centralizovaným serverom, napr. v cloude. Úvod Pripojené zariadenia vygenerovali každý deň v roku 2020 odhadom 2,5 quintilióna bajtov dát. V tomto kontexte je umelá inteligencia (AI) jednou z technológií, ktorá dokáže najlepšie zvládnuť neustále rastúce množstvo produkovaných dát v oblastiach ako detekcia objektov v počítačovom videní, rozpoznávanie tváre, rozpoznávanie reči, spracovanie prirodzeného jazyka alebo autonómne riadenie. AI, a špecificky hlboké učenie (DL), okrem veľkého množstva dát vyžaduje významné schopnosti spracovateľského výkonu a pamäte, čo z neho robí de facto hostingové riešenie pre AI pracovné zaťaženia. V dôsledku toho sa v roku 2019 96 % úloh AI vykonávalo v cloude. 1 2 Aplikácie AI môžu mať silné obmedzenia latencie, napr. v autonómnych vozidlách, monitorovaní výroby alebo akejkoľvek inferencii v reálnom čase zahŕňajúcej interakciu s reálnym svetom. Napríklad priemerné reakčné časy v autonómnych vozidlách sa musia pohybovať pod 100 milisekúnd , čo robí okružné cesty do cloudu príliš dlhými pre takéto aplikácie. Podobne niektoré aplikácie môžu spôsobiť značné využitie linky v sieti, napr. v prípade vysokokvalitného spracovania videa v počítačovom videní, čo bráni ich spusteniu v cloude. Politiky ochrany údajov alebo nariadenia o ochrane údajov môžu tiež zakazovať opustenie konkrétnych prostredí údajmi. To podporuje nasadzovanie AI v okrajovom výpočte, ktorý spočíva v presunutí výpočtových úloh z dátových centier bližšie k okrajovým zariadeniam, t. j. do blízkosti zdrojov dát. [[1]](javascript:void()) V porovnaní s verejnými cloudmi je okraj obmedzeným prostredím s dôležitými obmedzeniami , a preto je vývoj AI pre okraj zásadne odlišný od vývoja AI pre cloud. Analýza údajov v blízkosti ich zdroja môže byť náročná kvôli nižším kapacitám zariadení, neelasticite dostupných zdrojov a heterogenite okrajových sietí. Zníženie výpočtovej kapacity znamená zníženie dosiahnuteľnej priepustnosti inferencie, čo ďalej komplikuje presun náročných pracovných zaťažení z cloudu na okraj. V niektorých aplikáciách môže byť priepustnosť inferencie, t. j. dosiahnuteľné inferencie za sekundu DNN, spojená s presnosťou DNN, napr. pri sledovaní objektov v dátových tokoch videa, kde zníženie rýchlosti inferencie z 15 na 5 inferencií za sekundu viedlo k zníženiu F1 skóre o 10 % . Inými slovami, nasadenia s nízkou priepustnosťou inferencie môžu spôsobiť stratu kritických informácií, napr. stratu detekcií v aplikáciách dohľadu pomocou videa. [[2]](javascript:void()) [[3]](javascript:void()) Existujú dve hlavné dostupné metódy na splnenie výkonnostných požiadaviek v obmedzených okrajových sieťach: kompresia modelu alebo hardvérová akcelerácia. spočíva v zmenšení a optimalizácii neurónových sietí na ľahkú, často menej výkonnú verziu modelu. Štandardné metódy kompresie modelu zahŕňajú prerezávanie , t. j. odstránenie nepotrebných parametrov v modeli, kvantifikáciu , t. j. zníženie prideleného pamäte na uloženie modelu, a destiláciu vedomostí , t. j. trénovanie menšej neurónovej siete s vedomosťami extrahovanými z väčšej. Optimalizácia modelu vyžaduje rozsiahle návrhové úsilie a môže byť prekážkou pre presnosť modelu. na okrajových zariadeniach znamená nájdenie hardvéru, ktorý môže byť energeticky účinný a ľahký, pričom stále dokáže vykonávať inferenciu s dostatočným výkonom. Existuje niekoľko typov kandidátskych hardvérových akcelerátorov na okraji, ktoré sa líšia účinnosťou a špecifickosťou, ale štandardné procesné jednotky nespĺňajú očakávania a špecializovaný hardvér, ako sú ASIC, sa ukázal ako nepraktický a drahý . Kompresia modelu [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) Hardvérová akcelerácia [[7]](javascript:void()) DNN particioning je komplementárna metóda na urýchlenie inferencie prostredníctvom využitia multiplicity existujúcich zariadení v okrajových sieťach na distribúciu inferenčného výpočtu – ktorý sa môže použiť samostatne alebo v spojení s dvoma inými metódami. DNN particioning spočíva v považovaní neurónovej siete za pipeline na segmentovanie do particií a distribúciu týchto particií na okrajové zariadenia. Umiestnenie týchto particií je založené na charakteristikách DNN a podkladovej siete. DNN particioning sa spolieha na identifikáciu deliacich bodov, ktoré sú body v grafe modelu, kde je model rozdelený na particie. Počas behu sa particie spúšťajú sekvenčne, pričom každá odosiela medziprodukty inferencie do nasledujúcej particie. To umožňuje každej particii začať spracovávať ďalšie vstupné údaje, zatiaľ čo ostatné zariadenia pokračujú v spracovaní odoslaných údajov, čím sa zlepšuje priepustnosť inferencie, ako je znázornené na . Vo zvyšku tohto článku sa DNN particioning ilustruje na príklade inferencie v reálnom čase na dátových tokoch videa. obrázku 1 A. Súvisiace práce Metódy na DNN particioning, odvodené z offloadingu z mobilného okraja do cloudu, sa snažia optimalizovať rôzne výkonnostné ukazovatele, ako je latencia výpočtu, spotreba energie, využitie zdrojov, náklady alebo priepustnosť. DNN particioning sa spolieha na asociáciu jedného alebo viacerých z týchto metrík na definovanie optimalizačného cieľa a metódy, ktorá tento metrik využíva na nájdenie particioningových schém. Napríklad Neurosurgeon hľadá jeden deliaci bod, pričom prvú partíciu ponecháva na okraji a druhú partíciu odosiela do cloudu, s cieľom minimalizovať latenciu a spotrebu energie. Aplikácie v IoT tiež zvážili spoločný particioning a offloading viacerých DNN na optimalizáciu energie, oneskorenia a/alebo nákladov pomocou rôznych solverov, ako je SPSO-GA kombinujúci Particle Swarm Optimization (PSO) a Genetics Algorithm (GA), alebo DDPQN , ktorý používa Deep Reinforcement Learning na nájdenie particioningových schém. Ďalšie príklady zahŕňajú DINA , ktorá definuje problém Integer Non Linear Programming (INLP) a používa solver založený na teórii párovania na optimalizáciu oneskorenia a využitia zdrojov v hmlistých sieťach. Metódy optimalizujúce priepustnosť inferencie zahŕňajú DNN surgery , ktorá využíva menšiu veľkosť výstupov medzivrstiev DNN na particioning inferenčného výpočtu medzi okraj a cloud. Oba algoritmy vytvárajú dve particie, jednu na okraji a druhú v cloude. Ďalšie štúdie v oblasti mobilného okraja do cloudu tiež zahŕňajú viacvláknový výpočet v cloude na ďalšie urýchlenie celkovej priepustnosti inferencie. Spoliehanie sa na cloud pre výpočet druhej particie inferencie predpokladá dobré sieťové pripojenie, čo môže byť neisté pri slabom pripojení niektorých izolovaných okrajových nasadení. Edgent prispôsobuje predchádzajúcu metodológiu mobilným zariadeniam a dostupným okrajovým serverom, čím zmierňuje obmedzenie offloadingu do cloudu. Táto metóda je spojená so špecifickým tréningom a architektúrou modelu a stále obmedzuje particioning na dve particie. Iné metódy zvážili viacero deliacich bodov, napr. IONN , ktorá opisuje problém particioningu na minimalizáciu latencie a spotreby energie, pričom zohľadňuje aj čas na nahrávanie modelov na okrajové servery. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Tieto metódy buď interagujú so vzdialenými cloudmi, alebo sú obmedzené povahou particioningu, napr. vyžadujú rozdelenie na presne dve časti, s viacvláknovým spracovaním alebo bez neho. Žiadna zo spomenutých štúdií DNN particioningu nezohľadňuje súčasne viacero deliacich bodov a viacvláknové spracovanie. B. Príspevky Tento článok predstavuje distribuovaný inferenčný rámec na maximalizáciu priepustnosti inferencie reálnych DNN výpočtov na dátovom prúde s viacerými deliacimi bodmi a viacvláknovým particioningom. Príspevky tohto článku sú nasledujúce: Model na výpočet latencií inferencie a prenosu distribuovanej DNN, prostredníctvom ktorého je možné odhadnúť očakávanú priepustnosť inferencie daného particioningového schémy. Formulácia optimalizačného problému pre DNN particioning, implementácia solvera „branch and bound“ pre tento problém a vyhodnotenie jeho zložitosti. Simulácie na preskúmanie možných zlepšení výkonu pri rôznych sieťových vlastnostiach a vlastnostiach DNN. Identifikácia deterministických regiónov v sieťových vlastnostiach a vlastnostiach DNN, ktoré vedú k existencii optimálnych particioningov a nákladom na výpočet takýchto riešení, t. j. podmienky, za ktorých je DNN particioning prínosný. Experimentálne výsledky ilustrujúce regióny definované v simuláciách, ako aj presnosť predpovedí a konečnú akceleráciu priepustnosti inferencie pre homogénne a heterogénne prostredia. Vo zvyšku tohto článku, aby sa predišlo nejasnostiam, sa particionovaná hlboká neurónová sieť bude označovať ako a termín bude označovať podkladovú fyzickú komunikačnú sieť. DNN sieť C. Osnova článku Zvyšok tohto článku je organizovaný nasledovne. predstavuje pozadie hlbokého učenia a ako sú DNN reprezentované v tejto štúdii. detailne popisuje metódy predpovedania latencie inferencie a prenosu potrebné pre , ktorá definuje optimalizačný problém, ako aj algoritmus „branch and bound“ na rozhodovanie o particioningu. prezentuje simulačné výsledky na kvantifikáciu výkonu a zložitosti algoritmu „branch and bound“, ako aj podmienky vedúce k existencii particioningu, ktorý zlepšuje priepustnosť inferencie v homogénnej sieti. prezentuje experimentálne výsledky potvrdzujúce simulácie z a ukazujú zlepšenia priepustnosti inferencie na heterogénnom experimentálnom nastavení. Napokon, diskutuje výsledky a rozširuje sa o širšiu aplikovateľnosť tejto metódy. Časť II Časť III Časť IV Časť V Časť VI Časti V Časť VII ČASŤ II. Pozadie: Hlboké učenie V oblasti strojového učenia sa hlboké učenie (DL) vzťahuje na metódy založené na používaní DNN, t. j. umelých neurónových sietí (alebo súvisiacich metód strojového učenia), ktoré obsahujú viac ako jednu skrytú vrstvu. Jedna z najskorších referencií na architektúry hlbokého učenia bola publikovaná v roku 1967 , ale až v roku 2010 získalo DL trakciu, najprv v rozpoznávaní reči, potom v detekcii objektov na obrázkoch, vďaka schopnosti zachytiť zložité vzťahy vo vysokodimenzionálnych dátach. Odhaduje sa, že hlboké učenie predstavuje väčšinu aplikácií AI v roku 2022, pričom viac ako 75 % organizácií používa DNN pre aplikácie, ktoré by mohli využívať klasické metódy. Metódy DL boli definované ako „ “ . Tieto algebraické obvody sú zvyčajne organizované do vrstiev, ktoré tvoria kroky vo výpočte. Termín odkazuje na algoritmy pozostávajúce z viac ako jednej vrstvy. [[16]](javascript:void()) 4 techniky strojového učenia, pri ktorých hypotézy majú formu zložitých algebraických obvodov s laditeľnými silami spojení [[17]](javascript:void()) hlboké Existujú dve hlavné štruktúry DNN: dopredné neurónové siete a rekurzívne neurónové siete. Oba typy DNN je možné reprezentovať ako výpočtové grafy, pričom hlavný rozdiel spočíva v tom, že dopredné siete je možné reprezentovať ako priame acyklické grafy (DAG), zatiaľ čo rekurzívne neurónové siete môžu obsahovať cykly. Rekurzívne neurónové siete sú zostavené pre sekvencie dát, kde každý dátový bod má potenciálnu závislosť od predchádzajúcich dátových bodov v sekvencii, zatiaľ čo dopredné neurónové siete nezohľadňujú interakcie medzi bodmi v dátovej sekvencii. Zvyšok tohto článku sa bude zaoberať prípadom dopredných DNN. 5 ČASŤ III. Modelovanie distribuovanej inferencie Táto časť predstavuje model na reprezentáciu vlastností DNN a siete na predpovedanie výpočtových latencií, latencií prenosu a konečnej priepustnosti inferencie daného particioningového riešenia. A. Reprezentácia DNN a siete Dopredná DNN s N vrstvami je modelovaná ako DAG GA=(L,E), kde L=(L1,…,LL) sú vrstvy DNN. Hrany (Li,Lj)∈E sú spojenia medzi vrstvami Li a Lj. Každá vrstva Li má priradenú výpočtovú spotrebu ci, meranú v počte operácií s pohyblivou rádovou čiarkou potrebných na vykonanie dopredného priechodu vrstvou. Hrany (Li,Lj) majú priradenú váhu si,j zodpovedajúcu veľkosti dát prechádzajúcich medzi vrstvami Li a Lj v bajtoch. Fyzická sieť je modelovaná ako úplne prepojený graf G=(N,V), kde N=(N1,…,NN) je množina výpočtových uzlov a V je množina spojení medzi uzlami. Predpokladá sa, že výpočtové uzly N1,…,NN majú postupne spracovateľské rýchlosti η1,…,ηN, merané v operáciách s pohyblivou rádovou čiarkou za sekundu. Nakoniec, priepustnosť spojenia medzi dvoma susednými uzlami Na a Nb je označená ako θa,b, meraná v bajtoch za sekundu. Každý uzol Ni je pripojený sám k sebe s nekonečnou priepustnosťou, aby reprezentoval spätné spojenie, a predpokladá sa, že spojenia sú symetrické, t. j. θa,b=θb,a. Particioningy sú definované ako mapy P:L→N, t. j. particioning priradzuje číslo uzla každej vrstve v DNN. Particioning je možné opísať ako maticu P rozmeru (N×L), kde N je počet uzlov v sieti a L je počet vrstiev DNN a s Pa,i=1, ak je vrstva Li umiestnená na uzle Na, inak 0. S príkladom uvedeným na , kde L=7 vrstiev a N=2 výpočtové uzly, zobrazený particioning s vrstvami {L1,L2,L3,L6,L7} na uzle N1 a vrstvami {L4,L5} na uzle N2 je reprezentovaný ako: obrázku 2 Dané particioningom je definované ako skupina po sebe idúcich vrstiev medzi dvoma deliacimi bodmi, ktoré sa spúšťajú sekvenčne na tom istom uzle. V uvedenom príklade uzol N1 vykoná dve vlákna, prvé obsahujúce vrstvy {L1,L2,L3} a druhé {L6,L7}. vlákno S definovanými týmito notáciami, zvyšok tejto časti odvodí uzavretý výraz pre priepustnosť inferencie dosiahnutú daným particioningom ako funkciu latencií inferencie (sekcia III-B) a prenosu (sekcia III-C). B. Predpoveď latencie inferencie Dané particioningom, táto časť sa zaoberá predpoveďou latencie inferencie na izolovanom uzle. Latencia indukovaná výpočtom vrstvy Li so spotrebou ci, ktorá sa má vypočítať na uzle Na, so spracovateľskou rýchlosťou ηa, sa vyjadruje ako Tci(Na)=ci/ηa. Daná množina vrstiev L′⊂L naprieč všetkými vláknami bežiacimi na uzle Na so spracovateľskou rýchlosťou ηa, sa latencia inferencie môže vyjadriť ako: Tento výraz je prvou aproximáciou odhadu latencie inferencie založeného na počte operácií s pohyblivou rádovou čiarkou (FLOPs) potrebných na spracovanie DNN, t. j. počte násobiacich-sčítacích operácií v modeli. Odhad latencie inferencie na okrajových zariadeniach je komplikovaný optimalizáciami počas behu. Existujúce riešenia, ako napr. nn-Meter , predpovedajú latenciu inferencie na základe FLOPs. Iné riešenia sa spoliehajú na vyhľadávaciu tabuľku s predpočítanými časmi inferencie pre inferenciu latencie. Napríklad BRP-NAS používa predtrénovanú konvolučnú grafovú sieť na predpovedanie latencií inferencie, pričom zohľadňuje optimalizácie modelu počas behu. [[18]](javascript:void()) [[19]](javascript:void()) V sa ďalej predpokladá, že procesory využívajú svoju plnú kapacitu, čo znamená, že viacjadrové procesory sú modelované ako jednojadrové procesory so spracovateľskou rýchlosťou rovnou súčtu ich rýchlostí spracovania jadier. Predpokladá sa tiež, že výpočtový zdroj je rovnomerne rozdelený medzi vlákna, t. j. procesor alokuje rovnaký podiel svojho času každému vláknu. rovnici 1 Naprieč všetkými uzlami, vlákno s najvyššou latenciou určuje priepustnosť inferencie pre distribuovanú DNN. Opomenutím latencií prenosu to znamená, že akonáhle toto obmedzujúce vlákno dokončí výpočet dátového rámca, priamo začne spracovávať ďalší. Ostatné vlákna budú mať nečinný čas pred spracovaním ďalšieho dátového rámca, pretože ich latencia inferencie je nižšia ako táto maximálna latencia, ako je znázornené na . obrázku 1 Daná particioning matica P, latencie inferencie sa dajú vyjadriť ako jeden vektor Tc o veľkosti N, kde a-tá zložka je najvyššia latencia vlákna na uzle Na, t. j. Tca=Tc(Na): kde H je diagonálna matica inverzných rýchlostí spracovania uzlov diag(η−11,…,η−1N) a c je stĺpcový vektor individuálnych spotrieb vrstiev (c1,…,cL). C. Predpoveď latencie prenosu Latencia prenosu sa dá predpovedať nasledovne: čas potrebný na odoslanie množstva dát si,j medzi vrstvami Li a Lj na hrane (Na,Nb) cez spojenie s meranou priepustnosťou θa,b je Tti,j(Na,Nb)=si,j/θa,b. Čas na uskutočnenie dátových prenosov si,j∈E′⊂E cez spojenie (Na,Nb) je: Podobne ako pri predpovedi latencie inferencie, to znamená, že spojenia sú rovnomerne rozdelené medzi prenosy dát z Na do Nb. Predpoveď latencie prenosu sa spolieha na odhad priepustnosti spojenia medzi uzlami, presnejšie na , t. j. množstvo užitočných dát prenesených za sekundu. goodput Podobne ako pri odhade latencie inferencie, ide o prvú aproximáciu, ktorá efektívne ponúka dobré výsledky predpovedí, ako je znázornené na c, s korelačným koeficientom R2=0,9998. Nevýhodou tejto metódy je jej požiadavka na nasýtenie spojení na získanie odhadu priepustnosti. obrázku 3 Daná particioning matica P, latencia prenosu matica Tt sa dá definovať ako štvorcová matica veľkosti L, s Tta,b=Tt(Na,Nb): kde ° je prvok po prvku súčin, alebo Hadamardov súčin, Θ je matica inverznej priepustnosti, t. j. štvorcová matica veľkosti N s Θa,b=θ−1a,b a S je matica veľkosti prenosu, t. j. štvorcová matica veľkosti L s Si,j=si,j ak Li posiela dáta do Lj, inak 0. ČASŤ IV. Particioning DNN Cieľom DNN particioningu v tejto štúdii je maximalizovať priepustnosť inferencie, označenú ako C, ktorá zodpovedá inverznej hodnote maximálnej latencie medzi všetkými rôznymi výpočtovými a prenosovými latenciami. Dané particioning P, priepustnosť inferencie je definovaná ako: Maximalizácia priepustnosti inferencie zodpovedá nájdeniu spoločného min-max medzi všetkými členmi Tc a Tt. To sa dá definovať ako diskrétny optimalizačný problém: kde Ji,j je matica samých jednotiek o veľkosti i×j, podmienky a vyžadujú, aby každá vrstva bola umiestnená na jeden a iba jeden uzol. (6) (7) Tento optimalizačný problém je problémom zmiešaného celočíselného nelineárneho programovania (MINLP). Matica particioningu môže byť považovaná za jednohotovo kódovanú verziu vektora veľkosti (1×L) s hodnotami v [[1,N]]. Problémy MINLP sú NP-ťažké, čo znamená, že zložitosť nájdenia optimálneho