Zašto vašem AI-u više nije potreban oblak da bi radio brže

Autori: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Sažetak: Duboko neuronsko umrežavanje (DNN) za zaključivanje na strimujućim podacima zahteva računarske resurse za ispunjavanje zahteva za propusnost zaključivanja. Međutim, aplikacije dubokog učenja osetljive na latenciju i privatnost ne mogu sebi priuštiti prebacivanje računanja u udaljene oblake zbog implicitnih troškova prenosa i nedostatka poverenja u provajdere cloud usluga trećih strana. Među rešenjima za povećanje performansi uz zadržavanje računanja u ograničenom okruženju, hardversko ubrzanje može biti teško, a optimizacija modela zahteva opsežne dizajnerske napore uz ugrožavanje tačnosti. DNN particionisanje je treći komplementarni pristup, koji se sastoji od distribucije opterećenja zaključivanja na nekoliko dostupnih edge uređaja, uzimajući u obzir svojstva edge mreže i strukturu DNN-a, sa ciljem maksimiziranja propusnosti zaključivanja (broj zaključivanja u sekundi). Ovaj rad predstavlja metod za predviđanje latencija zaključivanja i prenosa za distribuirane DNN implementacije sa više niti, i definiše proces optimizacije za maksimiziranje propusnosti zaključivanja. Zatim se predstavlja i analizira rešavač granica i vezivanja (branch and bound) za kvantifikaciju postignutih performansi i složenosti. Ova analiza je dovela do definicije oblasti ubrzanja, koja opisuje determinističke uslove za svojstva DNN-a i mreže pod kojima je DNN particionisanje korisno. Konačno, eksperimentalni rezultati potvrđuju simulacije i pokazuju poboljšanja propusnosti zaključivanja u uzorcima edge implementacija. DNN particionisanje na edge-u omogućava ubrzanje propusnosti zaključivanja uz smanjenje upotrebe propusnog opsega i latencije ka centralizovanim serverima, npr. u oblaku. Uvod Povezani uređaji generisali su procenjenih 2.5 kvintiliona bajtova podataka svakog dana u 2020. godini. U ovom kontekstu, veštačka inteligencija (AI) je jedna od tehnologija koja se najbolje može nositi sa sve većom količinom proizvedenih podataka, u nizu oblasti kao što su detekcija objekata u računarskom vidu, prepoznavanje lica, prepoznavanje govora, obrada prirodnog jezika ili autonomna vožnja. AI, a posebno duboko učenje (DL), zahteva, pored velikih količina podataka, značajne sposobnosti u procesorskoj snazi i memoriji, što čini cloud računarstvo *de facto* rešenjem za hosting AI radnih opterećenja. Posledično, 2019. godine, 96% AI zadataka je izvršeno u oblaku. 1 2 AI aplikacije mogu imati stroga ograničenja latencije, *npr.*, u autonomnoj vožnji, nadzoru proizvodnje ili bilo kom zaključivanju u realnom vremenu koje uključuje interakciju sa stvarnim svetom. Na primer, prosečno vreme odziva u autonomnoj vožnji mora biti ispod 100 milisekundi , čineći vreme povratnog putovanja do oblaka predugim za takve aplikacije. Slično, neke aplikacije mogu uvesti značajnu upotrebu veze na mreži, *npr.*, u slučaju obrade video zapisa visokog kvaliteta u računarskom vidu, što im sprečava izvršavanje u oblaku. Politike privatnosti podataka ili regulacije zaštite podataka takođe mogu zabraniti izlazak podataka iz određenih okruženja. Ovo podstiče AI implementacije u edge računarstvu, koje se sastoji od premještanja računarskih zadataka iz data centara bliže edge uređajima, *tj.*, u blizini izvora podataka. [](javascript:void()) U poređenju sa javnim oblacima, edge je okruženje sa ograničenim resursima sa značajnim ograničenjima , i razvoj AI za edge je stoga intrinčino drugačiji od razvoja AI za oblak. Analiza podataka blizu njihovog izvora može biti izazovna zbog nižih kapaciteta uređaja, neelastičnosti dostupnih resursa i heterogenosti edge mreža. Smanjenje računarskog kapaciteta podrazumeva smanjenje postignute propusnosti zaključivanja, dodatno komplikujući premještanje teških radnih opterećenja iz oblaka na edge. U nekim aplikacijama, propusnost zaključivanja, *tj.*, postignuta zaključivanja u sekundi DNN-a, može biti povezana sa tačnošću DNN-a, *npr.*, sa praćenjem objekata u video strimovima, gde je smanjenje stope zaključivanja sa 15 na 5 zaključivanja u sekundi pokazalo smanjenje F1 rezultata__3__detektora objekata za 10% . Drugim rečima, implementacije sa niskom propusnošću zaključivanja mogu uzrokovati kritičan gubitak informacija, *npr.*, gubitak detekcija u aplikacijama video nadzora. [](javascript:void()) [](javascript:void()) Postoje dve glavne dostupne metode za ispunjavanje zahteva za performansama na edge mrežama sa ograničenjima: kompresija modela ili hardversko ubrzanje. *Kompresija modela* se sastoji od smanjenja i optimizacije neuronskih mreža na laganu, često nedovoljno performantnu, verziju modela. Standardne metode kompresije modela uključuju proređivanje , *tj.*, uklanjanje nepotrebnih parametara u modelu, kvantizaciju , *tj.*, smanjenje dodeljenog memorijskog prostora za skladištenje modela, i destilaciju znanja , *tj.*, obuku manjeg neuronskog modela sa znanjem ekstrahovanim iz većeg. Optimizacija modela zahteva opsežne dizajnerske napore i može biti prepreka za tačnost modela. *Hardversko ubrzanje* na edge uređajima podrazumeva pronalaženje hardvera koji može biti efikasan po pitanju energije i lagan, a ipak sposoban da izvršava zaključivanje sa dovoljnim performansama. Postoji nekoliko tipova kandidata za hardversko ubrzanje na edge-u, koji variraju u efikasnosti i specifičnosti, ali standardne procesorske jedinice ne ispunjavaju očekivanja, a namensko hardver kao što su ASIC-i su se pokazali nepraktičnim i skupim . [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) DNN particionisanje je komplementarna metoda za ubrzanje zaključivanja iskorišćavanjem mnoštva postojećih uređaja na edge mrežama za distribuciju računarskog zadatka zaključivanja – koji se može koristiti samostalno ili u kombinaciji sa druga dva metoda. DNN particionisanje se sastoji od posmatranja neuronskog modela kao cevovoda koji treba segmentirati na particije, i distribucije tih particija na edge uređaje. Postavljanje ovih particija zasniva se kako na DNN-u, tako i na karakteristikama osnovne mreže. DNN particionisanje se oslanja na identifikaciju tačaka podele, koje su tačke u grafu modela gde se model razdvaja na particije. Tokom izvršavanja, particije se izvršavaju sekvencijalno, pri čemu svaka šalje intermedijarne rezultate zaključivanja sledećoj particiji. Ovo omogućava svakoj particiji da počne da obrađuje sledeći ulazni podatak dok drugi uređaji nastavljaju obradu offloadovanog podatka, čime se poboljšava propusnost zaključivanja, kao što je prikazano na . U ostatku ovog rada, DNN particionisanje je ilustrovano primerom zaključivanja u realnom vremenu na video strimovima. slika 1 A. Povezani radovi Metode za DNN particionisanje, izvedene iz offloading-a mobilnog edge-cloud-a, teže optimizaciji različitih pokazatelja performansi, kao što su latencija računanja, potrošnja energije, korišćenje resursa, trošak ili propusnost. DNN particionisanje se oslanja na udruživanje jedne ili više ovih metrika za definisanje cilja optimizacije, i metodu koja koristi ovu metriku za pronalaženje šema particionisanja. Na primer, Neurosurgeon traži jednu tačku podele, zadržavajući prvu particiju na edge-u i prebacujući drugu particiju u oblak, kako bi se minimizirala latencija i potrošnja energije. Aplikacije u IoT-u su takođe razmatrale zajedničko particionisanje i offloading više DNN-ova za optimizaciju energije, kašnjenja i/ili troškova, koristeći različite rešavače kao što je SPSO-GA koji kombinuje Particle Swarm Optimization (PSO) i Geneticke Algoritme (GA), ili DDPQN koji koristi Deep Reinforcement Learning za pronalaženje šema particionisanja. Drugi primeri uključuju DINA , koji definiše Integer Non Linear Programming (INLP) problem, i koristi rešavač zasnovan na teoriji podudaranja, za optimizaciju kašnjenja i korišćenja resursa u fog mrežama. Metode koje optimizuju propusnost zaključivanja uključuju DNN surgery , koja koristi manju veličinu intermedijarnih izlaznih slojeva DNN-a za particionisanje računanja zaključivanja između edge-a i oblaka. Oba algoritma kreiraju dve particije, jednu na edge-u, a drugu u oblaku. Druge studije u oblasti mobilnog edge-cloud-a takođe uključuju računanje sa više niti u oblaku za dalje ubrzanje ukupne propusnosti zaključivanja. Oslanjanje na oblak za računanje druge particije pretpostavlja dobru mrežnu povezanost, što može biti nesigurno sa slabom povezanošću nekih izolovanih edge implementacija. Edgent prilagođava prethodnu metodologiju mobilnim uređajima i dostupnim edge serverima, opuštajući ograničenje offloading-a u oblak. Ova metoda je povezana sa specifičnom obukom i arhitekturom modela, i još uvek ograničava particionisanje na dve particije. Druge metode su razmatrale više tačaka podele, *npr.*, IONN , koji opisuje problem particionisanja za minimiziranje latencije i potrošnje energije, takođe uzimajući u obzir vreme za otpremanje modela na edge servere. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ove metode ili komuniciraju sa udaljenim oblacima, ili su ograničene prirodom particionisanja, *npr.*, zahtevaju podelu na tačno dva dela, sa ili bez više niti. Nijedna od navedenih studija DNN particionisanja ne razmatra istovremeno više tačaka podele i više niti. B. Doprinosi Ovaj rad predstavlja distribuirani okvir za zaključivanje radi maksimiziranja propusnosti zaključivanja zaključivanja DNN-a u realnom vremenu na strimujućim podacima, sa više tačaka podele i particionisanjem sa više niti. Doprinosi ovog rada su sledeći: Model za predviđanje latencija računanja i prenosa distribuiranog DNN-a, kroz koji se može proceniti očekivana propusnost zaključivanja date šeme particionisanja. Formulacija problema optimizacije za DNN particionisanje, implementacija rešavača granica i vezivanja za ovaj problem, i evaluacija njegove složenosti. Simulacije za istraživanje mogućih poboljšanja performansi sa promenljivim mrežnim i DNN svojstvima. Identifikacija determinističkih regiona u svojstvima mreže i DNN-a koji dovode do postojanja optimalnih particionisanja i troška izračunavanja takvih rešenja, *tj.*, uslova pod kojima je DNN particionisanje korisno. Eksperimentalni rezultati koji ilustruju regione definisane u simulacijama, kao i tačnost predviđanja i konačno ubrzanje propusnosti zaključivanja za homogeno i heterogeno okruženje. Za ostatak ovog rada, da bi se izbegla zabuna, particionisani duboko neuronski mrežni model će se nazivati *DNN*, a termin *mreža* će označavati osnovnu fizičku komunikacionu mrežu. C. Pregled rada Ostatak ovog rada je organizovan na sledeći način. predstavlja pozadinu dubokog učenja i kako se DNN-ovi predstavljaju u ovoj studiji. detaljno opisuje metode predviđanja latencije zaključivanja i prenosa potrebne za koji definiše problem optimizacije, kao i algoritam granica i vezivanja za donošenje odluka o particionisanju. predstavlja rezultate simulacija za kvantifikaciju performansi i složenosti algoritma granica i vezivanja, kao i uslove koji dovode do postojanja particionisanja koje poboljšava propusnost zaključivanja u homogenoj mreži. predstavlja eksperimentalne rezultate koji potvrđuju simulacije iz , i pokazuje poboljšanja propusnosti zaključivanja na heterogenoj eksperimentalnoj postavci. Konačno, diskutuje rezultate i proširuje se na širu primenljivost ove metode. Odeljak II Odeljak III Odeljak IV Odeljak V Odeljak VI Odeljka V Odeljak VII ODELJAK II. Pozadina: Duboko učenje U oblasti mašinskog učenja, duboko učenje (DL) se odnosi na metode koje se oslanjaju na korišćenje DNN-ova, *tj.*, veštačkih neuronskih mreža (ili srodnih metoda mašinskog učenja) koje sadrže više od jednog skrivenog sloja. Jedna od najranijih referenci na arhitekture dubokog učenja objavljena je 1967. godine , ali tek 2010-ih DL je dobio zamah, prvo u prepoznavanju govora, zatim u detekciji objekata na slikama, zbog sposobnosti hvatanja složenih odnosa u visokodimenzionalnim podacima. Procenjuje se da duboko učenje predstavlja većinu AI aplikacija u 2022. godini, sa preko 75% organizacija koje koriste DNN-ove za aplikacije koje bi mogle koristiti klasične metode. DL metode su definisane kao „*tehnike za mašinsko učenje u kojima hipoteze imaju oblik složenih algebarskih kola sa podesivim jačinama veza*“ . Ova algebarska kola su obično organizovana u slojeve, koji formiraju korake u računanju. Termin *duboko* odnosi se na algoritme koji se sastoje od više od jednog sloja. [](javascript:void()) 4 [](javascript:void()) Postoje dve glavne DNN strukture: feed-forward neuronske mreže i rekurentne neuronske mreže. Oba tipa DNN-ova mogu se predstaviti kao grafovi računanja, sa glavnom razlikom što se feed-forward mreže mogu predstaviti kao direktni aciklični grafovi (DAG), dok rekurentne neuronske mreže mogu sadržati cikluse. Rekurentne neuronske mreže su napravljene za sekvence podataka, gde svaka tačka podataka ima potencijalnu zavisnost od prethodnih tačaka podataka u sekvenci, dok feed-forward neuronske mreže ne razmatraju interakcije između tačaka u sekvenci podataka. Ostatak ovog rada će se baviti slučajem feed-forward DNN-ova. 5 ODELJAK III. Modeliranje distribuiranog zaključivanja Ovaj Odeljak predstavlja model za predstavljanje DNN i mrežnih svojstava radi predviđanja latencija računanja, latencija prenosa i konačne propusnosti zaključivanja datog rešenja za particionisanje. A. Predstavljanje DNN-a i mreže Feed-forward DNN sa N slojevima modeluje se kao DAG G_A=(L,E) sa L=(L1,...,LL) slojevima DNN-a. Ivice (L_i, L_j)∈E su veze između slojeva L_i i L_j. Svaki sloj L_i ima pridruženu potrošnju računanja c_i, merenu u broju operacija sa pokretnim zarezom potrebnih za izračunavanje forward prolaza kroz sloj. Ivice (L_i, L_j) dobijaju težinu s_{i,j} koja odgovara veličini podataka koji prolaze između slojeva L_i i L_j u bajtovima. Fizička mreža se modeluje kao potpuno povezan graf G=(N,V) gde je N=(N1,...,NN) skup čvorova za računanje, a V je skup veza između čvorova. Pretpostavlja se da čvorovi za računanje N1,...,NN imaju stope obrade η1,...,ηN, respektivno, merene u operacijama sa pokretnim zarezom po sekundi. Konačno, propusni opseg veze između dva susedna čvora Na i Nb označen je kao θ_{a,b}, mereno u bajtovima po sekundi. Svaki čvor Ni je povezan sam sa sobom sa beskonačnim propusnim opsegom da bi se predstavila loopback veza, i pretpostavlja se da su veze simetrične, *tj.*, θ_{a,b}=θ_{b,a}. Particionisanja se definišu kao mape P:L→N, *tj.*, particionisanje dodeljuje broj čvora svakom sloju u DNN-u. Particionisanje se može opisati kao matrica P dimenzije (N×L), gde je N broj čvorova na mreži i L broj DNN slojeva, i gde je P_{a,i}=1 ako je sloj L_i postavljen na čvor Na, 0 inače. Sa primerom datim na , gde L=7 slojeva i N=2 čvora za računanje, prikazano particionisanje sa slojevima {L1,L2,L3,L6,L7} na čvoru N1, i slojevima {L4,L5} na čvoru N2, predstavlja se kao: slika 2 Data datim particionisanjem, *nit* se definiše kao grupa uzastopnih slojeva između dve tačke podele, izvršavana sekvencijalno na istom čvoru. U gornjem primeru, čvor N1 će izvršiti dve niti, prva sadrži slojeve {L1,L2,L3}, a druga {L6,L7}. Sa definisanim ovim notacijama, ostatak ovog Odeljka izlaže zatvoreni izraz propusnosti zaključivanja postignute datim particionisanjem, kao funkciju latencija zaključivanja ( ) i prenosa ( ). odeljak III-B odeljak III-C B. Predviđanje latencije zaključivanja Data datim particionisanjem, ovaj Odeljak razmatra predviđanje latencije zaključivanja na izolovanom čvoru. Latencija indukovana računanjem sloja L_i sa potrošnjom c_i, koji treba da se izračuna na čvoru Na, sa stopom obrade η_a, izražava se kao T_{c,i}(N_a) = c_i / η_a. Data datim skupom slojeva L'⊂L kroz sve niti koje se izvršavaju na čvoru Na sa stopom obrade η_a, latencija zaključivanja se može izraziti kao: Ovaj izraz je prva aproksimacija procene latencije zaključivanja zasnovana na broju operacija sa pokretnim zarezom (FLOPs) potrebnih za obradu DNN-a, *tj.*, broju operacija množenja-sabiranja u modelu. Procena latencije zaključivanja na edge uređajima je komplikovana optimizacijama u vreme izvršavanja. Postojeća rešenja kao što je nn-Meter predviđaju latenciju zaključivanja na osnovu FLOPs. Druga rešenja se oslanjaju na tabelu pretrage sa predračunatim vremenima zaključivanja za inferenciju latencije. Na primer, BRP-NAS koristi prethodno obučenu grafovsku konvolucionu mrežu za predviđanje latencija zaključivanja, uzimajući u obzir optimizacije modela u vreme izvršavanja. [](javascript:void()) [](javascript:void()) U , dalje se pretpostavlja da procesori koriste svoj pun kapacitet, što podrazumeva da su višekorisnički procesori modelovani kao jednokorisnički procesori sa stopom obrade jednakom zbiru njihovih stopa obrade po jezgru. Takođe se pretpostavlja da se računarski resurs ravnomerno deli između niti, *tj.*, procesor dodeljuje isti procenat svog vremena svakoj niti. jednačini 1 Kroz sve čvorove, nit sa najvećom latencijom postavlja propusnost zaključivanja za distribuirani DNN. Zanemarujući latencije prenosa, ovo podrazumeva da kada ta ograničavajuća nit završi računanje podatkovnog okvira, ona direktno počinje da obrađuje sledeći. Druge niti će imati vreme mirovanja pre obrade sledećeg podatkovnog okvira jer je njihova latencija zaključivanja niža od ove maksimalne latencije, kao što je prikazano na . slika 1 Data datim particionom matricom P, latencije zaključivanja se mogu izraziti kao jedan vektor T_c veličine N, gde je a-ta komponenta najveća latencija niti za zaključivanje na čvoru N_a, *tj.*, T_{c,a} = T_c(N_a): gde je H dijagonalna matrica inverznih stopa obrade čvorova diag(η⁻¹₁, ..., η⁻¹_N) i c je kolona vektor individualnih potrošnji slojeva (c₁, ..., c_L). C. Predviđanje latencije prenosa Latencija prenosa se može predvideti na sledeći način: vreme potrebno za slanje količine podataka s_{i,j} između slojeva L_i i L_j na ivici (N_a, N_b) preko veze sa izmerenom propusnošću θ_{a,b} je T_{t,i,j}(N_a,N_b) = s_{i,j} / θ_{a,b}. Vreme za postizanje prenosa podataka s_{i,j}∈E'⊂E preko veze (N_a, N_b) je: Slično predviđanju latencije zaključivanja, ovo podrazumeva da se veze ravnomerno dele između prenosa podataka od N_a do N_b. Predviđanje latencije prenosa oslanja se na procenu propusnosti veze između čvorova, preciznije *goodput*, *tj.*, količina korisnih podataka prenetih po sekundi. Slično proceni latencije zaključivanja, ovo je prva aproksimacija, koja efikasno nudi dobre rezultate predviđanja, kao što je prikazano na c, sa koeficijentom korelacije R²=0.9998. Nedostatak ove metode je zahtev za zasićenjem veza da bi se dobila procena propusnosti. slika 3 Data datim particionom matricom P, matrica latencije prenosa T_t može se definisati kao kvadratna matrica veličine L, sa T_{t,a,b} = T_t(N_a,N_b): gde je ° proizvod element po element, ili Hadamardov proizvod, Θ je matrica inverzne propusnosti, *tj.*, kvadratna matrica veličine N sa Θ_{a,b}=θ⁻¹_{a,b} i S je matrica veličine prenosa, *tj.*, kvadratna matrica veličine L sa S_{i,j}=s_{i,j} ako L_i šalje podatke L_j, 0 inače. ODELJAK IV. DNN particionisanje Cilj DNN particionisanja u ovoj studiji je maksimiziranje propusnosti zaključivanja, označene sa C, što odgovara inverznoj vrednosti maksimalne latencije između svih različitih latencija računanja i prenosa. Data datim particionisanjem P, propusnost zaključivanja se definiše kao: Maksimiziranje propusnosti zaključivanja svodi se na pronalaženje zajedničkog min-max između svih termina T_c i T_t. Ovo se može definisati kao diskretni optimizacioni problem: sa J_{i,j} koja je matrica svih jedinica veličine i×j, uslovi i zahtevaju da svaki sloj bude postavljen na jedan i samo jedan čvor. (6) (7) Ovaj optimizacioni problem je Mixed Integer Non-linear Programming (MINLP) problem. Matrica particionisanja se može posmatrati kao verzija sa jednim-vrućim kodiranjem vektora veličine (1×L) sa vrednostima u [[1,N]]. MINLP problemi su NP-teški, što podrazumeva da je složenost pronalaženja optimalnog DNN particionisanja O(N^L) jer svaki od L slojeva može biti postavljen na N čvorova. Postoji nekoliko heuristika za dobijanje optimalnih ili sub-optimalnih rešenja ovog problema za manje vremena nego što je potrebno algoritmu brute force, *npr.*, Genetski Algoritmi (GA) , Particle Swarm Optimization (PSO) , ili Branch and Bound (B&B) . Izabrana metodologija je adaptirana B&B implementacija, koja je predstavljena u . [](javascript:void()) [](javascript:void()) [](javascript:void()) Odeljku IV-A A. Algoritam granica i vezivanja (Branch and Bound) Ovaj Odeljak predstavlja adaptaciju B&B algoritma na problem optimizacije DNN particionisanja definisan u . Odeljku IV U B&B algoritmima, prostor rešenja je predstavljen drvetom. Proces se sastoji od eliminisanja celih grana u drvetu na osnovu evaluacije rezultata korena stabla. Ovo podrazumeva postojanje topologije drveta koja stvara odnos između rezultata čvora u drvetu i granica rezultata svih njegovih listova.