Zašto vašem AI-u više nije potreban oblak da bi radio brže

Autori: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Sažetak: Duboko neuronsko mrežno (DNN) zaključivanje na podacima koji teku zahtijeva računalne resurse kako bi se zadovoljili zahtjevi propusnosti zaključivanja. Međutim, aplikacije dubokog učenja osjetljive na kašnjenje i privatnost ne mogu si priuštiti offloadiranje izračuna u udaljene oblake zbog implicitnih troškova prijenosa i nedostatka povjerenja u pružatelje usluga trećih strana u oblaku. Među rješenjima za povećanje performansi uz zadržavanje izračuna u ograničenom okruženju, hardversko ubrzanje može biti teško, a optimizacija modela zahtijeva opsežne dizajnerske napore uz umanjenje točnosti. Podjela DNN-a je treći komplementarni pristup, a sastoji se od distribucije opterećenja zaključivanja na nekoliko dostupnih rubnih (edge) uređaja, uzimajući u obzir svojstva rubne mreže i strukturu DNN-a, s ciljem maksimiziranja propusnosti zaključivanja (broj zaključivanja u sekundi). Ovaj rad predstavlja metodu za predviđanje latencija zaključivanja i prijenosa za distribuirane DNN rasporede s više niti (multi-threaded), te definira proces optimizacije za maksimiziranje propusnosti zaključivanja. Zatim se predstavlja i analizira rješavač granica i vezanja (branch and bound) kako bi se kvantificirale postignute performanse i složenost. Ova analiza dovela je do definicije regije ubrzanja, koja opisuje determinističke uvjete svojstava DNN-a i mreže pod kojima je podjela DNN-a korisna. Konačno, eksperimentalni rezultati potvrđuju simulacije i pokazuju poboljšanja propusnosti zaključivanja u uzorku rubnih rasporeda. Podjela DNN-a na rubu omogućuje ubrzanje propusnosti zaključivanja uz smanjenje upotrebe propusnosti i kašnjenja prema centraliziranim poslužiteljima, npr. u oblaku. Uvod Povezani uređaji generirali su procijenjenih 2,5 kvintilijuna bajtova podataka svaki dan u 2020. godini. U tom kontekstu, umjetna inteligencija (AI) jedna je od tehnologija koje se najbolje mogu nositi s uvijek rastućom količinom proizvedenih podataka, u nizu polja kao što su detekcija objekata u računalnom vidu, prepoznavanje lica, prepoznavanje govora, obrada prirodnog jezika ili autonomna vožnja. AI, a posebno duboko učenje (DL), zahtijeva, uz velike količine podataka, značajne kapacitete u procesorskoj snazi i memoriji, što čini računalstvo u oblaku rješenjem za hostiranje AI radnih opterećenja. Posljedično, u 2019. godini, 96% AI zadataka izvršeno je u oblaku. 1 de facto 2 AI aplikacije mogu imati snažna ograničenja kašnjenja, , u autonomnoj vožnji, nadzoru proizvodnje ili bilo kojem zaključivanju u stvarnom vremenu koje uključuje interakciju sa stvarnim svijetom. Na primjer, prosječna vremena odziva u autonomnoj vožnji moraju biti manja od 100 milisekundi , što čini vrijeme povratnog putovanja do oblaka predugim za takve aplikacije. Slično tome, neke aplikacije mogu značajno opteretiti vezu u mreži, , u slučaju obrade videozapisa visoke kvalitete u računalnom vidu, što im sprječava pokretanje u oblaku. Politike privatnosti podataka ili propisi o zaštiti podataka također mogu zabranjivati izlazak podataka iz određenih okruženja. To potiče implementaciju AI-a u rubnom računalstvu (edge computing), što se sastoji od premještanja računalnih zadataka iz podatkovnih centara bliže rubnim uređajima, , u blizinu izvora podataka. npr. [](javascript:void()) npr. tj. U usporedbi s javnim oblacima, rub (edge) je okruženje s ograničenim resursima i značajnim ograničenjima , te je stoga razvoj AI-a za rub intrinzično drugačiji od razvoja AI-a za oblak. Analiza podataka blizu njihovog izvora može biti izazovna zbog nižih kapaciteta uređaja, neelastičnosti dostupnih resursa i heterogenosti rubnih mreža. Smanjenje računalnog kapaciteta podrazumijeva smanjenje postignute propusnosti zaključivanja, što dodatno komplicira premještanje teških radnih opterećenja iz oblaka na rub. U nekim aplikacijama, propusnost zaključivanja, , postignuto zaključivanje u sekundi DNN-a, može biti povezano s točnošću DNN-a, , s praćenjem objekata u video streamovima, gdje je smanjenje stope zaključivanja s 15 na 5 zaključivanja u sekundi pokazalo smanjenje F1 rezultata__3__ detektora objekata za 10% . Drugim riječima, rasporedi s niskom propusnošću zaključivanja mogu uzrokovati kritičan gubitak informacija, , gubitak detekcija u aplikacijama video nadzora. [](javascript:void()) tj. npr. [](javascript:void()) npr. Postoje dvije glavne dostupne metode za ispunjavanje zahtjeva za performansama na rubnim mrežama s ograničenim resursima: kompresija modela ili hardversko ubrzanje. sastoji se od smanjenja i optimizacije neuronskih mreža u laganu, često nedovoljno učinkovitu, verziju modela. Standardne metode kompresije modela uključuju prorjeđivanje (pruning) , , uklanjanje nepotrebnih parametara u modelu, kvantizaciju , , smanjenje dodijeljenog memorijskog prostora za pohranu modela, i destilaciju znanja (knowledge distillation) , , obuku manjeg neuronskog mreže s znanjem ekstrahiranim iz većeg. Optimizacija modela zahtijeva opsežne dizajnerske napore i može biti prepreka točnosti modela. na rubnim uređajima podrazumijeva pronalaženje hardvera koji može biti učinkovit u pogledu potrošnje energije i lagan, a ipak sposoban za pokretanje zaključivanja s dovoljnim performansama. Postoji nekoliko vrsta kandidatskog hardvera za ubrzanje na rubu, koji se razlikuju po učinkovitosti i specifičnosti, ali standardne procesorske jedinice ne zadovoljavaju očekivanja, a posvećeni hardver poput ASIC-a pokazao se nepraktičnim i skupim . Kompresija modela [](javascript:void()) tj. [](javascript:void()) tj. [](javascript:void()) tj. Hardversko ubrzanje [](javascript:void()) Podjela DNN-a je komplementarna metoda za ubrzanje zaključivanja iskorištavanjem mnoštva postojećih uređaja na rubnim mrežama za distribuciju računanja zaključivanja – što se može koristiti samostalno, ili u kombinaciji s druga dva metoda. Podjela DNN-a sastoji se od razmatranja neuronske mreže kao cjevovoda za segmentiranje na particije, te distribuciju tih particija na rubne uređaje. Postavljanje ovih particija temelji se kako na DNN-u tako i na karakteristikama podređene mreže. Podjela DNN-a oslanja se na identifikaciju točaka razdvajanja, koje su točke u grafu modela gdje se model odvaja na particije. Tijekom rada, particije se izvršavaju sekvencijalno, a svaka šalje intermedijarne rezultate zaključivanja sljedećoj particiji. To omogućuje svakoj particiji da počne obrađivati sljedeće ulazne podatke dok drugi uređaji nastavljaju obrađivati offloadani, čime se poboljšava propusnost zaključivanja, kao što je prikazano na slici 1. U ostatku ovog rada, podjela DNN-a ilustrirana je primjerom zaključivanja u stvarnom vremenu na video streamovima. A. Povezani radovi Metode za podjelu DNN-a, izvedene iz offloadiranja mobilnog ruba-oblaka, nastoje optimizirati različite pokazatelje performansi, kao što su kašnjenje izračuna, potrošnja energije, iskorištenost resursa, trošak ili propusnost. Podjela DNN-a oslanja se na povezivanje jedne ili više tih metrika za definiranje cilja optimizacije i metode koja iskorištava tu metriku za pronalaženje shema podjele. Na primjer, Neurosurgeon traži jednu točku razdvajanja, zadržavajući prvu particiju na rubu i offloadirajući drugu particiju u oblak, kako bi se minimiziralo kašnjenje i potrošnja energije. Aplikacije u IoT-u također su razmatrale zajedničku podjelu i offloadiranje više DNN-ova kako bi se optimizirala energija, kašnjenje i/ili trošak, koristeći različite rješavače kao što su SPSO-GA koji kombinira optimizaciju rojem čestica (PSO) i genetički algoritam (GA), ili DDPQN koji koristi duboko pojačavajuće učenje za pronalaženje shema podjele. Drugi primjeri uključuju DINA , koja definira problem cjelobrojnog nelinearnog programiranja (INLP) i koristi rješavač temeljen na teoriji podudaranja za optimizaciju kašnjenja i iskorištenosti resursa u fog mrežama. Metode koje optimiziraju propusnost zaključivanja uključuju DNN surgery , koja koristi manju veličinu izlaznih podataka intermedijarnih slojeva DNN-a za podjelu izračuna zaključivanja između ruba i oblaka. Oba algoritma stvaraju dvije particije, jednu na rubu, a drugu u oblaku. Druge studije u području mobilnog ruba-oblaka također uključuju višestruko navojeno računanje u oblaku za daljnje ubrzanje ukupne propusnosti zaključivanja. Oslanjanje na oblak za izračun zaključivanja druge particije pretpostavlja dobru mrežnu povezanost, što može biti nesigurno s lošom povezanošću nekih izoliranih rubnih implementacija. Edgent prilagođava prethodnu metodologiju mobilnim uređajima i dostupnim rubnim poslužiteljima, ublažavajući ograničenje offloadiranja u oblak. Ova metoda je povezana sa specifičnom obukom i arhitekturom modela, te još uvijek ograničava particioniranje na dvije particije. Druge metode su razmatrale više točaka razdvajanja, , IONN , koji opisuje problem particioniranja za minimiziranje kašnjenja i potrošnje energije, uzimajući u obzir i vrijeme za prijenos modela na rubne poslužitelje. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) npr. [](javascript:void()) Ove metode ili komuniciraju s udaljenim oblacima, ili su ograničene u prirodi particioniranja, , zahtijevaju podjelu na točno dva dijela, s ili bez višestrukog navoja. Nijedna od navedenih studija podjele DNN-a ne razmatra istovremeno višestruke točke razdvajanja i višestruki navoj. npr. B. Doprinosi Ovaj rad predstavlja distribuirani okvir za zaključivanje kako bi se maksimizirala propusnost zaključivanja izračuna DNN-a u stvarnom vremenu na stream podacima, s više točaka razdvajanja i višestrukim navojem particioniranja. Doprinosi ovog rada su sljedeći: Model za predviđanje latencija izračuna i prijenosa distribuiranog DNN-a, kroz koji se može procijeniti očekivana propusnost zaključivanja zadane sheme particioniranja. Formulacija problema optimizacije za podjelu DNN-a, implementacija rješavača granica i vezanja za ovaj problem, te evaluacija njegove složenosti. Simulacije za istraživanje mogućih poboljšanja performansi s promjenjivim svojstvima mreže i DNN-a. Identifikacija determinističkih regija u svojstvima mreže i DNN-a koje dovode do postojanja optimalnih particioniranja i troška izračuna takvih rješenja, , uvjeta pod kojima je podjela DNN-a korisna. tj. Eksperimentalni rezultati koji ilustriraju regije definirane u simulacijama, kao i točnost predviđanja i konačno ubrzanje propusnosti zaključivanja za homogene i heterogene okoline. Za ostatak ovog rada, kako bi se izbjegla zabuna, particionirani duboki neuronski mreža će se nazivati , a pojam označavat će podređenu fizičku komunikacijsku mrežu. DNN mreža C. Pregled rada Ostatak ovog rada organiziran je na sljedeći način. predstavlja pozadinu dubokog učenja i kako su DNN-ovi predstavljeni u ovoj studiji. detaljizira metode predviđanja latencija zaključivanja i prijenosa potrebne za koje definira problem optimizacije, kao i algoritam granica i vezanja za donošenje odluka o particioniranju. predstavlja rezultate simulacija za kvantificiranje performansi i složenosti algoritma granica i vezanja, kao i uvjete koji dovode do postojanja particioniranja koje poboljšava propusnost zaključivanja u homogenoj mreži. predstavlja eksperimentalne rezultate koji potvrđuju simulacije iz , te pokazuje poboljšanja propusnosti zaključivanja na heterogenom eksperimentalnom postavu. Na kraju, raspravlja o rezultatima i proširuje se na širu primjenjivost ove metode. Poglavlje II Poglavlje III Poglavlje IV Poglavlje V Poglavlje VI Poglavlja V Poglavlje VII POGLAVLJE II. Pozadina: Duboko učenje Unutar područja strojnog učenja, duboko učenje (DL) odnosi se na metode koje se oslanjaju na upotrebu DNN-ova, , umjetnih neuronskih mreža (ili srodnih metoda strojnog učenja) koje sadrže više od jednog skrivenog sloja. Jedna od najranijih referenci na arhitekture dubokog učenja objavljena je 1967. godine , ali tek su 2010-ih DL stekli zamah, prvo u prepoznavanju govora, zatim u detekciji objekata na slikama, zbog sposobnosti hvatanja složenih odnosa u visokodimenzionalnim podacima. Procjenjuje se da duboko učenje predstavlja većinu AI aplikacija u 2022. godini, s više od 75% organizacija koje koriste DNN-ove za aplikacije koje bi mogle koristiti klasične metode. DL metode su definirane kao „ ” . Ovi algebarski krugovi obično su organizirani u slojeve, koji čine korake u izračunu. Pojam odnosi se na algoritme koji se sastoje od više od jednog sloja. tj. [](javascript:void()) 4 tehnike strojnog učenja u kojima hipoteze imaju oblik složenih algebarskih krugova s podesivim jačinama veze [](javascript:void()) duboko Postoje dvije glavne DNN strukture: feed-forward neuronske mreže i rekurentne neuronske mreže. Obje vrste DNN-ova mogu se predstaviti kao grafovi izračuna, s glavnom razlikom što se feed-forward mreže mogu predstaviti kao izravni aciklički grafovi (DAG-ovi), dok rekurentne neuronske mreže mogu sadržavati cikluse. Rekurentne neuronske mreže izgrađene su za sekvence podataka, gdje svaka podatkovna točka ima potencijalnu ovisnost o prethodnim podatkovnim točkama u sekvenci, dok feed-forward neuronske mreže ne uzimaju u obzir interakcije između točaka u sekvenci podataka. Ostatak ovog rada će razmatrati slučaj feed-forward DNN-ova. 5 POGLAVLJE III. Modeliranje distribuiranog zaključivanja Ovo poglavlje predstavlja model za predstavljanje svojstava DNN-a i mreže radi predviđanja latencija izračuna, latencija prijenosa i konačne propusnosti zaključivanja zadane rješenja za particioniranje. A. Reprezentacija DNN-a i mreže Feed-forward DNN s N slojeva modeliran je kao DAG GA=(L,E) gdje su L=(L1,…,LL) slojevi DNN-a. Rubovi (Li,Lj)∈E su veze između slojeva Li i Lj . Svaki sloj Li ima pridruženu potrošnju izračuna ci , mjeren u broju operacija s pomičnim zarezom potrebnih za izračun naprijed kroz sloj. Rubovi (Li,Lj) dodijeljena je težina si,j koja odgovara veličini podataka koji prelaze između slojeva Li i Lj u bajtovima. Fizička mreža modelirana je kao potpuno povezan graf G=(N,V) gdje je N=(N1,…,NN) skup računalnih čvorova i V skup veza između čvorova. Pretpostavlja se da čvorovi za izračun N1,…,NN imaju stope obrade η1,…,ηN , odnosno, mjerene u operacijama s pomičnim zarezom u sekundi. Konačno, propusnost veze između dva susjedna čvora Na i Nb označava se kao θa,b , mjerena u bajtovima u sekundi. Svaki čvor Ni povezan je sam sa sobom s beskonačnom propusnošću kako bi se predstavljao loopback link, a pretpostavlja se da su linkovi simetrični, , θa,b=θb,a . tj. Particioniranja su definirana kao mape P:L→N , , particioniranje dodjeljuje broj čvora svakom sloju u DNN-u. Particioniranje se može opisati kao matrica P dimenzije (N×L) , N je broj čvorova u mreži i L je broj DNN slojeva i, s Pa,i=1 ako je sloj Li postavljen na čvoru Na , inače 0. S primjerom danim na , L=7 slojeva i N=2 računalna čvora, prikazano particioniranje sa slojevima {L1,L2,L3,L6,L7} na čvoru N1 , i slojevima {L4,L5} na čvoru N2 , predstavlja se kao: tj. slici 2 S obzirom na particioniranje, *navoj* se definira kao grupa uzastopnih slojeva između dvije točke razdvajanja, izvršena sekvencijalno na istom čvoru. U gornjem primjeru, čvor N1 će pokretati dva navoja, prvi koji sadrži slojeve {L1,L2,L3} i drugi koji sadrži {L6,L7} . S definiranim ovim oznakama, ostatak ovog poglavlja izvest će zatvoreni izraz propusnosti zaključivanja postignutog zadanim particioniranjem, kao funkciju latencija zaključivanja (Poglavlje III-B) i prijenosa (Poglavlje III-C). B. Predviđanje latencije zaključivanja S obzirom na particioniranje, ovo poglavlje razmatra predviđanje latencije zaključivanja na izoliranom čvoru. Latencija uzrokovana izračunom sloja Li s potrošnjom ci , koji treba izračunati na čvoru Na , sa stopom obrade ηa izražava se kao Tci(Na)=ci/ηa . S obzirom na skup slojeva L′⊂L kroz sve navoje koji rade na čvoru Na sa stopom obrade ηa , latencija zaključivanja može se izraziti kao: Ovaj izraz je aproksimacija prvog reda procjene latencije zaključivanja temeljena na broju operacija s pomičnim zarezom (FLOPs) potrebnih za obradu DNN-a, , broju operacija množenja-zbrajanja u modelu. tj. Procjena latencije zaključivanja na rubnim uređajima komplicirana je optimizacijama u stvarnom vremenu. Postojeća rješenja poput nn-Meter predviđaju latenciju zaključivanja na temelju FLOPs-a. Druga rješenja oslanjaju se na tablicu pretraživanja s predračunatim vremenima zaključivanja za procjenu latencije. Na primjer, BRP-NAS koristi prethodno obučenu grafovsku konvolucijsku mrežu za predviđanje latencija zaključivanja, uzimajući u obzir optimizacije modela u stvarnom vremenu. [](javascript:void()) [](javascript:void()) U , dodatno se pretpostavlja da procesori koriste svoj puni kapacitet, što podrazumijeva da se višenamjenski procesori modeliraju kao jednokjezgreni procesori sa stopom obrade jednakom zbroju njihovih stopa obrade jezgri. Također se pretpostavlja da je računalni resurs ravnomjerno raspoređen među navojima, , procesor dodjeljuje isti udio svog vremena svakom navoju. jednadžbi 1 tj. Među svim čvorovima, navoj s najvećom latencijom postavlja propusnost zaključivanja za distribuirani DNN. Zanemarujući latencije prijenosa, to podrazumijeva da će, nakon što ovaj ograničavajući navoj završi obradu okvira podataka, odmah započeti obradu sljedećeg. Drugi navoji će imati vrijeme mirovanja prije obrade sljedećeg okvira podataka jer je njihova latencija zaključivanja niža od ove maksimalne latencije, kao što je prikazano na . slici 1 S obzirom na matricu particioniranja P , latencije zaključivanja mogu se izraziti kao jedinstveni vektor Tc veličine N gdje je a -ta komponenta najveća latencija navoja zaključivanja na čvoru Na , , Tca=Tc(Na) : tj. gdje je H dijagonalna matrica inverznih stopa obrade čvorova diag(η−11,…,η−1N) i c je stupčana matrica pojedinačnih potrošnji slojeva (c1,…,cL) . C. Predviđanje latencije prijenosa Latencija prijenosa može se predvidjeti na sljedeći način: vrijeme potrebno za slanje količine podataka si,j između slojeva Li i Lj na rubu (Na,Nb) preko veze s mjerenom propusnošću θa,b je Tti,j(Na,Nb)=si,j/θa,b . Vrijeme za postizanje prijenosa podataka si,j∈E′⊂E preko veze (Na,Nb) je: Slično predviđanju latencije zaključivanja, ovo podrazumijeva da su veze ravnomjerno podijeljene između prijenosa podataka s Na na Nb . Predviđanje latencije prijenosa oslanja se na procjenu propusnosti veze između čvorova, preciznije na *dobru propusnost* (goodput), , količinu korisnih podataka prenesenih u sekundi. tj. Slično predviđanju latencije zaključivanja, ovo je aproksimacija prvog reda, koja učinkovito nudi dobre rezultate predviđanja, kao što je prikazano na c, s korelacijskim koeficijentom R2=0.9998 . Nedostatak ove metode je zahtjev za zasićenjem veza kako bi se dobila procjena propusnosti. slici 3 S obzirom na matricu particioniranja P , matrica latencije prijenosa Tt može se definirati kao kvadratna matrica veličine L , s Tta,b=Tt(Na,Nb) : gdje je ° element po element proizvod, ili Hadamardov proizvod, Θ je matrica inverzne propusnosti, , kvadratna matrica veličine N s Θa,b=θ−1a,b i S je matrica veličine prijenosa, , kvadratna matrica veličine L s Si,j=si,j ako Li šalje podatke Lj , inače 0. tj. tj. POGLAVLJE IV. Podjela DNN-a Cilj podjele DNN-a u ovoj studiji je maksimizirati propusnost zaključivanja, označenu s C , što odgovara inverznoj vrijednosti maksimalne latencije između svih različitih latencija izračuna i prijenosa. S obzirom na particioniranje P , propusnost zaključivanja definirana je kao: Maksimiziranje propusnosti zaključivanja svodi se na pronalaženje zajedničkog min-max između svih članova Tc i Tt . Ovo se može definirati kao problem diskretne optimizacije: gd