De ce IA-ul tău nu mai are nevoie de cloud pentru a funcționa mai rapid

Autori: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Rezumat: Inferența rețelelor neuronale profunde (DNN) pe date de streaming necesită resurse de calcul pentru a satisface cerințele de debit de inferență. Cu toate acestea, aplicațiile de învățare profundă sensibile la latență și confidențialitate nu își pot permite să descarce calculul către cloud-uri la distanță din cauza costului de transmisie implicit și a lipsei de încredere în furnizorii terți de cloud. Printre soluțiile pentru creșterea performanței, menținând calculul într-un mediu constrâns, accelerarea hardware poate fi greoaie, iar optimizarea modelelor necesită eforturi extinse de proiectare, afectând în același timp acuratețea. Partiționarea DNN este o a treia abordare complementară și constă în distribuirea sarcinii de inferență pe mai multe dispozitive edge disponibile, luând în considerare proprietățile rețelei edge și structura DNN, cu obiectivul de a maximiza debitul de inferență (numărul de inferențe pe secundă). Acest articol introduce o metodă pentru a prezice latențele de inferență și transmisie pentru implementări DNN distribuite multi-threaded și definește un proces de optimizare pentru a maximiza debitul de inferență. Ulterior, este prezentat și analizat un rezolvator branch and bound pentru a cuantifica performanța și complexitatea obținute. Această analiză a condus la definirea regiunii de accelerare, care descrie condițiile deterministe asupra proprietăților DNN și de rețea în care partiționarea DNN este benefică. În final, rezultatele experimentale confirmă simulările și arată îmbunătățiri ale debitului de inferență în implementări edge de eșantion. Partiționarea DNN la edge permite accelerarea debitului de inferență, reducând în același timp utilizarea lățimii de bandă și latența către serverele centralizate, de ex., în cloud. Introducere Dispozitivele conectate au generat un număr estimat de 2,5 quintilioane de octeți de date în fiecare zi în 2020. În acest context, Inteligența Artificială (AI) este una dintre tehnologiile care pot gestiona cel mai bine volumul în continuă creștere de date produse, într-o serie de domenii precum detecția de obiecte în viziunea computerizată, recunoașterea facială, recunoașterea vocală, procesarea limbajului natural sau conducerea autonomă. AI, și în special Deep Learning (DL), necesită, pe lângă cantități mari de date, capacități semnificative de putere de procesare și memorie, ceea ce face ca cloud computing-ul să fie soluția de găzduire pentru sarcinile AI. În consecință, în 2019, 96% din sarcinile AI au fost executate în cloud. 1 de facto 2 Aplicațiile AI pot avea constrângeri puternice de latență, , în conducerea autonomă, monitorizarea producției sau orice inferență în timp real care implică o interacțiune cu lumea reală. De exemplu, timpii medii de răspuns în conducerea autonomă trebuie să fie sub 100 de milisecunde , făcând ca timpii de round trip către cloud să fie prea lungi pentru astfel de aplicații. Similar, unele aplicații pot genera o utilizare semnificativă a legăturii de rețea, , în cazul procesării video de înaltă calitate în viziunea computerizată, ceea ce împiedică rularea lor în cloud. Politicile de confidențialitate a datelor sau reglementările privind protecția datelor pot, de asemenea, interzice ca datele să părăsească anumite medii. Acest lucru încurajează implementările AI în edge computing, care constă în relocarea sarcinilor de calcul de la centrele de date mai aproape de dispozitivele edge, , în proximitatea surselor de date. de ex. [](javascript:void()) de ex. adică În comparație cu cloud-urile publice, edge-ul este un mediu cu resurse limitate și cu limitări importante , iar dezvoltarea AI pentru edge este, prin urmare, intrinsec diferită de dezvoltarea AI pentru cloud. Analiza datelor aproape de sursa lor poate fi provocatoare din cauza capacităților mai scăzute ale dispozitivelor, inelasticității resurselor disponibile și a heterogenității rețelelor edge. Reducerea capacității de calcul implică reducerea debitului de inferență realizabil, complicând și mai mult relocarea sarcinilor grele de la cloud la edge. În unele aplicații, debitul de inferență, , inferențele realizabile pe secundă ale unui DNN, poate fi legat de acuratețea DNN, , cu urmărirea obiectelor în fluxuri video, unde scăderea ratei de inferență de la 15 la 5 inferențe pe secundă a demonstrat o scădere a scorului F1__3__ al unui detector de obiecte cu 10% . Cu alte cuvinte, implementările cu debit de inferență scăzut pot cauza pierderi critice de informații, , pierderi de detecții în aplicațiile de supraveghere video. [](javascript:void()) adică de ex. [](javascript:void()) de ex. Există două metode principale disponibile pentru a îndeplini cerințele de performanță pe rețelele edge constrânse: compresia modelelor sau accelerarea hardware. constă în reducerea și optimizarea rețelelor neuronale într-o versiune ușoară, adesea subperformantă, a modelului. Metodele standard de compresie a modelelor includ tăierea , , eliminarea parametrilor inutili din model, cuantificarea , , reducerea memoriei alocate pentru stocarea modelului și distilarea cunoștințelor , , antrenarea unei rețele neuronale mai mici cu cunoștințe extrase dintr-una mai mare. Optimizarea modelelor necesită eforturi extinse de proiectare și poate fi un impediment pentru acuratețea modelului. pe dispozitivele edge implică găsirea hardware-ului care poate fi atât eficient energetic, cât și ușor, menținând în același timp capacitatea de a rula inferența cu performanțe suficiente. Există mai multe tipuri de hardware candidate pentru accelerare la edge, variind în eficiență și specificitate, dar unitățile de procesare standard nu îndeplinesc așteptările, iar hardware-ul dedicat, cum ar fi ASIC-urile, s-a dovedit a fi nepractic și costisitor . Compresia modelelor [](javascript:void()) adică [](javascript:void()) adică [](javascript:void()) adică Accelerarea hardware [](javascript:void()) Partiționarea DNN este o metodă complementară pentru accelerarea inferenței, valorificând multiplicitatea dispozitivelor existente în rețelele edge pentru a distribui calculul de inferență – care poate fi utilizată singură sau în conjuncție cu celelalte două metode. Partiționarea DNN constă în considerarea unei rețele neuronale ca un pipeline care urmează să fie segmentat în partiții și distribuirea acestor partiții pe dispozitive edge. Plasarea acestor partiții se bazează atât pe caracteristicile DNN, cât și pe cele ale rețelei subiacente. Partiționarea DNN se bazează pe identificarea punctelor de divizare, care sunt puncte în graful modelului unde modelul este separat în partiții. În timpul rulării, partițiile sunt executate secvențial, fiecare trimițând rezultatele intermediare de inferență către următoarea partiție. Acest lucru permite fiecărei partiții să înceapă calcularea următorului set de date de intrare, în timp ce celelalte dispozitive continuă procesarea celui descărcat, îmbunătățind astfel debitul de inferență, așa cum se arată în . În restul acestui articol, partiționarea DNN este ilustrată prin exemplul inferenței în timp real pe fluxuri video. figura 1 A. Lucrări Conexe Metodele pentru partiționarea DNN, derivate din descărcarea edge-cloud mobilă, urmăresc optimizarea diverșilor indicatori de performanță, cum ar fi latența de calcul, consumul de energie, utilizarea resurselor, costul sau debitul. Partiționarea DNN se bazează pe asocierea unuia sau mai multor dintre acești indicatori pentru a defini un obiectiv de optimizare și o metodă care exploatează acest indicator pentru a găsi scheme de partiționare. De exemplu, Neurosurgeon caută un singur punct de divizare, păstrând prima partiție la edge și descărcând a doua partiție către cloud, pentru a minimiza latența și consumul de energie. Aplicațiile în IoT au luat în considerare, de asemenea, partiționarea și descărcarea combinată a mai multor DNN-uri pentru a optimiza energia, întârzierea și/sau costul, utilizând diverși rezolvatori, cum ar fi SPSO-GA care combină optimizarea prin roi de particule (PSO) și algoritmul genetic (GA), sau DDPQN care utilizează învățarea profundă prin ranforsare pentru a găsi scheme de partiționare. Alte exemple includ DINA , care definește o problemă de programare neliniară întreagă (INLP) și utilizează un rezolvator bazat pe teoria potrivirii pentru a optimiza întârzierea și utilizarea resurselor în rețelele fog. Metodele care optimizează debitul de inferență includ chirurgia DNN , care utilizează dimensiunea mai mică a ieșirilor stratului intermediar DNN pentru a partiționa calculul de inferență între edge și cloud. Ambele algoritmi creează două partiții, una la edge și cealaltă în cloud. Alte studii în domeniul edge-cloud mobil includ, de asemenea, calculul multi-threaded în cloud pentru a accelera și mai mult debitul de inferență general. Bazarea pe cloud pentru calculul inferenței în a doua partiție presupune o bună conectivitate la rețea, ceea ce poate fi incert în cazul conectivității slabe a unor implementări edge izolate. Edgent adaptează metodologia anterioară la dispozitive mobile și servere edge disponibile, relaxând constrângerea descărcării către cloud. Această metodă este legată de o anumită arhitectură de antrenament și de model și limitează în continuare partiționarea la două partiții. Alte metode au luat în considerare mai multe puncte de divizare, , IONN , care descrie problema partiționării pentru minimizarea latenței și a consumului de energie, luând în considerare, de asemenea, timpul necesar pentru încărcarea modelelor pe serverele edge. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) de ex. [](javascript:void()) Aceste metode fie interacționează cu cloud-uri la distanță, fie sunt limitate în natura partiționării, , necesitând divizarea în exact două părți, cu sau fără multi-threading. Niciunul dintre studiile de partiționare DNN enumerate nu ia în considerare atât multiple puncte de divizare, cât și multi-threading. de ex. B. Contribuții Acest articol prezintă un cadru de inferență distribuită pentru a maximiza debitul de inferență al calculului DNN în timp real pe date de streaming, cu multiple puncte de divizare și partiționare multi-threaded. Contribuțiile acestui articol sunt următoarele: Un model pentru latențele de calcul și transmisie ale unui DNN distribuit, prin care poate fi estimat debitul de inferență așteptat al unei scheme de partiționare date. Formularea problemei de optimizare pentru partiționarea DNN, implementarea unui rezolvator branch and bound pentru această problemă și evaluarea complexității sale. Simulări pentru a explora posibilele îmbunătățiri ale performanței cu proprietăți de rețea și DNN variabile. Identificarea regiunilor deterministe în proprietățile rețelei și DNN care duc la existența unor partiționări optime și costul de calcul al unor astfel de soluții, , condițiile în care partiționarea DNN este benefică. adică Rezultate experimentale care ilustrează regiunile definite în simulări, precum și acuratețea predicției și accelerarea finală a debitului de inferență pentru medii omogene și heterogene. Pentru restul acestui articol, pentru a evita confuzia, rețeaua neuronală profundă partiționată va fi denumită , iar termenul de va denumi rețeaua fizică de comunicații subiacentă. DNN rețea C. Schița Articolului Restul acestui articol este organizat după cum urmează. prezintă fundalul Deep Learning și modul în care DNN-urile sunt reprezentate în acest studiu. detaliază metodele de predicție a latenței de inferență și transmisie necesare pentru care definește problema de optimizare, precum și algoritmul branch and bound pentru luarea deciziilor de partiționare. prezintă rezultatele simulărilor pentru a cuantifica performanța și complexitatea algoritmului branch and bound, precum și condițiile care duc la existența unei partiționări care îmbunătățește debitul de inferență într-o rețea omogenă. prezintă rezultatele experimentale care confirmă simulările din și arată îmbunătățiri ale debitului de inferență pe un set experimental eterogen. În final, discută rezultatele și extinde aplicabilitatea mai largă a acestei metode. Secțiunea II Secțiunea III Secțiunea IV Secțiunea V Secțiunea VI Secțiunea V Secțiunea VII SECȚIUNEA II. Fundal: Deep Learning În domeniul Machine Learning, Deep Learning (DL) se referă la metodele care se bazează pe utilizarea DNN-urilor, , rețele neuronale artificiale (sau metode de învățare automată conexe) care conțin mai mult de un strat ascuns. Una dintre cele mai timpurii referințe la arhitecturile de deep learning a fost publicată în 1967 , dar abia în anii 2010 DL a câștigat teren, mai întâi în recunoașterea vocală, apoi în detecția de obiecte în imagini, datorită capacității de a capta relații complexe în date de înaltă dimensionalitate. Se estimează că Deep Learning reprezintă majoritatea aplicațiilor AI în 2022, peste 75% dintre organizații utilizând DNN-uri pentru aplicații care ar putea folosi metode clasice. Metodele DL au fost definite ca „ ” . Aceste circuite algebrice sunt de obicei organizate în straturi, care formează pași în calcul. Termenul se referă la algoritmii care constau din mai mult de un strat. adică [](javascript:void()) tehnici de învățare automată în care ipotezele iau forma unor circuite algebrice complexe cu puncte forte de conectare ajustabile [](javascript:void()) profund Există două structuri principale de DNN: rețele neuronale feed-forward și rețele neuronale recurente. Ambele tipuri de DNN-uri pot fi reprezentate ca grafuri de calcul, diferența principală fiind că rețelele feed-forward pot fi reprezentate ca grafuri aciclice directe (DAG), în timp ce rețelele neuronale recurente pot conține cicluri. Rețelele neuronale recurente sunt construite pentru secvențe de date, unde fiecare punct de date are o dependență potențială cu punctele de date anterioare din secvență, în timp ce rețelele neuronale feed-forward nu iau în considerare interacțiunile între punctele dintr-o secvență de date. Restul acestui articol va lua în considerare cazul DNN-urilor feed-forward. 5 SECȚIUNEA III. Modelarea Inferenței Distribuite Această secțiune prezintă un model pentru reprezentarea proprietăților DNN și de rețea pentru a prezice latențele de calcul, latențele de transmisie și debitul final de inferență al unei soluții de partiționare date. A. Reprezentarea DNN și a Rețelei Un DNN feed-forward cu N straturi este modelat ca un DAG GA=(L,E) cu L=(L1,…,LL) straturile DNN-ului. Muchiile (Li,Lj)∈E sunt conexiunile dintre straturile Li și Lj . Fiecare strat Li are un consum de calcul asociat ci , măsurat în numărul de operații în virgulă mobilă necesare pentru a calcula o trecere înainte prin strat. Muchiile (Li,Lj) au o pondere asignată si,j corespunzătoare dimensiunii datelor care tranzitează între straturile Li și Lj în octeți. Rețeaua fizică este modelată ca un graf complet G=(N,V) unde N=(N1,…,NN) este setul de noduri de calcul și V este setul de legături între noduri. Se presupune că nodurile de calcul N1,…,NN au rate de procesare η1,…,ηN , respectiv, măsurate în operații în virgulă mobilă pe secundă. În final, debitul legăturii dintre două noduri adiacente Na și Nb este notat θa,b , măsurat în octeți pe secundă. Fiecare nod Ni este conectat la sine cu un debit infinit pentru a reprezenta legătura loopback, iar legăturile se presupun a fi simetrice, , θa,b=θb,a . adică Partiționările sunt definite ca mapări P:L→N , , o partiționare atribuie unui număr de nod fiecărui strat din DNN. O partiționare poate fi descrisă ca o matrice P de dimensiune (N×L) , N fiind numărul de noduri din rețea și L numărul de straturi DNN și, cu Pa,i=1 dacă stratul Li este plasat pe nodul Na , 0 altfel. Cu exemplul dat în , L=7 straturi și N=2 noduri de calcul, partiționarea afișată cu straturile {L1,L2,L3,L6,L7} pe nodul N1 , și straturile {L4,L5} pe nodul N2 , este reprezentată ca: adică figura 2 Având în vedere o partiționare, un este definit ca un grup de straturi consecutive între două puncte de divizare, executat secvențial pe același nod. În exemplul de mai sus, nodul N1 va rula două thread-uri, primul conținând straturile {L1,L2,L3} și al doilea {L6,L7} . thread Cu aceste notații definite, restul acestei secțiuni derivă o expresie închisă a debitului de inferență realizat de o partiționare dată, ca funcție a latențelor de inferență ( ) și transmisie ( ). secțiunea III-B secțiunea III-C B. Predicția Latenței de Inferență Având în vedere o partiționare, această secțiune analizează predicția latenței de inferență pe un nod izolat. Latența indusă de calculul unui strat Li cu consum ci , care urmează să fie calculat pe nodul Na , cu rata de procesare ηa este exprimată ca Tci(Na)=ci/ηa . Având în vedere un set de straturi L′⊂L din toate thread-urile care rulează pe nodul Na cu rata de procesare ηa , latența de inferență poate fi exprimată ca: Această expresie este o aproximare de prim ordin a unei estimări a latenței de inferență bazată pe numărul de operații în virgulă mobilă (FLOPs) necesare pentru procesarea DNN, , numărul de operații multiply-add din model. adică Estimarea latenței de inferență pe dispozitive edge este complicată de optimizările la rulare. Soluțiile existente, cum ar fi nn-Meter , prezic latența de inferență pe baza FLOPs. Alte soluții se bazează pe un tabel de căutare cu timpi de inferență precalculați pentru inferența latenței. De exemplu, BRP-NAS utilizează o rețea convoluțională graf pre-antrenată pentru a prezice latențele de inferență, luând în considerare optimizările modelului la rulare. [](javascript:void()) [](javascript:void()) În , se presupune în continuare că procesoarele își folosesc capacitatea maximă, ceea ce implică faptul că procesoarele multi-core sunt modelate ca procesoare single-core cu o rată de procesare egală cu suma ratelor lor de procesare pe nucleu. Se presupune, de asemenea, că resursa de calcul este partajată în mod egal între thread-uri, , un procesor alocă aceeași proporție din timpul său fiecărui thread. ecuația 1 adică Pe toate nodurile, thread-ul cu cea mai mare latență stabilește debitul de inferență pentru DNN-ul distribuit. Omițând latențele de transmisie, aceasta implică faptul că, odată ce acest thread limitativ a terminat de calculat un cadru de date, acesta începe direct procesarea următorului. Celelalte thread-uri vor avea timp de inactivitate înainte de a procesa următorul cadru de date, deoarece latența lor de inferență este mai mică decât această latență maximă, așa cum se arată în . figura 1 Având în vedere o matrice de partiționare P , latențele de inferență pot fi exprimate ca un singur vector Tc de dimensiune N unde a -a componentă este cea mai mare latență a thread-ului de inferență pe nodul Na , , Tca=Tc(Na) : adică unde H este matricea diagonală a ratelor inverse de procesare a nodurilor diag(η−11,…,η−1N) și c este vectorul coloană al consumurilor individuale ale straturilor (c1,…,cL) . C. Predicția Latenței de Transmisie Latența de transmisie poate fi prezisă după cum urmează: timpul necesar pentru a trimite cantitatea de date si,j între straturile Li și Lj pe muchia (Na,Nb) peste o legătură cu debitul măsurat θa,b este Tti,j(Na,Nb)=si,j/θa,b . Timpul pentru realizarea transferurilor de date si,j∈E′⊂E peste legătura (Na,Nb) este: Similar predicției latenței de inferență, acest lucru implică faptul că legăturile sunt partajate în mod egal între transferurile de date de la Na la Nb . Predicția latenței de transmisie se bazează pe estimarea debitului legăturii dintre noduri, mai precis pe , , cantitatea de date utile transmise pe secundă. goodput adică Similar estimării latenței de inferență, aceasta este o aproximare de prim ordin, care oferă eficient rezultate bune de predicție, așa cum se arată în c, cu un coeficient de corelație de R2=0.9998 . Dezavantajul acestei metode este necesitatea saturării legăturilor pentru a obține o estimare a debitului. figura 3 Având în vedere o matrice de partiționare P , matricea latenței de transmisie Tt poate fi definită ca o matrice pătrată de dimensiune L , cu Tta,b=Tt(Na,Nb) : unde ° este produsul termen cu termen, sau produsul Hadamard, Θ este matricea inversă a debitului, , o matrice pătrată de dimensiune N cu Θa,b=θ−1a,b și S este matricea dimensiunilor de transmisie, , o matrice pătrată de dimensiune L cu Si,j=si,j dacă Li trimite date către Lj , 0 altfel. adică adică SECȚIUNEA IV. Partiționarea DNN Obiectivul partiționării DNN în acest studiu este de a maximiza debitul de inferență, denumit C , care corespunde inversului latenței maxime dintre toate diferitele latențe de calcul și transmisie. Având în vedere o partiționare P , debitul de inferență este definit ca: Maximizarea debitului de inferență echivalează cu găsirea min-max-ului comun între toți termenii din Tc și Tt . Acest lucru poate fi definit ca o problemă de optimizare discretă: cu Ji,j fiind matricea compusă din toți 1 de dimensiune i×j , condițiile și (6)