Pse shpejtëson AI-ja juaj pa pasur nevojë për Cloud-in më

```html Autorët: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Inferenca me rrjete nervore të thella (DNN) në të dhënat streaming kërkon burime llogaritëse për të përmbushur kërkesat e procesimit të inferencës. Megjithatë, aplikacionet e të mësuarit të thellë të ndjeshme ndaj latencës dhe privatësisë nuk mund të përballojnë transferimin e llogaritjes në cloud-et e largëta për shkak të kostos së transmetimit të implikuar dhe mungesës së besimit te ofruesit e cloud-eve të palëve të treta. Midis zgjidhjeve për të rritur performancën duke mbajtur llogaritjen në një mjedis të kufizuar, përshpejtimi i harduerit mund të jetë i vështirë, dhe optimizimi i modelit kërkon përpjekje të gjera dizajni duke penguar saktësinë. Ndarja e DNN-ve është një qasje e tretë plotësuese, dhe përbëhet nga shpërndarja e ngarkesës së punës së inferencës mbi disa pajisje të edge, duke marrë parasysh vetitë e rrjetit të edge dhe strukturën e DNN-ve, me qëllim maksimizimin e procesimit të inferencës (numri i inferencave për sekondë). Ky artikull prezanton një metodë për të parashikuar latencat e inferencës dhe transmetimit për vendosjet e DNN-ve të shpërndara me shumë fije, dhe përcakton një proces optimizimi për të maksimizuar procesimin e inferencës. Më pas prezantohet dhe analizohet një zgjidhës branch and bound për të kuantifikuar performancën dhe kompleksitetin e arritur. Kjo analizë ka çuar në përcaktimin e rajonit të përshpejtimit, i cili përshkruan kushte deterministe mbi vetitë e DNN-ve dhe rrjetit nën të cilat ndarja e DNN-ve është e dobishme. Më në fund, rezultatet eksperimentale konfirmojnë simulimet dhe tregojnë përmirësime të procesimit të inferencës në vendosjet e edge të mostra. Ndarja e DNN-ve në edge mundëson përshpejtimin e procesimit të inferencës duke ulur përdorimin e gjerësisë së brezit dhe latencën ndaj serverëve të centralizuar, p.sh., në cloud. Hyrje Pajisjet e lidhura gjeneruan rreth 2.5 quintilionë bajtë të dhënash çdo ditë në vitin 2020. Në këtë kontekst, Inteligjenca Artificiale (AI) është një nga teknologjitë që mund të përballojë më së miri sasinë gjithnjë e në rritje të të dhënave të prodhuara, në një sërë fushash si zbulimi i objekteve në vizionin kompjuterik, njohja e fytyrës, njohja e të folurit, përpunimi i gjuhës natyrore, ose drejtimi autonom. AI, dhe veçanërisht Deep Learning (DL), kërkon, përveç sasive të mëdha të të dhënave, aftësi të konsiderueshme në fuqinë e përpunimit dhe kujtesën, gjë që e bën cloud computing zgjidhjen të pritjes për ngarkesat e punës së AI. Si pasojë, në vitin 2019, 96% e detyrave të AI u ekzekutuan në cloud. 1 de facto 2 Aplikacionet e AI mund të kenë kufizime të forta latenceje, , në drejtimin autonom, monitorimin e prodhimit, ose çdo inferencë në kohë reale që përfshin një ndërveprim me botën reale. Për shembull, kohët mesatare të përgjigjes në drejtimin autonom kërkohet të jenë nën 100 milisekonda , duke i bërë kohët e kthimit në cloud shumë të gjata për aplikacione të tilla. Ngjashëm, disa aplikacione mund të paraqesin një përdorim të rëndësishëm të lidhjes në rrjet, , në rastin e përpunimit të videos me cilësi të lartë në vizionin kompjuterik, gjë që i pengon ato të funksionojnë në cloud. Politikat e privatësisë së të dhënave ose rregulloret e mbrojtjes së të dhënave gjithashtu mund të ndalojnë të dhënat të largohen nga mjedise specifike. Kjo inkurajon vendosjet e AI në edge computing, e cila përbëhet nga zhvendosja e detyrave të llogaritjes nga qendrat e të dhënave më afër pajisjeve të edge, , pranë burimeve të të dhënave. p.sh. [[1]](javascript:void()) p.sh. dmth. Krahasuar me cloud-et publike, edge është një mjedis i kufizuar me burime me kufizime të rëndësishme , dhe zhvillimi i AI për edge është prandaj në mënyrë intrinseke i ndryshëm nga zhvillimi i AI për cloud. Analiza e të dhënave pranë burimit të saj mund të jetë sfiduese për shkak të kapaciteteve më të ulëta të pajisjeve, inelastitetit të burimeve të disponueshme dhe heterogjenitetit të rrjeteve të edge. Ulja e kapacitetit llogaritës nënkupton uljen e procesimit të inferencës së arritshëm, duke e komplikuar më tej zhvendosjen e ngarkesave të rënda nga cloud në edge. Në disa aplikacione, procesimi i inferencës, , inferencat e arritshme për sekondë të një DNN-je, mund të lidhet me saktësinë e DNN-së, , me gjurmimin e objekteve në rrjedhat video, ku ulja e shkallës së inferencës nga 15 në 5 inferenca për sekondë ka treguar të ulë rezultatin F1__3__ të një zbuluesi objekti me 10% . Me fjalë të tjera, vendosjet me procesim të ulët inferencë mund të shkaktojnë humbje kritike informacioni, , humbje detektimesh në aplikacionet e mbikëqyrjes video. [[2]](javascript:void()) dmth. p.sh. [[3]](javascript:void()) p.sh. Ekzistojnë dy metoda kryesore të disponueshme për të përmbushur kërkesat e performancës në rrjetet e kufizuara të edge: kompresimi i modelit ose përshpejtimi i harduerit. përbëhet nga zvogëlimi dhe optimizimi i rrjeteve nervore në një version të lehtë, shpesh me performancë të ulët, të modelit. Metodat standarde të kompresimit të modelit përfshijnë pompimin , , heqjen e parametrave të panevojshëm në model, kuantizimin , , zvogëlimin e kujtesës së alokuar për ruajtjen e modelit, dhe distilimin e njohurive , , trajnimin e një rrjeti nervor më të vogël me njohuri të nxjerra nga një më i madh. Optimizimi i modelit kërkon përpjekje të gjera dizajni dhe mund të jetë një pengesë për saktësinë e modelit. në pajisjet e edge nënkupton gjetjen e harduerit që mund të jetë si efikas në energji ashtu edhe i lehtë, ndërkohë që është ende në gjendje të ekzekutojë inferencën me performancë të mjaftueshme. Ekzistojnë disa lloje harduerësh kandidatë për përshpejtim në edge, që ndryshojnë në efikasitet dhe specifikë, por njësitë standarde të përpunimit nuk përmbushin pritshmëritë dhe hardueri i dedikuar si ASICs janë gjetur të jenë jo praktikë dhe të shtrenjtë . Kompresimi i modelit [[4]](javascript:void()) dmth. [[5]](javascript:void()) dmth. [[6]](javascript:void()) dmth. Përshpejtimi i harduerit [[7]](javascript:void()) Ndarja e DNN-ve është një metodë plotësuese për përshpejtimin e inferencës duke shfrytëzuar shumësinë e pajisjeve ekzistuese në rrjetet e edge për të shpërndarë llogaritjen e inferencës – e cila mund të përdoret e vetme, ose në bashkëpunim me dy metodat e tjera. Ndarja e DNN-ve përbëhet nga konsiderimi i një rrjeti nervor si një pipeline për t'u segmentuar në pjesë, dhe shpërndarja e këtyre pjesëve në pajisjet e edge. Vendosja e këtyre pjesëve bazohet si në vetitë e DNN-së ashtu edhe në karakteristikat e rrjetit nënligjor. Ndarja e DNN-ve mbështetet në identifikimin e pikave të ndarjes, të cilat janë pika në grafin e modelit ku modeli ndahet në pjesë. Gjatë ekzekutimit, pjesët ekzekutohen në mënyrë sekuenciale, secila duke dërguar rezultate ndërmjetëse të inferencës te pjesa tjetër. Kjo lejon që çdo pjesë të fillojë llogaritjen e të dhënave të ardhshme ndërsa pajisjet e tjera vazhdojnë përpunimin e asaj të transferuar, duke përmirësuar kështu procesimin e inferencës, siç tregohet në . Në pjesën tjetër të këtij artikulli, ndarja e DNN-ve ilustrohet përmes shembullit të inferencës në kohë reale në rrjedhat video. figurën 1 A. Punë të Lidhur Metodat për ndarjen e DNN-ve, të rrjedhura nga transferimi cloud-edge mobil, kërkojnë optimizimin e treguesve të ndryshëm të performancës, si latenca llogaritëse, konsumi i energjisë, përdorimi i burimeve, kostoja, ose procesimi. Ndarja e DNN-ve mbështetet në shoqërimin e një ose më shumë prej këtyre metrikave për të përcaktuar një objektiv optimizimi, dhe një metodë që shfrytëzon këtë metrikë për të gjetur skema ndarjeje. Për shembull, Neurosurgeon kërkon një pikë të vetme ndarjeje, duke e mbajtur pjesën e parë në edge dhe duke transferuar pjesën e dytë në cloud, për të minimizuar latencën dhe konsumin e energjisë. Aplikacionet në IoT gjithashtu kanë marrë parasysh ndarjen dhe transferimin e kombinuar të disa DNN-ve për të optimizuar energjinë, vonesën, dhe/ose koston, duke përdorur zgjidhës të ndryshëm si SPSO-GA duke kombinuar Optimizimin e Skuadrës së Partikujve (PSO) dhe Algoritmin Gjenetik (GA), ose DDPQN që përdor Të mësuarit e Thellë të Përforcuar për të gjetur skema ndarjeje. Shembuj të tjerë përfshijnë DINA , e cila përcakton një problem të Programimit Jo-Linear të Plotë (INLP), dhe përdor një zgjidhës të bazuar në teorinë e çiftëzimit, për të optimizuar vonesën dhe përdorimin e burimeve në rrjetet mjegullore. Metodat që optimizojnë procesimin e inferencës përfshijnë operacionin kirurgjik të DNN-ve , e cila përdor madhësinë më të ulët të rezultateve të shtresave ndërmjetëse të DNN-ve për të ndarë llogaritjen e inferencës midis edge dhe cloud. Të dy algoritmet krijojnë dy pjesë, një në edge dhe tjetra në cloud. Studime të tjera në fushën e cloud-edge mobil gjithashtu përfshijnë llogaritjen me shumë fije në cloud për të përshpejtuar më tej procesimin e përgjithshëm të inferencës. Mbështetja te cloud për llogaritjen e inferencës së dytë supozon lidhje të mirë rrjeti, gjë që mund të jetë e pasigurt me lidhjen e dobët të disa vendosjeve të edge të izoluara. Edgent adapton metodologjinë e mëparshme në pajisjet mobile dhe serverët e edge të disponueshëm, duke relaksuar kufizimin e transferimit në cloud. Kjo metodë lidhet me një trajnim dhe arkitekturë specifike modeli, dhe ende kufizon ndarjen në dy pjesë. Metoda të tjera kanë marrë parasysh pika të shumta ndarjeje, , IONN , e cila përshkruan problemin e ndarjes për të minimizuar latencën dhe konsumin e energjisë, duke marrë parasysh gjithashtu kohën për të ngarkuar modelet në serverët e edge. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) p.sh. [[15]](javascript:void()) Këto metoda ose ndërveprojnë me cloud-e të largëta, ose janë të kufizuara në natyrën e ndarjes, , kërkohet të ndahen në saktësisht dy pjesë, me ose pa shumë fije. Asnjë nga studimet e listuara të ndarjes së DNN-ve nuk merr parasysh si pika të shumta ndarjeje as edhe shumë fije. p.sh. B. Kontribute Ky artikull prezanton një kornizë inferencë të shpërndarë për të maksimizuar procesimin e inferencës së llogaritjes së DNN-ve në kohë reale në të dhënat streaming, me pika të shumta ndarjeje dhe ndarje me shumë fije. Kontributet e këtij artikulli janë si më poshtë: Një model për llogaritjen dhe latencat e transmetimit të një DNN të shpërndarë, përmes të cilit mund të vlerësohet procesimi i pritshëm i inferencës së një skeme ndarjeje të dhënë. Formulimi i problemit të optimizimit për ndarjen e DNN-ve, zbatimi i një zgjidhësi branch and bound për këtë problem, dhe vlerësimi i kompleksitetit të tij. Simulime për të eksploruar përmirësimet e mundshme të performancës me veti të ndryshueshme të rrjetit dhe DNN-ve. Identifikimi i rajoneve deterministe në vetitë e rrjetit dhe DNN-ve që çojnë në ekzistencën e ndarjeve optimale dhe kostos për të llogaritur zgjidhje të tilla, , kushtet nën të cilat ndarja e DNN-ve është e dobishme. dmth. Rezultatet eksperimentale që ilustrojnë rajonet e përcaktuara në simulime, si dhe saktësinë e parashikimit dhe përshpejtimin përfundimtar të inferencës për mjedise homogjene dhe heterogjene. Në pjesën tjetër të këtij artikulli, për të shmangur konfuzionin, rrjeti nervor i thellë i ndarë do të referohet si , dhe termi do të tregojë rrjetin fizik komunikues nënligjor. DNN rrjet C. Paraqitja e Artikullit Pjesa tjetër e këtij artikulli është organizuar si më poshtë. prezanton sfondin e të Mësuarit të Thellë dhe si DNN-të përfaqësohen në këtë studim. detajon metodat e parashikimit të latencës së inferencës dhe transmetimit të kërkuara për që përcakton problemin e optimizimit, si dhe algoritmin branch and bound për të marrë vendime ndarjeje. prezanton rezultatet e simulimit për të kuantifikuar performancën dhe kompleksitetin e algoritmit branch and bound, si dhe kushtet që çojnë në ekzistencën e një ndarjeje që përmirëson procesimin e inferencës në një rrjet homogjen. prezanton rezultatet eksperimentale që konfirmojnë simulimet e , dhe tregon përmirësime të procesimit të inferencës në një konfigurim eksperimental heterogjen. Më në fund, diskuton rezultatet dhe zgjeron mbi aplikueshmërinë më të gjerë të kësaj metode. Seksioni II Seksioni III Seksionin IV Seksioni V Seksioni VI Seksionit V Seksioni VII SEKSIONI II. Sfondi: Të Mësuarit e Thellë Brenda fushës së të Mësuarit Makinerik, të Mësuarit e Thellë (DL) i referohet metodave që mbështeten në përdorimin e DNN-ve, , rrjeteve nervore artificiale (ose metodave të ngjashme të të mësuarit makinerik) që përmbajnë më shumë se një shtresë të fshehur. Një nga referencat më të hershme të arkitekturave të të mësuarit të thellë u botua në vitin 1967 , por vetëm në vitet 2010 DL fitoi terren, fillimisht në njohjen e të folurit, pastaj në zbulimin e objekteve në imazhe, për aftësinë për të kapur marrëdhënie komplekse në të dhëna me dimensione të larta. Të Mësuarit e Thellë vlerësohet të përbëjë shumicën e aplikacioneve AI në vitin 2022, me më shumë se 75% të organizatave që përdorin DNN-të për aplikacione që mund të përdorin metoda klasike. Metodat DL janë përcaktuar si “ ” . Këto qarqe algjebrike zakonisht organizohen në shtresa, të cilat formojnë hapa në llogaritje. Termi i referohet algoritmeve që përbëhen nga më shumë se një shtresë. dmth. [[16]](javascript:void()) teknika për të mësuarit makinerik ku hipotezat marrin formën e qarqeve algjebrike komplekse me forcë lidhjesh të rregullueshme [[17]](javascript:void()) i thellë Ekzistojnë dy struktura kryesore DNN: rrjetet nervore feed-forward dhe rrjetet nervore rekurente. Të dy llojet e DNN-ve mund të përfaqësohen si grafë llogaritës, me ndryshimin kryesor që rrjetet feed-forward mund të përfaqësohen si grafe direkte pa cikle (DAGs), ndërsa rrjetet nervore rekurente mund të përmbajnë cikle. Rrjetet nervore rekurente janë ndërtuar për sekuenca të dhënash, ku çdo pikë e dhënash ka një varësi të mundshme me pikat e mëparshme të dhënave në sekuencë, ndërsa rrjetet nervore feed-forward nuk marrin parasysh ndërveprimet midis pikave në një sekuencë të dhënash. Pjesa tjetër e këtij artikulli do të marrë parasysh rastin e DNN-ve feed-forward. 5 SEKSIONI III. Modelimi i Inferencës së Shpërndarë Ky Seksion prezanton një model për të përfaqësuar vetitë e DNN dhe rrjetit për të parashikuar latencat llogaritëse, latencat e transmetimit dhe procesimin përfundimtar të inferencës së një zgjidhjeje të dhënë ndarjeje. A. Përfaqësimi i DNN dhe Rrjetit Një DNN feed-forward me N shtresa modelohet si një DAG G=(L,E) me L=(L1,…,LL) shtresat e DNN. Harkat (Li,Lj)∈E janë lidhjet midis shtresave Li dhe Lj. Çdo shtresë Li ka një konsum llogaritës të shoqëruar ci, matës në numrin e operacioneve me numër të lundrueshëm të kërkuar për të llogaritur një përparim të përparuar përmes shtresës. Harkat (Li,Lj) i caktohet një peshë s_i,j që korrespondon me madhësinë e të dhënave që kalojnë midis shtresave Li dhe Lj në bajtë. Rrjeti fizik modelohet si një graf plotësisht i lidhur G=(N,V) ku N=(N1,…,NN) është grupi i nyjeve llogaritëse dhe V është grupi i lidhjeve midis nyjeve. Supozohet se nyjet llogaritëse N1,…,NN kanë shpejtësi përpunimi η1,…,ηN, përkatësisht, të matura në operacione me numër të lundrueshëm për sekondë. Më në fund, procesimi i lidhjes midis dy nyjeve fqinje Na dhe Nb shënohet si θa,b, matës në bajtë për sekondë. Çdo nyje Ni lidhet me veten me procesim të pafund për të përfaqësuar lidhjen e kthimit, dhe lidhjet supozohen të jenë simetrike, dmth., θa,b=θb,a. Ndarjet përcaktohen si hartëzime P:L→N, dmth., një ndarje cakton një numër nyjeje për çdo shtresë në DNN. Një ndarje mund të përshkruhet si një matricë P me dimension (N×L), N duke qenë numri i nyjeve në rrjet dhe L numri i shtresave të DNN dhe, me Pa,i=1 nëse shtresa Li vendoset në nyjen Na, 0 ndryshe. Me shembullin e dhënë në , L=7 shtresa dhe N=2 nyje llogaritëse, ndarja e treguar me shtresat {L1,L2,L3,L6,L7} në nyjen N1, dhe shtresat {L4,L5} në nyjen N2, përfaqësohet si: figurën 2 Given a partitioning, a is defined as a group of consecutive layers between two split points, run sequentially on the same node. In the example above, node N1 will run two threads, the first containing layers {L1,L2,L3} and the second one containing {L6,L7} . thread Me këto notacione të përcaktuara, pjesa tjetër e këtij Seksioni nxjerr një shprehje të mbyllur të procesimit të inferencës së arritur nga një ndarje e dhënë, si funksion i latencave të inferencës ( ) dhe transmetimit ( ). seksioni III-B seksioni III-C B. Parashikimi i Latencës së Inferencës Given a partitioning, this Section looks at inference latency prediction on an isolated node. The latency induced by the computation of a layer Li with consumption ci , to be computed on node Na , with processing rate ηa is expressed as Tci(Na)=ci/ηa . Given a set of layers L′⊂L across all threads running on node Na with processing rate ηa , the inference latency can be expressed as: Ky shprehje është një përafrim i rendit të parë i një vlerësimi të latencës së inferencës bazuar në numrin e operacioneve me numër të lundrueshëm (FLOPs) të kërkuar për të përpunuar DNN-në, dmth., numri i operacioneve të shumëzimit-shtimit në model. Estimation of inference latency on edge devices is complicated by run-time optimizations. Existing solutions such as nn-Meter predict inference latency based on FLOPs. Other solutions rely on a look-up table with pre-computed inference times for latency inference. For example, BRP-NAS uses a pre-trained graph convolutional network to predict inference latencies, while taking run-time model optimizations into account. [[18]](javascript:void()) [[19]](javascript:void()) Në , supozohet më tej se procesorët përdorin kapacitetin e tyre të plotë, gjë që nënkupton se procesorët me shumë bërthama modelohen si procesorë me një bërthamë me një shpejtësi përpunimi të barabartë me shumën e shpejtësive të tyre të përpunimit të bërthamave. Supozohet gjithashtu se burimi llogaritës ndahet në mënyrë të barabartë midis fijeve, dmth., një procesor i alokon të njëjtin proporcion të kohës së tij për çdo fije. ekuacionin 1 Në të gjitha nyjet, fijeja me latencën më të lartë përcakton procesimin e inferencës për DNN-në e shpërndarë. Duke lënë mënjanë latencat e transmetimit, kjo nënkupton se pasi kjo fije kufizuese të ketë mbaruar llogaritjen e një kornize të dhënash, ajo fillon menjëherë përpunimin e radhës. Fije të tjera do të kenë kohë pritjeje përpara se të përpunojnë kornizën e radhës të dhënave sepse latenca e tyre e inferencës është më e ulët se kjo latencë maksimale, siç tregohet në . figurën 1 Given a partitioning matrix P , the inference latencies can be expressed as a single vector Tc of size N where the a -th component is the highest thread inference latency on node Na , , Tca=Tc(Na) : i.e. ku H është matrica diagonale e normave inverse të përpunimit të nyjeve diag(η−11,…,η−1N) dhe c është vektori kolone i konsumimeve individuale të shtresave (