Pse shkaku që Inteligjenca Juaj Artificiale nuk ka nevojë më për cloud për të ecur më shpejt

```html Autorët: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Inferenca me rrjete të thella neurone (DNN) mbi të dhënat streaming kërkon burime llogaritëse për të përmbushur kërkesat e produktivitetit të inferencës. Megjithatë, aplikacionet e të mësuarit të thellë që janë të ndjeshme ndaj vonesës dhe privatësisë nuk mund të përballojnë shkarkimin e llogaritjes në cloud-et e largëta për shkak të kostos së transmetimit të implikuar dhe mungesës së besimit te ofruesit e cloud-it të palës së tretë. Midis zgjidhjeve për të rritur performancën duke mbajtur llogaritjen në një mjedis të kufizuar, përshpejtimi i harduerit mund të jetë i vështirë, dhe optimizimi i modelit kërkon përpjekje të gjera të projektimit ndërsa pengon saktësinë. Ndarja e DNN-së është një qasje e tretë plotësuese, dhe përbëhet nga shpërndarja e ngarkesës së punës së inferencës mbi disa pajisje të skajit të disponueshme, duke marrë parasysh vetitë e rrjetit të skajit dhe strukturën e DNN-së, me qëllim maksimizimin e produktivitetit të inferencës (numri i inferencave në sekondë). Ky artikull prezanton një metodë për të parashikuar vonesat e inferencës dhe transmetimit për vendosjet e DNN-së të shpërndara me shumë fije, dhe përcakton një proces optimizimi për maksimizimin e produktivitetit të inferencës. Më pas paraqitet dhe analizohet një zgjidhës "branch and bound" për të kuantifikuar performancën dhe kompleksitetin e arritur. Kjo analizë ka çuar në përcaktimin e rajonit të përshpejtimit, i cili përshkruan kushte deterministike mbi vetitë e DNN-së dhe të rrjetit nën të cilat ndarja e DNN-së është e dobishme. Së fundi, rezultatet eksperimentale konfirmojnë simulimet dhe tregojnë përmirësime të produktivitetit të inferencës në vendosjet e skajit të mostra. Ndarja e DNN në skaj mundëson përshpejtimin e produktivitetit të inferencës duke ulur përdorimin e gjerësisë së brezit dhe vonesën drejt serverëve të centralizuar, p.sh., në cloud. Hyrje Pajisjet e lidhura gjeneruan një vlerësim prej 2.5 trilionë bajtësh të dhënash çdo ditë në vitin 2020. Në këtë kontekst, Inteligjenca Artificiale (AI) është një nga teknologjitë që mund të përballojë më së miri sasinë gjithnjë e më të madhe të të dhënave të prodhuara, në një gamë fushash si zbulimi i objekteve në vizionin kompjuterik, njohja e fytyrës, njohja e të folurit, përpunimi i gjuhës natyrore, ose drejtimi autonom. AI, dhe veçanërisht Të mësuarit e thellë (DL), kërkon, përveç sasive të mëdha të të dhënave, aftësi të konsiderueshme në fuqinë përpunuese dhe kujtesën, gjë që e bën cloud computing zgjidhjen të pritjes për ngarkesat e punës së AI. Në pasojë, në vitin 2019, 96% e detyrave të AI u ekzekutuan në cloud. 1 de facto 2 Aplikacionet e AI mund të kenë kërkesa të forta për vonesë, , në drejtimin autonom, monitorimin e prodhimit, ose çdo inferencë në kohë reale që përfshin një ndërveprim me botën reale. Për shembull, kohët mesatare të përgjigjes në drejtimin autonom kërkohen të jenë nën 100 milisekonda , duke e bërë kohën e udhëtimit të kthimit në cloud shumë të gjatë për aplikacione të tilla. Në mënyrë të ngjashme, disa aplikacione mund të prezantojnë një përdorim të rëndësishëm të lidhjes në rrjet, , në rastin e përpunimit të videos me cilësi të lartë në vizionin kompjuterik, gjë që i pengon ato të funksionojnë në cloud. Politikat e privatësisë së të dhënave ose rregulloret e mbrojtjes së të dhënave gjithashtu mund të ndalojnë të dhënat të largohen nga mjedise specifike. Kjo inkurajon vendosjet e AI në edge computing, e cila përbëhet nga zhvendosja e detyrave llogaritëse nga qendrat e të dhënave më afër pajisjeve të skajit, , në afërsi të burimeve të të dhënave. p.sh. [[1]](javascript:void()) p.sh. p.sh. Krahasuar me cloud-et publike, skaji është një mjedis i kufizuar nga burimet me kufizime të rëndësishme , dhe zhvillimi i AI për skajin është prandaj në mënyrë intrinzike e ndryshme nga zhvillimi i AI për cloud-in. Analizimi i të dhënave pranë burimit të tij mund të jetë sfidues për shkak të kapaciteteve më të ulëta të pajisjes, papërkulshmërisë së burimeve të disponueshme, dhe heterogjenitetit të rrjeteve të skajit. Ulja e kapacitetit llogaritës nënkupton uljen e produktivitetit të inferencës së arritshme, duke e komplikuar më tej zhvendosjen e ngarkesave të rënda nga cloud-i në skaj. Në disa aplikacione, produktiviteti i inferencës, , inferencat e arritshme në sekondë të një DNN, mund të lidhen me saktësinë e DNN-së, , me gjurmimin e objekteve në transmetimet video, ku rënia e shkallës së inferencës nga 15 në 5 inferenca në sekondë ka treguar uljen e rezultati F1__3__ të një detektori objekti me 10% . Me fjalë të tjera, vendosjet me produktivitet të ulët inferencë mund të shkaktojnë humbje kritike informacioni, , humbje detektimesh në aplikacionet e mbikëqyrjes video. [[2]](javascript:void()) p.sh. p.sh. [[3]](javascript:void()) p.sh. Ekzistojnë dy metoda kryesore të disponueshme për të përmbushur kërkesat e performancës në rrjetet e skajit të kufizuar: kompresimi i modelit ose përshpejtimi i harduerit. përbëhet nga reduktimi dhe optimizimi i rrjeteve neurone në një version të lehtë, shpesh me performancë të ulët, të modelit. Metodat standarde të kompresimit të modelit përfshijnë prutimin , , heqjen e parametrave të panevojshëm në model, kuantizimin , , reduktimin e hapësirës së alokuar për ruajtjen e modelit, dhe distilimin e njohurive , , trajnimin e një rrjeti neuronal më të vogël me njohuri të nxjerra nga një më i madh. Optimizimi i modelit kërkon përpjekje të gjera të projektimit dhe mund të jetë një pengesë për saktësinë e modelit. në pajisjet e skajit nënkupton gjetjen e harduerit që mund të jetë si efikas në energji ashtu edhe i lehtë, ndërsa ende i aftë të ekzekutojë inferencën me performancë të mjaftueshme. Ekzistojnë disa lloje harduerësh kandidatë për përshpejtim në skaj, duke u dalluar në efikasitet dhe specifikitet, por njësitë standarde të përpunimit nuk përmbushin pritjet dhe hardueri i dedikuar si ASICs janë gjetur të jenë jo praktik dhe i shtrenjtë . Kompresimi i modelit [[4]](javascript:void()) p.sh. [[5]](javascript:void()) p.sh. [[6]](javascript:void()) p.sh. Përshpejtimi i harduerit [[7]](javascript:void()) Ndarja e DNN është një metodë plotësuese për përshpejtimin e inferencës duke shfrytëzuar shumëllojshmërinë e pajisjeve ekzistuese në rrjetet e skajit për të shpërndarë llogaritjen e inferencës – e cila mund të përdoret vetëm, ose në bashkëveprim me dy metodat e tjera. Ndarja e DNN përbëhet nga konsiderimi i një rrjeti neuronal si një pipeline për t'u segmentuar në pjesë, dhe shpërndarja e këtyre pjesëve mbi pajisjet e skajit. Vendosja e këtyre pjesëve bazohet si në vetitë e DNN-së ashtu edhe në karakteristikat e rrjetit nënligjor. Ndarja e DNN mbështetet në identifikimin e pikave të ndarjes, të cilat janë pika në grafin e modelit ku modeli ndahet në pjesë. Gjatë funksionimit, pjesët ekzekutohen sekuencialisht, secila duke dërguar rezultate ndërmjetëse inferencë në pjesën vijuese. Kjo lejon që çdo pjesë të fillojë llogaritjen e të dhënave vijuese ndërsa pajisjet e tjera vazhdojnë të përpunojnë atë të shkarkuar, duke përmirësuar kështu produktivitetin e inferencës, siç tregohet në . Në pjesën tjetër të këtij artikulli, ndarja e DNN ilustrohet përmes shembullit të inferencës në kohë reale në transmetimet video. figura 1 A. Punë të Lidhur Metodat për ndarjen e DNN, të derivuara nga shkarkimi cloud-edge mobil, kërkojnë të optimizojnë tregues të ndryshëm performancë, si vonesa llogaritëse, konsumi i energjisë, shfrytëzimi i burimeve, kostoja, ose produktiviteti. Ndarja e DNN mbështetet në shoqërimin e një ose më shumë prej këtyre metrikave për të përcaktuar një qëllim optimizimi, dhe një metodë që shfrytëzon këtë metrikë për të gjetur skema ndarjeje. Për shembull, Neurosurgeon kërkon një pikë të vetme ndarjeje, duke e mbajtur pjesën e parë në skaj dhe duke e shkarkuar pjesën e dytë në cloud, për të minimizuar vonesën dhe konsumin e energjisë. Aplikacionet në IoT gjithashtu kanë marrë parasysh ndarjen dhe shkarkimin e kombinuar të disa DNN-ve për të optimizuar energjinë, vonesën, dhe/ose kostot, duke përdorur zgjidhës të ndryshëm si SPSO-GA që kombinon optimizimin e krahut të grimcave (PSO) dhe algoritmin gjenetik (GA), ose DDPQN që përdor të mësuarit e thellë me përforcim për të gjetur skema ndarjeje. Shembuj të tjerë përfshijnë DINA , e cila përcakton një problem Programimi Jo-Linear Integer (INLP), dhe përdor një zgjidhës të bazuar në teorinë e çiftëzimit, për të optimizuar vonesën dhe shfrytëzimin e burimeve në rrjetet e mjegullës. Metodat që optimizojnë produktivitetin e inferencës përfshijnë kirurgji DNN , e cila përdor madhësinë më të vogël të prodhimeve të shtresave të ndërmjetme të DNN për të ndarë llogaritjen e inferencës midis skajit dhe cloud-it. Të dy algoritmet krijojnë dy pjesë, një në skaj dhe tjetra në cloud. Studime të tjera në fushën e cloud-it mobil gjithashtu përfshijnë llogaritjen me shumë fije në cloud për të përshpejtuar më tej produktivitetin e përgjithshëm të inferencës. Mbështetja në cloud për llogaritjen e inferencës së pjesës së dytë supozon lidhje të mirë rrjeti, e cila mund të jetë e pasigurt me lidhjen e dobët të disa vendosjeve të skajit të izoluara. Edgent përshtat metodologjinë e mëparshme me pajisjet mobile dhe serverët e skajit të disponueshëm, duke relaksuar kufizimin e shkarkimit në cloud. Kjo metodë lidhet me një trajnim dhe arkitekturë specifike modeli, dhe ende kufizon ndarjen në dy pjesë. Metoda të tjera kanë marrë parasysh pika ndarjeje të shumta, , IONN , e cila përshkruan problemin e ndarjes për të minimizuar vonesën dhe konsumin e energjisë, duke marrë parasysh gjithashtu kohën për të ngarkuar modelet në serverët e skajit. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) p.sh. [[15]](javascript:void()) Këto metoda ose ndërveprojnë me cloud-e të largëta, ose janë të kufizuara në natyrën e ndarjes, , kërkohet të ndahet në saktësisht dy pjesë, me ose pa shumë fije. Asnjë nga studimet e listuara të ndarjes së DNN nuk merr parasysh si pika ndarjeje të shumta ashtu edhe shumë fije. p.sh. B. Kontribute Ky artikull paraqet një kornizë inferencë të shpërndarë për të maksimizuar produktivitetin e inferencës së llogaritjes DNN në kohë reale mbi të dhënat streaming, me pika ndarjeje të shumta dhe ndarje me shumë fije. Kontributet e këtij artikulli janë si më poshtë: Një model për vonesat e llogaritjes dhe transmetimit të një DNN të shpërndarë, përmes të cilit mund të vlerësohet produktiviteti i inferencës së pritur të një skeme ndarjeje të dhënë. Formulimi i problemit të optimizimit për ndarjen e DNN, implementimi i një zgjidhësi "branch and bound" për këtë problem, dhe vlerësimi i kompleksitetit të tij. Simulime për të eksploruar përmirësimet e mundshme të performancës me veti të ndryshueshme të rrjetit dhe DNN. Identifikimi i rajoneve deterministike në vetitë e rrjetit dhe DNN që çojnë në ekzistencën e ndarjeve optimale dhe kostos për të llogaritur zgjidhje të tilla, , kushtet nën të cilat ndarja e DNN është e dobishme. p.sh. Rezultatet eksperimentale që ilustrojnë rajonet e përcaktuara në simulime, si dhe saktësinë e parashikimit dhe përshpejtimin përfundimtar të produktivitetit të inferencës për mjedise homogjene dhe heterogjene. Në pjesën tjetër të këtij artikulli, për të shmangur konfuzionin, rrjeti neuronal i thellë i ndarë do të referohet si , dhe termi do të emërtojë rrjetin fizik të komunikimit nënligjor. DNN rrjet C. Përmbledhje e Artikullit Pjesa tjetër e këtij artikulli është organizuar si më poshtë. paraqet sfondin e të Mësuarit të Thellë dhe se si DNN-të përfaqësohen në këtë studim. detajon metodat e parashikimit të vonesave të inferencës dhe transmetimit të kërkuara për i cili përcakton problemin e optimizimit, si dhe algoritmin "branch and bound" për marrjen e vendimeve të ndarjes. paraqet rezultatet e simulimeve për të kuantifikuar performancën dhe kompleksitetin e algoritmit "branch and bound", si dhe kushtet që çojnë në ekzistencën e një ndarjeje që përmirëson produktivitetin e inferencës në një rrjet homogjen. paraqet rezultatet eksperimentale që konfirmojnë simulimet e , dhe tregon përmirësime të produktivitetit të inferencës në një konfigurim eksperimental heterogjen. Së fundi, diskuton rezultatet dhe shtrihet në zbatueshmërinë më të gjerë të kësaj metode. Seksioni II Seksioni III Seksioni IV Seksioni V Seksioni VI Seksionit V Seksioni VII SEKSIONI II. Sfondi: Të Mësuarit e Thellë Brenda fushës së Të Mësuarit Makinerik, Të Mësuarit e Thellë (DL) i referohet metodave që mbështeten në përdorimin e DNN-ve, , rrjeteve neurone artificiale (ose metodave të ngjashme të të mësuarit makinerik) që përmbajnë më shumë se një shtresë të fshehur. Një nga referencat më të hershme për arkitekturat e të mësuarit të thellë u botua në vitin 1967 , por jo derisa vitet 2010 DL fitoi tërheqje, fillimisht në njohjen e të folurit, pastaj në zbulimin e objekteve në imazhe, për aftësinë për të kapur marrëdhënie komplekse në të dhëna me dimension të lartë. Të Mësuarit e Thellë vlerësohet të përbëjë shumicën e aplikacioneve të AI në vitin 2022, me më shumë se 75% të organizatave që përdorin DNN për aplikacione që mund të përdorin metoda klasike. Metodat DL janë përkufizuar si “ ” . Këto qarqe algjebrike zakonisht organizohen në shtresa, të cilat formojnë hapa në llogaritje. Termi i referohet algoritmeve që përbëhen nga më shumë se një shtresë. p.sh. [[16]](javascript:void()) teknika për të mësuarit makinerik ku hipotezat marrin formën e qarqeve algjebrike komplekse me forcë lidhjesh të rregullueshme [[17]](javascript:void()) i thellë Ekzistojnë dy struktura kryesore DNN: rrjetet neurone feed-forward dhe rrjetet neurone rekurente. Të dy llojet e DNN mund të përfaqësohen si qarqe llogaritëse, me ndryshimin kryesor që rrjetet feed-forward mund të përfaqësohen si qarqe të drejta akcikle (DAG), ndërsa rrjetet rekurente mund të përmbajnë cikle. Rrjetet neurone rekurente janë ndërtuar për sekuenca të dhënash, ku çdo pikë e dhënash ka një varësi të mundshme me pikat e mëparshme të dhënave në sekuencë, ndërsa rrjetet feed-forward nuk marrin parasysh ndërveprimet midis pikave në një sekuencë të dhënash. Pjesa tjetër e këtij artikulli do të marrë parasysh rastin e DNN-ve feed-forward. 5 SEKSIONI III. Modelimi i Inferencës së Shpërndarë Ky Seksion paraqet një model për të përfaqësuar vetitë e DNN dhe të rrjetit në mënyrë që të parashikohen vonesat llogaritëse, vonesat e transmetimit, dhe produktiviteti përfundimtar i inferencës së një zgjidhjeje të dhënë ndarjeje. A. Përfaqësimi i DNN dhe Rrjetit Një DNN feed-forward me N shtresa modelohet si një DAG GA=(L,E) me L=(L1,…,LL) shtresat e DNN. Brinjët (Li,Lj)∈E janë lidhjet midis shtresave Li dhe Lj . Çdo shtresë Li ka një konsum llogaritës të shoqëruar ci , të matur në numrin e operacioneve me pikë lundruese të kërkuara për të llogaritur një kalim përpara përmes shtresës. Brinjët (Li,Lj) i caktohet një peshë si,j që korrespondon me madhësinë e të dhënave që kalojnë midis shtresave Li dhe Lj në bajtë. Rrjeti fizik modelohet si një graf plotësisht i lidhur G=(N,V) ku N=(N1,…,NN) është grupi i nyjeve llogaritëse dhe V është grupi i lidhjeve midis nyjeve. Supozohet se nyjet llogaritëse N1,…,NN kanë shpejtësi përpunimi η1,…,ηN , përkatësisht, të matura në operacione me pikë lundruese për sekondë. Më në fund, produktiviteti i lidhjes midis dy nyjeve fqinje Na dhe Nb shënohet si θa,b , e matur në bajtë për sekondë. Çdo nyje Ni lidhet me veten me produktivitet të pafund për të përfaqësuar lidhjen e kthimit, dhe lidhjet supozohen të jenë simetrike, , θa,b=θb,a . p.sh. Ndarjet përcaktohen si hartë P:L→N , , një ndarje i cakton një numër nyjeje çdo shtrese në DNN. Një ndarje mund të përshkruhet si një matricë P me dimension (N×L) , N duke qenë numri i nyjeve në rrjet dhe L numri i shtresave të DNN dhe, me Pa,i=1 nëse shtresa Li vendoset në nyjën Na , 0 përndryshe. Me shembullin e dhënë në , L=7 shtresa dhe N=2 nyje llogaritëse, ndarja e shfaqur me shtresat {L1,L2,L3,L6,L7} në nyjën N1 , dhe shtresat {L4,L5} në nyjën N2 , përfaqësohet si: p.sh. figura 2 Given a partitioning, a is defined as a group of consecutive layers between two split points, run sequentially on the same node. In the example above, node N1 will run two threads, the first containing layers {L1,L2,L3} and the second one containing {L6,L7} . thread Me këto notacione të përcaktuara, pjesa tjetër e këtij Seksioni derivon një shprehje të mbyllur të produktivitetit të inferencës së arritur nga një ndarje e dhënë, si funksion i vonesave të inferencës ( ) dhe transmetimit ( ). seksioni III-B seksioni III-C B. Parashikimi i Vonesës së Inferencës Given a partitioning, this Section looks at inference latency prediction on an isolated node. The latency induced by the computation of a layer Li with consumption ci , to be computed on node Na , with processing rate ηa is expressed as Tci(Na)=ci/ηa . Given a set of layers L′⊂L across all threads running on node Na with processing rate ηa , the inference latency can be expressed as: This expression is a first order approximation of an inference latency estimation based on the number of floating-point operations (FLOPs) required to process the DNN, , the number of multiply-add operations in the model. i.e. Estimation of inference latency on edge devices is complicated by run-time optimizations. Existing solutions such as nn-Meter predict inference latency based on FLOPs. Other solutions rely on a look-up table with pre-computed inference times for latency inference. For example, BRP-NAS uses a pre-trained graph convolutional network to predict inference latencies, while taking run-time model optimizations into account. [[18]](javascript:void()) [[19]](javascript:void()) Në , supozohet më tej se procesorët përdorin kapacitetin e tyre të plotë, gjë që nënkupton se procesorët me shumë bërthama modelohen si procesorë me një bërthamë me një shpejtësi përpunimi të barabartë me shumën e shpejtësive të tyre përpunuese të bërthamave. Gjithashtu supozohet se burimi llogaritës ndahet në mënyrë të barabartë midis fijeve, , një procesor alokon të njëjtën pjesë të kohës së tij për çdo fije. ekuacionin 1 p.sh. Në të gjitha nyjet, fijeja me vonesën më të lartë përcakton produktivitetin e inferencës për DNN-në e shpërndarë. Duke lënë jashtë vonesat e transmetimit, kjo nënkupton se pasi kjo fije kufizuese të ketë mbaruar përpunimin e një kuadri të dhënash, ajo fillon menjëherë përpunimin e të ardhshmes. Fije të tjera do të kenë kohë bosh para se të përpunojnë kuadrin e ardhshëm të dhënash sepse vonesat e tyre të inferencës janë më të ulëta se kjo vonesë maksimale, siç tregohet në . figura 1 Given a partitioning matrix P , the inference latencies can be expressed as a single vector Tc of size N where the a -th component is the highest thread inference latency on node Na , , Tca=Tc(Na) : i.e.