Kodėl jūsų dirbtinis intelektas daugiau nebereikės debesies, kad veiktų greičiau

Autoriai: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Santrauka: Giliai neuroninių tinklų (DNN) analizė transliuojant duomenis reikalauja skaičiavimo išteklių, kad būtų patenkinti analizės pralaidumo poreikiai. Tačiau delsiui ir privatumui jautrioms gilaus mokymosi programoms negali būti siunčiama skaičiuoti į nuotolinį debesį dėl numanomų perdavimo išlaidų ir nepasitikėjimo trečiųjų šalių debesų paslaugų teikėjais. Tarp sprendimų, kaip padidinti našumą išlaikant skaičiavimus ribotoje aplinkoje, aparatinė įranga gali būti sunki, o modelio optimizavimas reikalauja didelių projektavimo pastangų, tuo pačiu kenkiant tikslumui. DNN suskaidymas yra trečias papildomas metodas, apimantis analizės darbo krūvio paskirstymą keliems turimiems kraštiniams įrenginiams, atsižvelgiant į kraštinio tinklo savybes ir DNN struktūrą, siekiant maksimaliai padidinti analizės pralaidumą (analizių skaičius per sekundę). Šiame straipsnyje pristatomas metodas, kaip prognozuoti analizės ir perdavimo delsias daugiagijiniams paskirstytiems DNN diegimams, ir apibrėžiamas optimizavimo procesas, siekiant maksimaliai padidinti analizės pralaidumą. Tada pateikiamas ir analizuojamas šakos ir ribos sprendimo įrankis, siekiant kiekybiškai įvertinti pasiektą našumą ir sudėtingumą. Ši analizė leido apibrėžti pagreičio regioną, kuris apibūdina deterministines sąlygas DNN ir tinklo savybėms, kuriomis atveju DNN suskaidymas yra naudingas. Galiausiai, eksperimentiniai rezultatai patvirtina simuliacijas ir parodo analizės pralaidumo pagerėjimą imties kraštiniuose diegimuose. DNN suskaidymas krašte leidžia pagreitinti analizės pralaidumą, tuo pačiu sumažinant pralaidumo naudojimą ir delsius į centralizuotus serverius, pvz., debesį. Įvadas 2020 m. prijungti įrenginiai kasdien generavo apie 2,5 eksabaitų duomenų. Šiame kontekste dirbtinis intelektas (DI) yra viena iš technologijų, kuri geriausiai gali susidoroti su vis augančiu duomenų kiekiu įvairiose srityse, tokiose kaip objektų aptikimas kompiuterinėje regoje, veido atpažinimas, kalbos atpažinimas, natūralios kalbos apdorojimas ar autonominis vairavimas. DI, ir ypač gilusis mokymasis (DL), be didelio duomenų kiekio, reikalauja ženklių apdorojimo galios ir atminties pajėgumų, todėl debesų kompiuterija yra DI darbo krūvio sprendimas. Atitinkamai, 2019 m. 96 % DI užduočių buvo atliktos debesyje. 1 de facto 2 DI programos gali turėti stiprių delsių apribojimų, pvz., autonominiame vairavime, gamybos stebėsenoje ar bet kokioje realaus laiko analizėje, susijusioje su realaus pasaulio sąveika. Pavyzdžiui, vidutinis autonominio vairavimo reagavimo laikas turi būti mažesnis nei 100 milisekundžių , todėl kelionės į debesį laikas tokioms programoms yra per ilgas. Panašiai, kai kurios programos gali žymiai apkrauti tinklą, pvz., apdorojant aukštos kokybės vaizdo įrašus kompiuterinėje regoje, todėl jos negali veikti debesyje. Duomenų privatumo politika ar duomenų apsaugos taisyklės taip pat gali drausti duomenims palikti tam tikras aplinkas. Tai skatina DI diegimą kraštinėje kompiuterijoje, kuri apima skaičiavimo užduočių perkėlimą iš duomenų centrų arčiau kraštinių įrenginių, t. y. šalia duomenų šaltinių. [](javascript:void()) Palyginti su viešais debesimis, kraštas yra ribotų išteklių aplinka su svarbiais apribojimais , todėl DI kūrimas kraštui iš esmės skiriasi nuo DI kūrimo debesims. Duomenų analizė šalia jų šaltinio gali būti sudėtinga dėl mažesnių įrenginių pajėgumų, neelastingų turimų išteklių ir kraštinių tinklų įvairovės. Mažesnė skaičiavimo galia reiškia mažesnį pasiekiamą analizės pralaidumą, dar labiau apsunkinantį didelių darbo krūvių perkėlimą iš debesies į kraštą. Kai kuriose programose analizės pralaidumas, t. y. pasiekiamas analizių skaičius per sekundę, gali būti susijęs su DNN tikslumu, pvz., stebint objektus vaizdo įrašuose, kur analizės dažnio sumažinimas nuo 15 iki 5 analizių per sekundę parodė 10 % F1 balo sumažėjimą objektų detektoriuje . Kitaip tariant, mažo pralaidumo diegimai gali sukelti kritinės informacijos praradimą, pvz., aptikimų praradimą vaizdo stebėjimo programose. [](javascript:void()) [](javascript:void()) Yra du pagrindiniai metodai, kaip patenkinti našumo reikalavimus ribotuose kraštiniuose tinkluose: modelio suspaudimas arba aparatinė įranga. apima neuroninių tinklų sumažinimą ir optimizavimą į lengvą, dažnai neefektyvią, modelio versiją. Standartiniai modelio suspaudimo metodai apima genėjimo , t. y. nereikalingų parametrų pašalinimą modelyje, kvantizavimą , t. y. atminties, skiriamos modeliui saugoti, mažinimą, ir žinių distiliavimą , t. y. mažesnio neuroninio tinklo mokymą, naudojant žinias, išgautas iš didesnio tinklo. Modelio optimizavimas reikalauja didelių projektavimo pastangų ir gali trukdyti modelio tikslumui. kraštiniuose įrenginiuose reiškia tokios aparatinės įrangos paiešką, kuri būtų energiją taupanti ir lengva, tačiau vis tiek galėtų atlikti analizę su pakankamu našumu. Yra įvairių tipų aparatūros, skirtos spartinti kraštą, skiriasi efektyvumas ir specifika, tačiau standartiniai procesoriai nepatenkina lūkesčių, o specializuota aparatinė įranga, pvz., ASIC, pasirodė esanti nepraktiška ir brangi . Modelio suspaudimas [](javascript:void()) [](javascript:void()) [](javascript:void()) Aparatinė įranga [](javascript:void()) DNN suskaidymas yra papildomas metodas, skirtas pagreitinti analizę, pasinaudojant esamų kraštinių tinklų įrenginių daugybe, siekiant paskirstyti analizės skaičiavimus – tai gali būti naudojama atskirai arba kartu su dviem kitais metodais. DNN suskaidymas apima neuroninio tinklo laikymą kaip vamzdžio, padalinto į dalis, ir šių dalių paskirstymą kraštiniuose įrenginiuose. Šių dalių išdėstymas grindžiamas tiek DNN, tiek pagrindinio tinklo charakteristikomis. DNN suskaidymas remiasi atskyrimo taškų identifikavimu, kurie yra modelio grafikoje esantys taškai, kur modelis yra atskiriamas į dalis. Vykdymo metu dalys vykdomos nuosekliai, kiekviena perduodant tarpinius analizės rezultatus kitai daliai. Tai leidžia kiekvienai daliai pradėti skaičiuoti kitus įvesties duomenis, kol kiti įrenginiai tęsia išsiųstų duomenų apdorojimą, taip pagerinant analizės pralaidumą, kaip parodyta . Likusiame šio straipsnio dalyje DNN suskaidymas iliustruojamas realaus laiko analizės vaizdo įrašuose pavyzdžiu. 1 pav. A. Susijęs Darbas DNN suskaidymo metodai, kilę iš mobiliųjų kraštinių debesų iškrovimo, siekia optimizuoti įvairius našumo rodiklius, tokius kaip skaičiavimo delsimas, energijos suvartojimas, išteklių naudojimas, kaina ar pralaidumas. DNN suskaidymas grindžiamas vieno ar kelių iš šių metrikų susiejimu, siekiant apibrėžti optimizavimo tikslą, ir metodu, kuris išnaudoja šį metriką, kad rastų suskaidymo schemas. Pavyzdžiui, „Neurosurgeon“ ieško vieno atskyrimo taško, išlaikant pirmąją dalį krašte ir nusiunčiant antrąją dalį į debesį, siekiant sumažinti delsius ir energijos suvartojimą. IoT programos taip pat apsvarstė bendrą kelių DNN suskaidymą ir iškrovimą, siekiant optimizuoti energiją, delsį ir/ar kainą, naudojant skirtingus sprendimo įrankius, tokius kaip SPSO-GA derinant dalelių spiečiaus optimizavimą (PSO) ir genetinius algoritmus (GA), arba DDPQN , kuris naudoja gilųjį sustiprinimo mokymąsi, kad rastų suskaidymo schemas. Kiti pavyzdžiai apima DINA , kuri apibrėžia sveikojo neigiamojo programavimo (INLP) problemą ir naudoja atitikimo teorija pagrįstą sprendimo įrankį, siekiant optimizuoti delsį ir išteklių naudojimą tinkluose. Metodai, optimizuojantys analizės pralaidumą, apima DNN chirurgiją , kuri naudoja tarpinių DNN sluoksnių išvesties mažesnį dydį, kad suskaidytų analizės skaičiavimus tarp krašto ir debesies. Abu algoritmai sukuria dvi dalis, vieną krašte, kitą debesyje. Kiti tyrimai mobiliojo kraštinio debesies srityje taip pat apima daugiagijinius skaičiavimus debesyje, siekiant toliau pagreitinti bendrą analizės pralaidumą. Pasikliaujant debesimi antrajai daliai atlikti skaičiavimus priimama gera tinklo jungtis, kuri gali būti neaiški su silpna kai kurių izoliuotų kraštinių diegimų jungtimi. Edgent pritaiko ankstesnę metodiką mobiliesiems įrenginiams ir turimiems kraštiniams serveriams, atlaisvinant debesies iškrovimo apribojimą. Šis metodas susijęs su konkrečiu mokymu ir modelio architektūra, ir vis tiek riboja suskaidymą į dvi dalis. Kiti metodai apsvarstė kelis atskyrimo taškus, pvz., IONN , kuris apibūdina suskaidymo problemą, siekiant sumažinti delsius ir energijos suvartojimą, taip pat atsižvelgiant į modelių įkėlimo į kraštinius serverius laiką. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Šie metodai arba bendrauja su nuotoliniais debesimis, arba yra riboti suskaidymo pobūdžiu, pvz., privaloma suskaidyti tik į dvi dalis, su daugiagijiniu apdorojimu ar be jo. Nei vienas iš išvardytų DNN suskaidymo tyrimų neapsvarsto nei kelių atskyrimo taškų, nei daugiagijinio apdorojimo. B. Indėliai Šiame straipsnyje pristatoma paskirstyta analizės sistema, skirta maksimaliai padidinti realaus laiko DNN skaičiavimo transliuojant duomenis pralaidumą, su keliais atskyrimo taškais ir daugiagijiniu suskaidymu. Šio straipsnio indėliai yra šie: Modelis skaičiuojamoms ir perduodamoms delsiams paskirstytos DNN, per kurią galima įvertinti numatomą duotos suskaidymo schemos analizės pralaidumą. DNN suskaidymo optimizavimo problemos formulavimas, šios problemos šakos ir ribos sprendimo įrankio diegimas ir jo sudėtingumo vertinimas. Simuliacijos, skirtos ištirti galimus našumo pagerėjimus, kintant tinklo ir DNN savybėms. Deterministinių regionų tinklo ir DNN savybėse identifikavimas, leidžiantis egzistuoti optimalioms suskaidymo schemoms ir jų sprendimo sąnaudoms, t. y. sąlygoms, kuriomis DNN suskaidymas yra naudingas. Eksperimentiniai rezultatai, iliustruojantys simuliacijose apibrėžtus regionus, taip pat prognozavimo tikslumą ir galutinį analizės pralaidumo pagreitį homogeniniuose ir heterogeniniuose aplinkose. Toliau straipsnyje, siekiant išvengti painiavos, suskaidyta giliai neuroninė tinklas bus vadinamas , o terminas žymės pagrindinį fizinį ryšių tinklą. DNN tinklas C. Straipsnio Apžvalga Likusi straipsnio dalis organizuojama taip. pateikia gilaus mokymosi pagrindus ir tai, kaip DNN yra pateikiamos šiame tyrime. detaliai aprašo analizės ir perdavimo delsių prognozavimo metodus, reikalingus , kuris apibrėžia optimizavimo problemą, taip pat šakos ir ribos algoritmą, kad būtų galima priimti suskaidymo sprendimus. pateikia simuliacijų rezultatus, kad būtų galima kiekybiškai įvertinti šakos ir ribos algoritmo našumą ir sudėtingumą, taip pat sąlygas, leidžiančias pagerinti analizės pralaidumą homogeniniame tinkle. pateikia eksperimentinius rezultatus, patvirtinančius V skyriaus simuliacijas, ir parodo analizės pralaidumo pagerėjimus heterogeninėje eksperimentinėje sąrankoje. Galiausiai, aptaria rezultatus ir plečia šio metodo taikymą. II skyrius III skyrius IV skyriui V skyrius VI skyrius VII skyrius II SKYRIUS. Pagrindai: Gilus Mokymasis Mašininio mokymosi srityje gilusis mokymasis (DL) reiškia metodus, grindžiamus DNN, t. y. dirbtiniais neuroniniais tinklais (arba susijusiais mašininio mokymosi metodais), turinčiais daugiau nei vieną paslėptą sluoksnį. Vienas ankstyviausių gilaus mokymosi architektūrų nuorodų buvo paskelbtas 1967 m. , tačiau tik 2010 m. DL įgavo pagreitį, pirmiausia kalbos atpažinimo srityje, vėliau objektų aptikimo vaizduose, dėl gebėjimo užfiksuoti sudėtingus didelių matmenų duomenų ryšius. Manoma, kad 2022 m. gilusis mokymasis sudarys didžiąją dalį DI programų, daugiau nei 75 % organizacijų naudojančių DNN programoms, kurioms galėtų būti naudojami klasikiniai metodai. DL metodai buvo apibrėžti kaip „ “ . Šios algebrinės grandinės paprastai organizuojamos į sluoksnius, kurie sudaro skaičiavimo žingsnius. Terminas reiškia algoritmus, sudarytus iš daugiau nei vieno sluoksnio. [](javascript:void()) 4 mašininio mokymosi metodai, kuriuose hipotezės yra sudėtingų algebrinių grandinių, turinčių reguliuojamus ryšio stiprumus, forma [](javascript:void()) gilus Yra du pagrindiniai DNN struktūros tipai: tiesioginio perdavimo neuroniniai tinklai ir rekurenciniai neuroniniai tinklai. Abu DNN tipai gali būti pateikiami kaip skaičiavimo grafikai, o pagrindinis skirtumas yra tas, kad tiesioginio perdavimo tinklai gali būti pateikiami kaip tiesioginiai acikliniai grafikai (DAG), o rekursiniai neuroniniai tinklai gali turėti ciklus. Rekursiniai neuroniniai tinklai yra sukurti duomenų sekoms, kur kiekvienas duomenų taškas gali būti susijęs su ankstesniais sekos duomenų taškais, o tiesioginio perdavimo tinklai neatsižvelgia į sąveiką tarp duomenų sekos taškų. Likusi straipsnio dalis nagrinės tiesioginio perdavimo DNN atvejį. 5 III SKYRIUS. Paskirstytų Analizių Modeliavimas Šiame skyriuje pristatomas modelis DNN ir tinklo savybėms atvaizduoti, siekiant prognozuoti skaičiavimo delsius, perdavimo delsius ir galutinį duotos suskaidymo sprendimo analizės pralaidumą. A. DNN ir Tinklo Vaizdavimas N sluoksnių tiesioginio perdavimo DNN modeliuojamas kaip DAG GA=(L,E), kur L=(L1,…,LL) yra DNN sluoksniai. Briaunos (Li,Lj)∈E yra ryšiai tarp sluoksnių Li ir Lj. Kiekvienas sluoksnis Li turi susijusį skaičiavimo poreikį ci, matuojamą plaukiojančio kablelio operacijų skaičiumi, reikalingu vienam tiesioginiam perdavimui per sluoksnį. Briaunos (Li,Lj) turi svorį si,j, atitinkantį duomenų dydį, perduodamą tarp sluoksnių Li ir Lj baitais. Fizinis tinklas modeliuojamas kaip pilnai sujungtas grafikas G=(N,V), kur N=(N1,…,NN) yra skaičiavimo mazgų rinkinys, o V yra mazgų tarpų rinkinys. Manoma, kad skaičiavimo mazgai N1,…,NN turi atitinkamai η1,…,ηN apdorojimo spartas, matuojamas plaukiojančio kablelio operacijomis per sekundę. Galiausiai, tarp dviejų gretimų mazgų Na ir Nb esančio ryšio pralaidumas žymimas θa,b, matuojamas baitais per sekundę. Kiekvienas mazgas Ni yra sujungtas su savimi begaliniu pralaidumu, kad atspindėtų grįžtamąjį ryšį, o ryšiai laikomi simetriškais, t. y. θa,b=θb,a. Suskaidymai apibrėžiami kaip žemėlapiai P:L→N, t. y. suskaidymas kiekvienam DNN sluoksniui priskiria mazgo numerį. Suskaidymas gali būti apibūdinamas kaip matrica P, kurios matmenys yra (N×L), N yra tinklo mazgų skaičius, o L yra DNN sluoksnių skaičius, ir su Pa,i=1, jei sluoksnis Li yra išdėstytas mazge Na, 0 kitu atveju. Pavyzdžio, pateikto 2 paveiksle, atveju, L=7 sluoksniai ir N=2 skaičiavimo mazgai, parodytas suskaidymas su sluoksniais {L1,L2,L3,L6,L7} mazge N1, o sluoksniai {L4,L5} mazge N2, pateikiamas taip: Atsižvelgiant į suskaidymą, apibrėžiama kaip nuoseklių sluoksnių grupė tarp dviejų atskyrimo taškų, vykdoma nuosekliai tame pačiame mazge. Aukščiau pateiktame pavyzdyje mazgas N1 vykdys dvi gijas, pirmoji bus {L1,L2,L3}, o antroji {L6,L7}. gija Su šiais apibrėžtais žymėjimais, likusi šio skyriaus dalis išvedamos uždaros analizės pralaidumo, pasiekto pagal duotą suskaidymą, išraiškos, kaip analizės (III-B skyrius) ir perdavimo (III-C skyrius) delsių funkcija. B. Analizės Delsių Prognozavimas Duotai suskaidymo schemai, šis skyrius nagrinėja analizės delsį izoliuotame mazge. Sluoksnio Li skaičiavimo sukeltas delsimas su suvartojimu ci, kuris turi būti suskaičiuotas mazge Na, su apdorojimo sparta ηa, išreiškiamas kaip Tci(Na)=ci/ηa. Duotai sluoksnių L′⊂L rinkiniui, veikiančiam mazge Na su apdorojimo sparta ηa, analizės delsimas gali būti išreikštas kaip: Ši išraiška yra pirmojo laipsnio analizės delsių įvertinimo, pagrįsto plaukiojančio kablelio operacijų (FLOPs) skaičiumi, reikalingu DNN apdorojimui, ty. daugybos-sudėties operacijų skaičiumi modelyje, aproksimacija. Analizės delsio įvertinimui kraštiniuose įrenginiuose trukdo vykdymo optimizavimai. Esami sprendimai, pvz., nn-Meter , prognozuoja analizės delsį remdamiesi FLOPs. Kiti sprendimai remiasi paieškos lentele su iš anksto suskaičiuotais analizės laikais delsių analizei. Pavyzdžiui, BRP-NAS naudoja iš anksto apmokytą grafinį konvoliucinį tinklą, kad prognozuotų analizės delsius, atsižvelgdamas į vykdymo laiko modelio optimizavimus. [](javascript:void()) [](javascript:void()) 1 lygybėje toliau daroma prielaida, kad procesoriai naudoja visą savo pajėgumą, o tai reiškia, kad daugiabranduoliai procesoriai modeliuojami kaip vienbranduoliai procesoriai, kurių apdorojimo sparta lygi jų branduolių apdorojimo spartų sumai. Taip pat daroma prielaida, kad skaičiavimo išteklius dalijamasi tolygiai tarp gijų, t. y. procesorius skiria vienodą savo laiko dalį kiekvienai gijai. Visuose mazguose aukščiausią delsimą turinti gija nustato paskirstytos DNN analizės pralaidumą. Nepaisant perdavimo delsių, tai reiškia, kad kai tik ši ribojanti gija baigia apdoroti duomenų kadrą, ji tiesiogiai pradeda apdoroti kitą. Kitos gijos turės laisvo laiko prieš apdorojant kitą duomenų kadrą, nes jų analizės delsimas yra mažesnis nei šis maksimalus delsimas, kaip parodyta 1 paveiksle. Duotai suskaidymo matricai P, analizės delsių vektorius Tc, dydžio N, gali būti išreikštas kaip, kurioje a-toji sudedamoji dalis yra didžiausias gijų analizės delsimas mazge Na, t. y. Tca=Tc(Na): kur H yra atvirkštinių mazgų apdorojimo spartų diagonalinė matrica diag(η−11,…,η−1N) ir c yra atskirų sluoksnių suvartojimų stulpelio vektorius (c1,…,cL). C. Perdavimo Delsių Prognozavimas Perdavimo delsimas gali būti prognozuojamas taip: laikas, reikalingas duomenų kiekiui si,j tarp sluoksnių Li ir Lj krašte (Na,Nb) per ryšį su išmatuotu pralaidumu θa,b perduoti, yra Tti,j(Na,Nb)=si,j/θa,b. Duomenų perdavimų si,j∈E′⊂E laikas per ryšį (Na,Nb) yra: Panašiai kaip analizės delsių prognozavimas, tai reiškia, kad ryšiai yra dalijami tolygiai tarp duomenų perdavimų iš Na į Nb. Perdavimo delsių prognozavimas priklauso nuo ryšio pralaidumo tarp mazgų įvertinimo, tiksliau, *gerojo pralaidumo* (goodput), t. y. naudingų duomenų, perduodamų per sekundę, kiekio. Panašiai kaip analizės delsių įvertinimas, tai yra pirmojo laipsnio aproksimacija, kuri efektyviai suteikia gerus prognozavimo rezultatus, kaip parodyta 3 pav. c, su koreliacijos koeficientu R2=0.9998. Šio metodo trūkumas yra jo reikalavimas prisotinti ryšius, kad būtų galima įvertinti pralaidumą. Duotai suskaidymo matricai P, perdavimo delsių matrica Tt gali būti apibrėžta kaip kvadratinė matrica L dydžio, su Tta,b=Tt(Na,Nb): kur ° yra elementų po elemento sandaugos, arba Hadamard sandaugos, Θ yra atvirkštinės pralaidumo matricos, t. y. kvadratinės matricos N dydžio, kurioje Θa,b=θ−1a,b, o S yra perdavimo dydžio matrica, t. y. kvadratinė matrica L dydžio, kurioje Si,j=si,j, jei Li siunčia duomenis į Lj, 0 kitu atveju. IV SKYRIUS. DNN Suskaidymas Šiame tyrime DNN suskaidymo tikslas yra maksimaliai padidinti analizės pralaidumą, žymimą C, kuris atitinka didžiausio delsimo tarp visų skaičiavimo ir perdavimo delsių atvirkštį. Duotai suskaidymo schemai P, analizės pralaidumas apibrėžiamas kaip: Analizės pralaidumo didinimas reiškia bendro minimalaus maksimalaus visų Tc ir Tt elementų tarpusavio minimizavimą. Tai gali būti apibrėžta