
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Autoriai: 
 
 
 
 
 
 Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Santrauka: Gilios neuronų tinklo (DNN) išvados apie transliuojamus duomenis reikalauja skaičiavimo išteklių, kad būtų patenkinti išvedimo pralaidumo reikalavimai. Tačiau delsiui ir privatumui jautrios gilaus mokymosi programos negali perkelti skaičiavimų į nuotolinį debesį dėl numanomų perdavimo išlaidų ir nepasitikėjimo trečiųjų šalių debesų teikėjais. Tarp sprendimų, kaip padidinti našumą išlaikant skaičiavimus ribotoje aplinkoje, aparatinės įrangos pagreitis gali būti sunkus, o modelio optimizavimas reikalauja didelių projektavimo pastangų, tuo pačiu trukdant tikslumui. DNN suskaidymas yra trečias papildomas metodas ir apima išvedimo darbo krūvio paskirstymą keliems galimiems krašto įrenginiams, atsižvelgiant į krašto tinklo ypatybes ir DNN struktūrą, siekiant maksimaliai padidinti išvedimo pralaidumą (išvadų skaičius per sekundę). Šiame dokumente pristatomas metodas, kaip prognozuoti išvedimo ir perdavimo delsias daugia gijų paskirstytiems DNN diegimams, ir apibrėžiamas optimizavimo procesas, siekiant maksimaliai padidinti išvedimo pralaidumą. Tada pristatomas ir analizuojamas šakos ir ribos (branch and bound) sprendėjas, siekiant kiekybiškai įvertinti pasiektą našumą ir sudėtingumą. Ši analizė leido apibrėžti pagreičio regioną, kuris apibūdina deterministines sąlygas, susijusias su DNN ir tinklo savybėmis, kurių atveju DNN suskaidymas yra naudingas. Pagaliau eksperimentiniai rezultatai patvirtina modeliavimus ir parodo išvedimo pralaidumo pagerėjimą pavyzdiniuose krašto diegimuose. DNN suskaidymas krašte leidžia pagreitinti išvedimo pralaidumą, mažinant pralaidumo naudojimą ir delsą iki centralizuotų serverių, pvz., debesyje. Įvadas 2020 m. prijungti įrenginiai kasdien generavo maždaug 2,5 trilijono baitų duomenų.  Šiame kontekste dirbtinis intelektas (DI) yra viena iš technologijų, galinčių geriausiai susidoroti su nuolat augančiu duomenų kiekiu įvairiose srityse, tokiose kaip objektų aptikimas kompiuterinėje vizijoje, veido atpažinimas, kalbos atpažinimas, natūralios kalbos apdorojimas ar autonominis vairavimas. DI, ir ypač gilusis mokymasis (DL), be didelio duomenų kiekio reikalauja reikšmingų apdorojimo galios ir atminties pajėgumų, todėl debesų kompiuterija yra   DI darbo krūvių priglobimo sprendimas. Atitinkamai, 2019 m. 96% DI užduočių buvo vykdomos debesyje. 1 de facto 2 DI programos gali turėti griežtus delsos apribojimus, pvz., autonominiame vairavime, gamybos stebėsenoje ar bet kokiame realaus laiko išvedime, apimančiame realaus pasaulio sąveiką. Pavyzdžiui, vidutinis atsakymų laikas autonominiame vairavime turi būti trumpesnis nei 100 milisekundžių  , todėl kelionės laikas iki debesies šioms programoms yra per ilgas. Panašiai, kai kurios programos gali žymiai apkrauti tinklą, pvz., apdorojant aukštos kokybės vaizdo įrašus kompiuterinėje vizijoje, todėl jos negali veikti debesyje. Duomenų privatumo politika ar duomenų apsaugos taisyklės taip pat gali drausti duomenims palikti tam tikras aplinkas. Tai skatina DI diegimą krašto kompiuterijoje, kuri apima skaičiavimo užduočių perkėlimą iš duomenų centrų arčiau krašto įrenginių, t. y., duomenų šaltinių artumoje. [](javascript:void()) Palyginti su viešaisiais debesimis, kraštas yra išteklių ribota aplinka su svarbiais apribojimais  , todėl DI kūrimas kraštui iš esmės skiriasi nuo DI kūrimo debesims. Duomenų analizė šalia jų šaltinio gali būti sudėtinga dėl mažesnių įrenginių pajėgumų, neelastingų turimų išteklių ir krašto tinklų įvairovės. Mažesnė skaičiavimo galia reiškia mažesnį pasiekiamą išvedimo pralaidumą, dar labiau apsunkinant sunkios darbo krūvio perkėlimą iš debesies į kraštą. Kai kuriose programose išvedimo pralaidumas, t. y., pasiekiamas išvadų skaičius per sekundę DNN, gali būti susijęs su DNN tikslumu, pvz., objektų sekimo vaizdo srautuose, kur išvedimo dažnio sumažinimas nuo 15 iki 5 išvadų per sekundę parodė 10% F1 balų__3__objektų detektoriaus sumažėjimą  . Kitaip tariant, diegimai su mažu išvedimo pralaidumu gali sukelti kritinę informacijos netektį, pvz., detekcijų praradimą vaizdo stebėjimo programose. [](javascript:void()) [](javascript:void()) Yra du pagrindiniai metodai, kaip patenkinti našumo reikalavimus ribotuose krašto tinkluose: modelio suspaudimas arba aparatinės įrangos pagreitis.    apima neuronų tinklų mažinimą ir optimizavimą iki lengvos, dažnai mažiau našios, modelio versijos. Standartiniai modelio suspaudimo metodai apima genėjimo  , t. y., nereikalingų parametrų modelyje pašalinimą, kvantifikavimą  , t. y., modelyje saugoti skirto atminties kiekio mažinimą, ir žinių distiliaciją  , t. y., mažesnio neuronų tinklo apmokymą, naudojant didesnio modelio žinias. Modelio optimizavimas reikalauja didelių projektavimo pastangų ir gali trukdyti modelio tikslumui.    krašto įrenginiuose reiškia tinkamos aparatinės įrangos, kuri būtų energiją taupanti ir lengva, tačiau vis tiek gebanti atlikti išvadą pakankamu našumu, paiešką. Yra keletas tinkamų pagreičio aparatūros tipų krašte, besiskiriančių efektyvumu ir specifiškumu, tačiau standartiniai apdorojimo vienetai nepateisina lūkesčių, o specializuota aparatinė įranga, pvz., ASIC, pasirodė esanti nepraktiška ir brangi  . Modelio suspaudimas [](javascript:void()) [](javascript:void()) [](javascript:void()) Aparatinės įrangos pagreitis [](javascript:void()) DNN suskaidymas yra papildomas metodas išvedimo pagreitinimui, naudojant esamų krašto tinklo įrenginių daugybę skaičiavimams paskirstyti – kurį galima naudoti atskirai arba kartu su dviem kitais metodais. DNN suskaidymas apima neuronų tinklo laikymą kaip seką, kuri yra suskaidyta į dalis ir šios dalys yra paskirstytos krašto įrenginiams. Šių dalių išdėstymas grindžiamas tiek DNN, tiek pagrindinio tinklo charakteristikomis. DNN suskaidymas priklauso nuo padalijimo taškų identifikavimo, kurie yra modelio grafikoje taškai, kur modelis yra padalijamas į dalis. Vykdymo metu dalys yra vykdomos nuosekliai, kiekviena perduodama tarpinius išvedimo rezultatus į kitą dalį. Tai leidžia kiekvienai daliai pradėti apdoroti kitus įvesties duomenis, kol kiti įrenginiai tęsia iškeltos užduoties apdorojimą, taip pagerinant išvedimo pralaidumą, kaip parodyta  . Likusioje šio dokumento dalyje DNN suskaidymas iliustruojamas realaus laiko išvedimo vaizdo srautuose pavyzdžiu. 1 pav. A. Susiję darbai DNN suskaidymo metodai, kilę iš mobiliųjų krašto-debesų perkėlimo, siekia optimizuoti įvairius našumo rodiklius, tokius kaip skaičiavimo delsa, energijos sąnaudos, išteklių naudojimas, kaina ar pralaidumas. DNN suskaidymas priklauso nuo vieno ar kelių iš šių metrikų derinio, siekiant apibrėžti optimizavimo tikslą, ir metodo, kuris išnaudoja šią metriką, siekiant rasti suskaidymo schemas. Pavyzdžiui, Neurosurgeon   ieško vieno padalijimo taško, laikydamas pirmąją dalį krašte ir perkeldamas antrąją dalį į debesį, siekiant sumažinti delsą ir energijos sąnaudas. DI programos taip pat atsižvelgė į kelių DNN jungtinį suskaidymą ir perkėlimą, siekiant optimizuoti energiją, delsą ir/ar kainą, naudojant skirtingus sprendėjus, tokius kaip SPSO-GA   kombinuojant dalelių būrio optimizavimą (PSO) ir genetinius algoritmus (GA), arba DDPQN   naudojant gilųjį mokymąsi su stiprinimu, siekiant rasti suskaidymo schemas. Kiti pavyzdžiai apima DINA  , kuri apibrėžia Integer Non Linear Programming (INLP) problemą ir naudoja matematinę teoriją pagrįstą sprendėją, siekiant optimizuoti delsą ir išteklių naudojimą rūko tinkluose. Išvedimo pralaidumo optimizavimo metodai apima DNN chirurgiją  , kuri naudojasi tarpinių DNN sluoksnių išvesties mažesniu dydžiu, siekiant paskirstyti išvedimo skaičiavimus tarp krašto ir debesies. Abu algoritmai sukuria dvi dalis, vieną krašte, o kitą debesyje. Kiti tyrimai mobiliųjų krašto-debesų srityje   taip pat apima daugia gijų skaičiavimą debesyje, siekiant dar labiau pagreitinti bendrą išvedimo pralaidumą. Remiantis debesimis antrajai daliai atlikti skaičiavimus priimama gera tinklo jungtis, kuri gali būti neaiški su prastu ryšiu kai kuriuose izoliuotuose krašto diegimuose. Edgent   pritaiko ankstesnę metodiką mobiliesiems įrenginiams ir galimiems krašto serveriams, atlaisvinant debesies perkėlimo apribojimą. Šis metodas yra susijęs su konkrečiu apmokymu ir modelio architektūra, ir vis tiek riboja suskaidymą iki dviejų dalių. Kiti metodai atsižvelgė į kelis padalijimo taškus, pvz., IONN  , kuris apibūdina suskaidymo problemą siekiant sumažinti delsą ir energijos sąnaudas, taip pat atsižvelgiant į laiką, reikalingą modeliams įkelti į krašto serverius. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Šie metodai arba sąveikauja su nuotoliniais debesimis, arba yra riboti suskaidymo pobūdžiu, pvz., reikalaujama suskaidyti tik į dvi dalis, su daugia gijų skaičiavimu arba be jo. Nė vienas iš išvardytų DNN suskaidymo tyrimų neatlieka tiek daug padalijimo taškų, tiek daugia gijų skaičiavimo. B. Indėliai Šiame dokumente pristatomas paskirstytas išvedimo pagreitinimo pagreičio kadravimo sistema, skirta maksimaliai padidinti realaus laiko DNN skaičiavimo išvedimo pralaidumą transliuojamuose duomenyse, su keliais padalijimo taškais ir daugia gijų suskaidymu. Šio dokumento indėliai yra šie: 
 
 
 
 
 
 Modelis skaičiavimo ir perdavimo delsoms paskirstytos DNN, per kurį galima įvertinti numatomą tam tikros suskaidymo schemos išvedimo pralaidumą. DNN suskaidymo optimizavimo problemos formulavimas, šakos ir ribos sprendėjo įgyvendinimas šiai problemai ir jo sudėtingumo įvertinimas. Modeliavimai siekiant ištirti galimus našumo pagerėjimus, kintant tinklo ir DNN ypatybes. Deterministinių regionų tinklo ir DNN savybėse identifikavimas, lemiantis optimalių suskaidymų egzistavimą ir tokių sprendimų skaičiavimo kainą, t. y., sąlygos, kurių atveju DNN suskaidymas yra naudingas. Eksperimentiniai rezultatai, iliustruojantys modeliavimuose apibrėžtus regionus, taip pat prognozavimo tikslumą ir galutinį išvedimo pralaidumo pagreitį homogeniniuose ir heterogeniniuose aplinkose. Likusią šio dokumento dalį, kad būtų išvengta painiavos, suskaidyta giluminė neuronų tinklas bus vadinama  , o terminas   bus fizinis ryšių tinklas. DNN tinklas C. Dokumento planas Likusi šio dokumento dalis yra organizuota taip.   pateikiama gilaus mokymosi pagrindai ir kaip DNN yra vaizduojamos šiame tyrime.   detaliai aprašomi išvedimo ir perdavimo delsos prognozavimo metodai, reikalingi  , kuriame apibrėžiama optimizavimo problema, taip pat šakos ir ribos algoritmas, skirtas suskaidymo sprendimams priimti.   pateikiami modeliavimo rezultatai, siekiant kiekybiškai įvertinti šakos ir ribos algoritmo našumą ir sudėtingumą, taip pat sąlygos, lemiančios suskaidymą, kuris pagerina išvedimo pralaidumą homogeniniame tinkle.   pateikiami eksperimentiniai rezultatai, patvirtinantys   modeliavimus, ir parodo išvedimo pralaidumo pagerėjimus heterogeninėje eksperimentinėje sąrankoje. Pagaliau,   aptariami rezultatai ir plačiau apžvelgiamas šio metodo pritaikomumas. II skirsnyje III skirsnyje IV skirsniui V skirsnyje VI skirsnyje V skirsnio VII skirsnyje II SKIRSNIS. Pagrindai: Gilus mokymasis Mašininio mokymosi srityje gilusis mokymasis (DL) reiškia metodus, paremtus DNN  , dirbtiniais neuronų tinklais (arba susijusiais mašininio mokymosi metodais), turinčiais daugiau nei vieną paslėptą sluoksnį. Viena iš ankstyviausių gilaus mokymosi architektūrų nuorodų buvo paskelbta 1967 m.  , tačiau tik 2010-aisiais DL įgavo pagreitį, pirmiausia kalbos atpažinime, vėliau objektų aptikime vaizduose, dėl gebėjimo užfiksuoti sudėtingus ryšius didelės dimensijos duomenyse. Prognozuojama, kad 2022 m. gilusis mokymasis sudarys didžiąją dalį DI programų, daugiau nei 75% organizacijų naudoja DNN programose, kurios galėtų naudoti klasikinius metodus.  DL metodai buvo apibrėžti kaip "   "  . Šios algebrinės grandinės paprastai yra organizuotos į sluoksnius, kurie sudaro skaičiavimo žingsnius. Terminas   reiškia algoritmus, sudarytus iš daugiau nei vieno sluoksnio. , t. y. [](javascript:void()) 4 mašininio mokymosi metodai, kuriuose hipotezės yra sudėtingų algebrinių grandinių su derinamu sujungimo stiprumu [](javascript:void()) gilus Yra dvi pagrindinės DNN struktūros: tiesioginio perdavimo neuronų tinklai ir rekurrentiniai neuronų tinklai. Abu DNN tipai gali būti vaizduojami kaip skaičiavimo grafikai, o pagrindinis skirtumas yra tas, kad tiesioginio perdavimo tinklai gali būti vaizduojami kaip tiesioginiai acikliniai grafikai (DAG), o rekurrentiniai neuronų tinklai gali turėti ciklus. Rekurrentiniai neuronų tinklai yra sukurti duomenų sekoms, kur kiekvienas duomenų taškas gali būti susijęs su ankstesniais duomenų sekos taškais, o tiesioginio perdavimo tinklai neatsižvelgia į sąveiką tarp duomenų sekos taškų. Likusiame šio dokumento dalyje bus nagrinėjamas tiesioginio perdavimo DNN atvejis. 5 III SKIRSNIS. Paskirstytas išvedimo modeliavimas Šiame skirsnyje pristatomas modelis DNN ir tinklo ypatybėms vaizduoti, siekiant prognozuoti skaičiavimo delsas, perdavimo delsas ir galutinį tam tikro suskaidymo sprendimo išvedimo pralaidumą. A. DNN ir tinklo vaizdavimas N sluoksnių tiesioginio perdavimo DNN yra modeliuojamas kaip DAG GA=(L,E) su L=(L1,…,LL) DNN sluoksniais. Kraštai (Li,Lj)∈E yra jungtys tarp sluoksnių Li ir Lj . Kiekvienam sluoksniui Li yra priskirtas skaičiavimo suvartojimas ci , matuojamas plaukiojamojo kablelio operacijų skaičiumi, reikalingu tiesioginiam sluoksnio apdorojimui. Kraštai (Li,Lj) turi svorį si,j , atitinkantį duomenų, perduodamų tarp sluoksnių Li ir Lj , dydį baitais. Fizinis tinklas yra modeliuojamas kaip pilnai sujungtas grafikas G=(N,V) , kur N=(N1,…,NN) yra skaičiavimo mazgų rinkinys, o V yra mazgų jungčių rinkinys. Manoma, kad skaičiavimo mazgai N1,…,NN turi apdorojimo greitį η1,…,ηN , atitinkamai matuojamą plaukiojamojo kablelio operacijomis per sekundę. Galiausiai, jungties pralaidumas tarp dviejų gretimų mazgų Na ir Nb yra žymimas θa,b , matuojamas baitais per sekundę. Kiekvienas mazgas Ni yra sujungtas su savimi begaliniu pralaidumu, kad būtų atvaizduota grįžtamoji jungtis, o jungtys laikomos simetriškomis, t. y., θa,b=θb,a . Suskaidymai yra apibrėžiami kaip žemėlapiai P:L→N , t. y., suskaidymas kiekvienam DNN sluoksniui priskiria mazgo numerį. Suskaidymą galima apibūdinti kaip P matricą (N×L) dimensijos, N yra tinklo mazgų skaičius, o L yra DNN sluoksnių skaičius, ir Pa,i=1 , jei sluoksnis Li yra išdėstytas mazge Na , kitu atveju 0. Pavyzdyje, pateiktame  , L=7 sluoksnių ir N=2 skaičiavimo mazgai, pavaizduotas suskaidymas su sluoksniais {L1,L2,L3,L6,L7} mazge N1 , ir sluoksniais {L4,L5} mazge N2 , yra vaizduojamas kaip: 2 pav. Atsižvelgiant į šias žymes, likusi šio skirsnio dalis išveda uždarą išvedimo pralaidumo, pasiekiamo tam tikro suskaidymo, išraišką, kaip išvedimo ( ) ir perdavimo ( ) delsų funkcija. III-B skirsnis III-C skirsnyje B. Išvedimo delsimų prognozavimas Atsižvelgiant į suskaidymą, šis skirsnis nagrinėja išvedimo delsimų prognozavimą izoliuotame mazge. Sluoksnio Li su suvartojimu ci , kuris turi būti apskaičiuotas mazge Na , su apdorojimo sparta ηa , sukeliamas delsimas yra išreikštas kaip Tci(Na)=ci/ηa . Atsižvelgiant į sluoksnių rinkinį L′⊂L visose gijose, veikiančiose mazge Na , su apdorojimo sparta ηa , išvedimo delsimas gali būti išreikštas kaip: Ši išraiška yra pirmosios eilės apytikslė išvedimo delsimų prognozė, pagrįsta plaukiojamojo kablelio operacijų (FLOPs) skaičiumi, reikalingu DNN apdoroti, t. y., daugiklio-sudėjimo operacijų skaičiumi modelyje. Išvedimo delsimų prognozavimas krašto įrenginiuose yra apsunkintas vykdymo optimizavimų. Esami sprendimai, tokie kaip nn-Meter  , prognozuoja išvedimo delsimus remiantis FLOPs. Kiti sprendimai remiasi paieškos lentele su iš anksto apskaičiuotais išvedimo laikais delsos prognozei. Pavyzdžiui, BRP-NAS   naudoja iš anksto apmokytą grafų konvoliucinį tinklą, kad prognozuotų išvedimo delsas, atsižvelgiant į vykdymo modelio optimizavimus. [](javascript:void()) [](javascript:void()) 1   toliau daroma prielaida, kad procesoriai naudoja visą savo pajėgumą, o tai reiškia, kad daugia branduolių procesoriai modeliuojami kaip vieno branduolio procesoriai, kurių apdorojimo sparta yra lygi jų branduolių apdorojimo spartos sumai. Taip pat daroma prielaida, kad skaičiavimo išteklius yra tolygiai paskirstomas tarp gijų, t. y., procesorius skiria tą pačią laiko dalį kiekvienai gijai. lygyje Visuose mazguose aukščiausią delsą turinti gija nustato paskirstytos DNN išvedimo pralaidumą. Nepaisant perdavimo delsų, tai reiškia, kad kai tik ši ribojanti gija baigia skaičiuoti duomenų kadrą, ji tiesiogiai pradeda apdoroti kitą. Kitos gijos turės neaktyvų laiką prieš apdorodamos kitą duomenų kadrą, nes jų išvedimo delsa yra mažesnė nei šis maksimalus delsimas, kaip parodyta  . 1 paveiksle Atsižvelgiant į suskaidymo matricą P , išvedimo delsos gali būti išreikštos kaip vienas vektorius Tc N dydžio, kur a -asis komponentas yra didžiausia gijos išvedimo delsa mazge Na , t. y., Tca=Tc(Na) : kur H yra atvirkštinių mazgų apdorojimo spartų diagonalinė matrica diag(η−11,…,η−1N) ir c yra atskirų sluoksnių suvartojimų stulpelinė vektorinė (c1,…,cL) . C. Perdavimo delsimų prognozavimas Perdavimo delsimą galima prognozuoti taip: laikas, kurio reikia norint išsiųsti duomenų kiekį si,j tarp sluoksnių Li ir Lj krašte (Na,Nb) per jungtį su išmatuotu pralaidumu θa,b yra Tti,j(Na,Nb)=si,j/θa,b . Laikas pasiekti duomenų perdavimą si,j∈E′⊂E per jungtį (Na,Nb) yra: Panašiai kaip išvedimo delsimų prognozavime, tai reiškia, kad jungtys yra tolygiai dalijamos tarp duomenų perdavimų iš Na į Nb . Perdavimo delsimų prognozė remiasi jungties pralaidumo tarp mazgų įvertinimu, tiksliau   (goodput), t. y., per sekundę perduodamo naudingojo duomenų kiekio. gerojo pralaidumo Panašiai kaip ir išvedimo delsimų įvertinimas, tai yra pirmosios eilės apytikslis metodas, kuris efektyviai suteikia gerus prognozavimo rezultatus, kaip parodyta   c, su 0,9998 koreliacijos koeficientu R2 . Šio metodo trūkumas yra tai, kad norint gauti pralaidumo įvertinimą, reikia prisotinti jungtis. 3 pav. Atsižvelgiant į sus

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Cisco Systems

Šis garso įrašas sukurtas originalia istorijos kalba!

Kodėl jūsų dirbtiniam intelektui nebereikia debesies, kad veiktų greičiau

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps