
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Autori: 
 
 
 
 
 
 Tomass Feltins Leo Marcho Huans-Antoņio Kordero-Fuerters Franks Brokners Tomass H. Klaussens Kopsavilkums: Dziļo neironu tīklu (DNN) izguve par straumētiem datiem prasa skaitļošanas resursus, lai apmierinātu izguves caurlaidības prasības. Tomēr latentuma un privātuma ziņā jutīgas dziļās apmācības lietojumprogrammas nevar atļauties pārsūtīt aprēķinus uz attāliem mākoņiem, jo ​​ir saistītas pārraides izmaksas un neuzticēšanās trešo pušu mākoņu nodrošinātājiem. Starp risinājumiem, lai palielinātu veiktspēju, vienlaikus saglabājot aprēķinus ierobežotā vidē, aparatūras paātrinājums var būt apgrūtinošs, un modeļu optimizācija prasa plašus projektēšanas centienus, vienlaikus pasliktinot precizitāti. DNN sadalīšana ir trešā papildu pieeja, un tā sastāv no izguves darba slodzes sadalīšanas vairākās pieejamās malu ierīcēs, ņemot vērā malu tīkla īpašības un DNN struktūru, ar mērķi maksimāli palielināt izguves caurlaidību (izguves skaitu sekundē). Šajā rakstā tiek iepazīstināta metode, lai prognozētu izguves un pārraides latentumu daudzsvītru sadalītiem DNN risinājumiem, un tiek definēts optimizācijas process, lai maksimāli palielinātu izguves caurlaidību. Pēc tam tiek iepazīstināts un analizēts zariņu un ierobežojumu risinātājs, lai kvantificētu sasniegto veiktspēju un sarežģītību. Šī analīze ir novedusi pie paātrinājuma reģiona definēšanas, kas apraksta deterministiskus nosacījumus DNN un tīkla īpašībām, zem kuriem DNN sadalīšana ir izdevīga. Visbeidzot, eksperimentālie rezultāti apstiprina simulācijas un parāda izguves caurlaidības uzlabojumus paraugos malu risinājumos. DNN sadalīšana malā nodrošina izguves caurlaidības paātrināšanu, vienlaikus samazinot joslas platuma izmantošanu un latentumu līdz centralizētiem serveriem, piemēram, mākonī. Ievads Savienotās ierīces 2020. gadā katru dienu radīja aptuveni 2,5 kvintiljonus baitus datu.  Šajā kontekstā Mākslīgais intelekts (MI) ir viena no tehnoloģijām, kas vislabāk spēj tikt galā ar arvien pieaugošo radīto datu daudzumu dažādās jomās, piemēram, objektu noteikšanā dators redzē, sejas atpazīšanā, runas atpazīšanā, dabisko valodu apstrādē vai autonomā braukšanā. MI, un īpaši dziļā apmācība (DL), papildus lielam datu apjomam prasa ievērojamas apstrādes jaudas un atmiņas spējas, padarot mākoņskaitļošanu par de facto risinājumu MI darba slodžu uzturēšanai. Attiecīgi, 2019. gadā 96% MI uzdevumu tika veikti mākonī. 1 2 MI lietojumprogrammām var būt stingri latentuma ierobežojumi, piemēram, autonomā braukšanā, ražošanas uzraudzībā vai jebkurā reāllaika izguvē, kas ietver mijiedarbību ar reālo pasauli. Piemēram, vidējam atbildes laikam autonomā braukšanā ir jābūt mazākam par 100 milisekundēm , padarot turp un atpakaļ ceļojumus uz mākoņiem pārāk ilgu šādām lietojumprogrammām. Tāpat dažas lietojumprogrammas var radīt ievērojamu joslas platuma izmantošanu tīklā, piemēram, augstas kvalitātes video apstrādē dators redzē, kas neļauj tām darboties mākonī. Datu privātuma politikas vai datu aizsardzības noteikumi var arī aizliegt datu iziešanu no noteiktām vidēm. Tas veicina MI izvietošanu malu skaitļošanā, kas sastāv no aprēķinu uzdevumu pārvietošanas no datu centriem tuvāk malu ierīcēm, t.i., datu avotu tuvumā. [](javascript:void()) Salīdzinot ar publiskiem mākoņiem, mala ir resursu ziņā ierobežota vide ar ievērojamiem ierobežojumiem , un MI izstrāde malai tāpēc ir būtiski atšķirīga nekā MI izstrāde mākonim. Datu analīze tās avota tuvumā var būt sarežģīta zemāku ierīču jaudu, pieejamo resursu neelastības un malu tīklu heterogenitātes dēļ. Aprēķinu jaudas samazināšana nozīmē sasniedzamās izguves caurlaidības samazināšanu, vēl vairāk sarežģījot smagu darba slodžu pārvietošanu no mākoņa uz malu. Dažās lietojumprogrammās izguves caurlaidība, t.i., sasniedzamās izguves sekundē no DNN, var būt saistīta ar DNN precizitāti, piemēram, ar objektu izsekošanu video straumēs, kur izguves ātruma samazināšana no 15 līdz 5 izguvēm sekundē ir parādījusi F1 rādītāja__3__objektu detektoram samazināšanos par 10% . Citiem vārdiem sakot, zemas izguves caurlaidības risinājumi var izraisīt kritisku informācijas zudumu, piemēram, noteikšanas zudumu video novērošanas lietojumprogrammās. [](javascript:void()) [](javascript:void()) Lai apmierinātu veiktspējas prasības ierobežotos malu tīklos, ir pieejamas divas galvenās metodes: modeļu saspiešana vai aparatūras paātrinājums. Modeļu saspiešana sastāv no neironu tīklu samazināšanas un optimizācijas līdz vieglai, bieži vien nepietiekamai, modeļa versijai. Standarta modeļu saspiešanas metodes ietver apgriešanu , t.i., nevajadzīgu parametru noņemšanu modelī, kvantifikāciju , t.i., piešķirtās atmiņas samazināšanu modeļa glabāšanai, un zināšanu destilāciju , t.i., mazāka neironu tīkla apmācību ar zināšanām, kas iegūtas no lielāka. Modeļu optimizācija prasa plašus projektēšanas centienus un var būt šķērslis modeļa precizitātei. Aparatūras paātrinājums malu ierīcēs ietver tādas aparatūras atrašanu, kas var būt gan energoefektīva, gan viegla, vienlaikus spējot veikt izguvi ar pietiekamu veiktspēju. Pastāv vairāki aparatūras veidi paātrinājumam malā, kas atšķiras pēc efektivitātes un specifiskuma, taču standarta apstrādes vienības nespēj apmierināt cerības, un speciāla aparatūra, piemēram, ASIC, ir atrasta kā nepraktiska un dārga . [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) DNN sadalīšana ir papildu metode izguves paātrināšanai, izmantojot esošo ierīču daudzveidību malu tīklos, lai sadalītu izguves aprēķinus – ko var izmantot atsevišķi vai kopā ar divām citām metodēm. DNN sadalīšana sastāv no neironu tīkla uzskatīšanas par cauruļvadu, kas jāsadala daļās, un šo daļu sadalīšanas malu ierīcēs. Šo daļu izvietojums pamatojas gan uz DNN, gan uz apakšējā tīkla raksturlielumiem. DNN sadalīšana balstās uz sadales punktu identifikāciju, kas ir modeļa grafika punkti, kurā modelis tiek atdalīts daļās. Darbības laikā daļas tiek izpildītas secīgi, katra nosūtot starpposma izguves rezultātus nākamajai daļai. Tas ļauj katrai daļai sākt apstrādāt nākamos ievades datus, kamēr citas ierīces turpina apstrādāt pārsūtīto, tādējādi uzlabojot izguves caurlaidību, kā parādīts  . Šajā rakstā DNN sadalīšana tiek ilustrēta, izmantojot reāllaika izguves piemēru video straumēs. 1. attēlā A. Saistītie Darbi Metodes DNN sadalīšanai, kas izriet no mobilās malas-mākoņa novirzīšanas, cenšas optimizēt dažādus veiktspējas rādītājus, piemēram, aprēķinu latentumu, enerģijas patēriņu, resursu izmantošanu, izmaksas vai caurlaidību. DNN sadalīšana balstās uz viena vai vairāku šo rādītāju asociāciju, lai definētu optimizācijas mērķi, un metodi, kas izmanto šo rādītāju, lai atrastu sadalīšanas shēmas. Piemēram, Neurosurgeon   meklē vienu sadales punktu, turot pirmo daļu malā un novirzot otro daļu uz mākoņiem, lai samazinātu latentumu un enerģijas patēriņu. Lietojumprogrammas IoT arī ir apsvērušas vairāku DNN kopīgu sadalīšanu un novirzīšanu, lai optimizētu enerģiju, aizkavi un/vai izmaksas, izmantojot dažādus risinātājus, piemēram, SPSO-GA   apvienojot daļiņu baru optimizāciju (PSO) un ģenētisko algoritmu (GA), vai DDPQN   kas izmanto dziļo pastiprinātās apmācības, lai atrastu sadalīšanas shēmas. Citi piemēri ietver DINA  , kas definē veselu nelineāro programmēšanas (INLP) problēmu un izmanto uz saskaņošanas teorijas balstītu risinātāju, lai optimizētu aizkavi un resursu izmantošanu miglas tīklos. Metodes, kas optimizē izguves caurlaidību, ietver DNN ķirurģiju  , kas izmanto starpposma DNN slāņu izeju mazāko izmēru, lai sadalītu izguves aprēķinus starp malu un mākoņiem. Abi algoritmi izveido divas daļas, viena malā, otra mākonī. Citos darbos mobilās malas-mākoņa jomā   tiek iekļauta arī daudzsvītru apstrāde mākonī, lai tālāk paātrinātu kopējo izguves caurlaidību. Balstīšanās uz mākoņiem otrai daļai izguves aprēķināšanai pieņem labu tīkla savienojamību, kas var būt nenoteikta ar sliktu savienojamību dažos izolētos malu risinājumos. Edgent   pielāgo iepriekšējo metodiku mobilajām ierīcēm un pieejamajiem malu serveriem, atslābinot novirzīšanas uz mākoņiem saistību. Šī metode ir saistīta ar konkrētu apmācību un modeļa arhitektūru, un joprojām ierobežo sadalīšanu līdz divām daļām. Citas metodes ir apsvērušas vairākus sadales punktus, piemēram, IONN  , kas apraksta sadalīšanas problēmu, lai samazinātu latentumu un enerģijas patēriņu, arī ņemot vērā laiku modeļu augšupielādei uz malu serveriem. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Šīs metodes vai nu mijiedarbojas ar attāliem mākoņiem, vai ir ierobežotas sadalīšanas rakstura ziņā, piemēram, prasot sadalīt tieši divās daļās, ar vai bez daudzsvītru. Neviens no uzskaitītajiem DNN sadalīšanas pētījumiem neņem vērā gan vairākus sadales punktus, gan daudzsvītru. B. Ieguldījumi Šajā rakstā tiek iepazīstināta sadalīta izguves sistēma, lai maksimāli palielinātu reāllaika DNN aprēķinu izguves caurlaidību straumētiem datiem, ar vairākiem sadales punktiem un daudzsvītru sadalīšanu. Šī raksta ieguldījumi ir šādi: 
 
 
 
 
 
 Modelis sadalītu DNN aprēķinu un pārraides latentumu aprēķināšanai, ar kura palīdzību var novērtēt noteiktas sadalīšanas shēmas paredzamo izguves caurlaidību. Optimizācijas problēmas formulēšana DNN sadalīšanai, zaru un robežu risinātāja ieviešana šai problēmai un tās sarežģītības novērtēšana. Simulācijas, lai izpētītu iespējamos veiktspējas uzlabojumus, mainot tīkla un DNN īpašības. Noteiktu reģionu identifikācija tīkla un DNN īpašībās, kas noved pie optimālu sadalījumu pastāvēšanas un risinājumu aprēķināšanas izmaksām, t.i., nosacījumi, ar kuriem DNN sadalīšana ir izdevīga. Eksperimentālie rezultāti, kas ilustrē simulācijās definētos reģionus, kā arī paredzējumu precizitāti un galīgo izguves caurlaidības paātrinājumu homogēnos un heterogēnos vidēs. Turpmākajā šajā rakstā, lai izvairītos no neskaidrības, sadalītais dziļais neironu tīkls tiks apzīmēts kā  , un termins   apzīmēs apakšējo fizisko sakaru tīklu. DNN tīkls C. Raksta Izklāsts Turpmākais šis raksts ir organizēts šādi.    iepazazina ar dziļās apmācības fona informāciju un to, kā DNN tiek attēlotas šajā pētījumā.    detalizē izguves un pārraides latentuma prognozēšanas metodes, kas nepieciešamas   , kurā definēta optimizācijas problēma, kā arī zaru un robežu algoritms, lai pieņemtu sadalīšanas lēmumus.    iepazazina ar simulācijas rezultātiem, lai kvantificētu zaru un robežu algoritma veiktspēju un sarežģītību, kā arī nosacījumiem, kas noved pie sadalījuma pastāvēšanas, kas uzlabo izguves caurlaidību homogēnā tīklā.    iepazazina ar eksperimentālu rezultātu, kas apstiprina   simulācijas, un parāda izguves caurlaidības uzlabojumus uz heterogēnas eksperimentālas uzstādījuma. Visbeidzot,    apspriež rezultātus un paplašina šīs metodes plašāku piemērojamību. II. sadaļa III. sadaļa IV. sadaļai V. sadaļa VI. sadaļa V. sadaļas VII. sadaļa II. SADAĻA. Fons: Dziļā Apmācība Mašīnmācīšanās jomā Dziļā Apmācība (DL) attiecas uz metodēm, kas balstās uz DNN izmantošanu, t.i., mākslīgiem neironu tīkliem (vai saistītām mašīnmācīšanās metodēm), kas satur vairāk nekā vienu slēpto slāni. Viens no agrākajiem dziļās apmācības arhitektūru atsauces tika publicēts 1967. gadā  , taču tikai 2010. gados DL ieguva popularitāti, vispirms runas atpazīšanā, pēc tam objektu noteikšanā attēlos, pateicoties spējai uztvert sarežģītas attiecības augstas dimensijas datos. Tiek lēsts, ka 2022. gadā DL veidos lielāko daļu MI lietojumprogrammu, vairāk nekā 75% organizāciju izmantojot DNN lietojumprogrammām, kuras varētu izmantot klasiskās metodes.  DL metodes ir definētas kā “   ”  . Šīs algebriskās ķēdes parasti ir sakārtotas pa slāņiem, kas veido aprēķinu soļus. Termins   attiecas uz algoritmiem, kas sastāv no vairāk nekā viena slāņa. [](javascript:void()) 4 mašīnmācīšanās metodes, kurās hipotēzes pieņem sarežģītu algebrisku ķēžu veidā ar regulējamām savienojuma stiprumiem [](javascript:void()) dziļš Pastāv divas galvenās DNN struktūras: uz priekšu vērsti neironu tīkli un rekurentie neironu tīkli. Abi DNN veidi var tikt attēloti kā aprēķinu grafiki, ar galveno atšķirību, ka uz priekšu vērsti tīkli var tikt attēloti kā tieši akliķiskie grafiki (DAG), savukārt rekurentie neironu tīkli var saturēt ciklus. Rekurentie neironu tīkli ir veidoti datu secībām, kur katram datu punktam var būt atkarība no iepriekšējiem datu punktiem secībā, savukārt uz priekšu vērsti neironu tīkli neņem vērā mijiedarbību starp datu secības punktiem. Turpmākajā šajā rakstā tiks apskatīts uz priekšu vērstu DNN gadījums. 5 III. SADAĻA. Sadala Izguves Modelēšana Šajā sadaļā tiek iepazīstināts modelis DNN un tīkla īpašību attēlošanai, lai prognozētu aprēķinu latentumus, pārraides latentumus un galīgo izguves caurlaidību noteiktai sadalīšanas risinājumam. A. DNN un Tīkla Attēlojums Uz priekšu vērsts N slāņu DNN tiek modelēts kā DAG G =(L,E) , kur L=(L ,…,L ) ir DNN slāņi. Malas (L ,L )∈E ir savienojumi starp slāņiem L  un L  . Katram slānim L  ir piešķirts aprēķinu patēriņš c  , kas mērīts peldošā punkta operāciju skaitā, kas nepieciešams, lai aprēķinātu tiešo pāreju caur slāni. Malām (L ,L ) tiek piešķirta svars s  , kas atbilst datu izmēram, kas pāriet starp slāņiem L  un L  baitos. A 1 L i j i j i i i j i,j i j Fiziskais tīkls tiek modelēts kā pilnībā savienots grafs G=(N,V) , kurā N=(N ,…,N ) ir aprēķinu mezglu kopa un V ir saišu kopa starp mezgliem. Tiek pieņemts, ka aprēķinu mezgliem N ,…,N  ir apstrādes ātrumi η ,…,η  , kas mērīti peldošā punkta operācijās sekundē. Visbeidzot, saišu caurlaides spēja starp diviem blakus esošiem mezgliem N  un N  tiek apzīmēta kā θ  , kas mērīta baitos sekundē. Katrs mezgls N  ir savienots ar sevi ar bezgalīgu caurlaides spēju, lai attēlotu cilpas saiti, un saites tiek pieņemtas kā simetriskas, t.i., θ =θ  . 1 N 1 N 1 N a b a,b i a,b b,a Sadalījumi tiek definēti kā kartējumi P: L→N , t.i., sadalījums piešķir mezgla numuru katram slānim DNN. Sadalījumu var aprakstīt kā matricu P izmērā (N×L) , N esot mezglu skaitam tīklā un L esot DNN slāņu skaitam, un ar P =1 , ja slānis L  atrodas mezglā N  , pretējā gadījumā 0. Ar piemērā sniegto attēlu  , L=7 slāņi un N=2 aprēķinu mezgli, attēlotais sadalījums ar slāņiem {L ,L ,L ,L ,L } mezglā N  , un slāņiem {L ,L } mezglā N  , tiek attēlots kā: a,i i a 2. attēlā 1 2 3 6 7 1 4 5 2 Dotā sadalījuma gadījumā   tiek definēta kā secīgu slāņu grupa starp diviem sadalījumiem, kas izpildīta secīgi tajā pašā mezglā. Iepriekš minētajā piemērā mezgls N  veiks divas svītstrugas, pirmā saturēs slāņus {L ,L ,L } , un otrā saturēs {L ,L } . svītstruga 1 1 2 3 6 7 Ar šīm definētajām notācijām, šīs sadaļas turpinājumā tiek atvasināta slēgta izteiksme izguves caurlaidībai, ko sasniedz noteikta sadalījuma, kā funkcija no izguves ( ) un pārraides ( ) latentumiem. III-B sadaļa III-C sadaļa B. Izguves Latentuma Prognozēšana Dotā sadalījuma gadījumā šajā sadaļā tiek aplūkots izguves latentuma prognozēšana izolētā mezglā. Latentums, ko izraisa slāņa L  aprēķins ar patēriņu c  , kas jāaprēķina uz mezgla N  , ar apstrādes ātrumu η  , tiek izteikts kā T (N )=c /η  . Dotajā slāņu kopā L′⊂L , kas darbojas visās svītstruģās uz mezgla N  ar apstrādes ātrumu η  , izguves latentumu var izteikt kā: i i a a ci a i a a a Šis izteikums ir pirmās kārtas tuvinājums izguves latentuma novērtējumam, kas balstīts uz peldošā punkta operāciju (FLOPs) skaitu, kas nepieciešams DNN apstrādei, t.i., reizināšanas-pievienošanas operāciju skaitu modelī. Izguves latentuma novērtēšana malu ierīcēs ir sarežģīta sakarā ar darbības laika optimizācijām. Esošie risinājumi, piemēram, nn-Meter   , prognozē izguves latentumu, pamatojoties uz FLOPs. Citi risinājumi balstās uz meklēšanas tabulu ar iepriekš aprēķinātiem izguves laikiem latentuma izguvei. Piemēram, BRP-NAS   izmanto iepriekš apmācītu grafisko konvolūciju tīklu, lai prognozētu izguves latentumu, vienlaikus ņemot vērā darbības laika modeļu optimizācijas. [](javascript:void()) [](javascript:void()) 1. vienādojumā  tālāk tiek pieņemts, ka procesori izmanto savu pilnu jaudu, kas nozīmē, ka daudzkodolu procesori tiek modelēti kā viena kodola procesori ar apstrādes ātrumu, kas vienāds ar viņu kodolu apstrādes ātrumu summu. Tiek arī pieņemts, ka aprēķinu resurss tiek vienmērīgi sadalīts starp svītstruģām, t.i., procesors piešķir vienādu daļu sava laika katrai svītstruģai. vienādojumā 1 Visos mezglos svītstruga ar vislielāko latentumu nosaka izguves caurlaidību sadalītajam DNN. Neņemot vērā pārraides latentumu, tas nozīmē, ka pēc tam, kad šī ierobežojošā svītstruga ir pabeigusi datu karkasa apstrādi, tā tieši sāk apstrādāt nākamo. Citas svītstruģas pirms nākamā datu karkasa apstrādes būs dīkstāvē, jo to izguves latentums ir zemāks par šo maksimālo latentumu, kā parādīts  . 1. attēlā Dotajai sadalījuma matricai P , izguves latentumu var izteikt kā vienu vektoru T  izmērā N , kur a -ais c

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Cisco Systems

Šis audio ir izveidots stāsta oriģinālvalodā!

Kāpēc jūsu AI vairs nav nepieciešams mākonis, lai darbotos ātrāk

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps