Pou ou AI pa bezwen Cloud la ankò pou l' kouri pi vit

```html Autors: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Resum: La inferència de xarxes neuronals profundes (DNN) en dades de flux requereix recursos computacionals per satisfer els requisits de rendiment d'inferència. No obstant això, les aplicacions d'aprenentatge profund sensibles a la latència i a la privadesa no es poden permetre descarregar la computació a núvols remots a causa del cost de transmissió implícit i la manca de confiança en proveïdors de núvols de tercers. Entre les solucions per augmentar el rendiment mantenint la computació en un entorn restringit, l'acceleració de maquinari pot ser onerosa, i l'optimització del model requereix un gran esforç de disseny, alhora que perjudica la precisió. La partició de DNN és un tercer enfocament complementari, i consisteix a distribuir la càrrega de treball d'inferència entre diversos dispositius de vora disponibles, tenint en compte les propietats de la xarxa de vora i l'estructura de la DNN, amb l'objectiu de maximitzar el rendiment d'inferència (nombre d'inferències per segon). Aquest article introdueix un mètode per predir les latències d'inferència i transmissió per a desplegaments de DNN distribuïts multithread, i defineix un procés d'optimització per maximitzar el rendiment d'inferència. A continuació, es presenta i analitza un solucionador de branca i límit per quantificar el rendiment i la complexitat assolits. Aquesta anàlisi ha portat a la definició de la regió d'acceleració, que descriu les condicions deterministes sobre les propietats de la DNN i la xarxa sota les quals la partició de DNN és beneficiosa. Finalment, els resultats experimentals confirmen les simulacions i mostren millores en el rendiment d'inferència en desplegaments de vora de mostra. La partició de DNN a la vora permet l'acceleració del rendiment d'inferència, alhora que redueix l'ús de l'amplada de banda i la latència als servidors centralitzats, per exemple, al núvol. Introducció Els dispositius connectats van generar un estimat de 2,5 quintillions de bytes de dades cada dia el 2020. En aquest context, la Intel·ligència Artificial (IA) és una de les tecnologies que millor pot fer front a la quantitat sempre creixent de dades produïdes, en una sèrie de camps com la detecció d'objectes en visió per computador, el reconeixement facial, el reconeixement de veu, el processament del llenguatge natural o la conducció autònoma. La IA, i específicament l'Aprenentatge Profund (DL), requereix, a més de grans quantitats de dades, capacitats significatives de potència de processament i memòria, cosa que converteix la computació al núvol en la solució d'allotjament de fet per a les càrregues de treball d'IA. Conseqüentment, el 2019, el 96% de les tasques d'IA es van executar al núvol. 1 2 Les aplicacions d'IA poden tenir fortes restriccions de latència, p. ex., en la conducció autònoma, el monitoratge de fabricació o qualsevol inferència en temps real que impliqui una interacció amb el món real. Per exemple, es requereixen temps de resposta mitjans en la conducció autònoma inferiors a 100 mil·lisegons , cosa que fa que els temps de viatge d'anada i tornada al núvol siguin massa llargs per a aquestes aplicacions. De la mateixa manera, algunes aplicacions poden introduir un ús significatiu de l'enllaç a la xarxa, p. ex., en el cas del processament de vídeo d'alta qualitat en visió per computador, cosa que impedeix que s'executin al núvol. Les polítiques de privadesa de dades o les regulacions de protecció de dades també poden prohibir que les dades surtin d'entorns específics. Això fomenta els desplegaments d'IA en computació de vora, que consisteix a reubicar tasques de computació dels centres de dades més a prop dels dispositius de vora, és a dir, en proximitat a les fonts de dades. [[1]](javascript:void()) En comparació amb els núvols públics, la vora és un entorn amb recursos limitats i limitacions importants , i el desenvolupament d'IA per a la vora és, per tant, intrínsecament diferent del desenvolupament d'IA per al núvol. L'anàlisi de dades a prop de la seva font pot ser un repte a causa de les capacitats més baixes dels dispositius, la inelasticitat dels recursos disponibles i l'heterogeneïtat de les xarxes de vora. Reduir la capacitat de computació implica reduir el rendiment d'inferència assolible, cosa que complica encara més la reubicació de càrregues de treball pesades del núvol a la vora. En algunes aplicacions, el rendiment d'inferència, és a dir, les inferències assolibles per segon d'una DNN, pot estar vinculat a la precisió de la DNN, p. ex., amb el seguiment d'objectes en fluxos de vídeo, on la reducció de la taxa d'inferència de 15 a 5 inferències per segon ha demostrat reduir la puntuació F1__3__ d'un detector d'objectes en un 10% . En altres paraules, els desplegaments amb baix rendiment d'inferència poden causar una pèrdua d'informació crítica, p. ex., pèrdua de deteccions en aplicacions de vigilància per vídeo. [[2]](javascript:void()) [[3]](javascript:void()) Hi ha dos mètodes principals disponibles per complir els requisits de rendiment en xarxes de vora restringides: compressió de models o acceleració de maquinari. La consisteix a reduir i optimitzar les xarxes neuronals a una versió lleugera, sovint amb baix rendiment, del model. Els mètodes estàndard de compressió de models inclouen la poda , és a dir, la eliminació de paràmetres innecessaris al model, la quantificació , és a dir, la reducció de la memòria assignada per emmagatzemar el model, i la destil·lació de coneixement , és a dir, l'entrenament d'una xarxa neuronal més petita amb coneixements extrets d'una més gran. L'optimització del model requereix un gran esforç de disseny i pot ser un impediment per a la precisió del model. L' en els dispositius de vora implica trobar maquinari que sigui eficient energèticament i lleuger, alhora que sigui capaç d'executar inferències amb un rendiment suficient. Hi ha diversos tipus de maquinari candidats per a l'acceleració a la vora, que varien en eficiència i especificitat, però les unitats de processament estàndard no compleixen les expectatives i el maquinari dedicat com els ASIC s'ha trobat poc pràctic i car . compressió de models [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) acceleració de maquinari [[7]](javascript:void()) La partició de DNN és un mètode complementari per accelerar la inferència aprofitant la multiplicitat de dispositius existents a les xarxes de vora per distribuir el càlcul d'inferència, que es pot utilitzar sol, o en conjunció amb els altres dos mètodes. La partició de DNN consisteix a considerar una xarxa neuronal com una canalització per segmentar en particions i distribuir aquestes particions en dispositius de vora. La col·locació d'aquestes particions es basa tant en la DNN com en les característiques de la xarxa subjacent. La partició de DNN es basa en la identificació de punts de divisió, que són punts en el gràfic del model on el model es separa en particions. Durant el temps d'execució, les particions s'executen seqüencialment, i cada una envia resultats d'inferència intermediaris a la següent partició. Això permet que cada partició comenci a calcular les dades d'entrada següents mentre els altres dispositius continuen processant la descarregada, millorant així el rendiment d'inferència, com es mostra a la . En la resta d'aquest article, la partició de DNN s'il·lustra mitjançant l'exemple d'inferència en temps real en fluxos de vídeo. figura 1 A. Treball Relacionat Els mètodes per a la partició de DNN, derivats de la descàrrega de computació de núvols mòbils, busquen optimitzar diversos indicadors de rendiment, com ara la latència de computació, el consum d'energia, l'ús de recursos, el cost o el rendiment. La partició de DNN es basa en l'associació d'una o diverses d'aquestes mètriques per definir un objectiu d'optimització i un mètode que exploti aquesta mètrica per trobar esquemes de partició. Per exemple, Neurosurgeon busca un únic punt de divisió, mantenint la primera partició a la vora i descarregant la segona partició al núvol, per minimitzar la latència i el consum d'energia. Les aplicacions en IoT també han considerat la partició i descàrrega conjunta de diverses DNN per optimitzar l'energia, el retard i/o el cost, utilitzant diferents solucionadors com SPSO-GA que combina l'Optimització per Enxams de Partícules (PSO) i Algoritmes Genètics (GA), o DDPQN que utilitza Aprenentatge per Reforçament Profund per trobar esquemes de partició. Altres exemples inclouen DINA , que defineix un problema de Programació No Lineal Entera (INLP) i utilitza un solucionador basat en teoria de coincidència per optimitzar el retard i l'ús de recursos a les xarxes de boira. Els mètodes que optimitzen el rendiment d'inferència inclouen la cirurgia de DNN , que utilitza la mida més petita de les sortides de les capes intermèdies de DNN per particionar el càlcul d'inferència entre la vora i el núvol. Tots dos algoritmes creen dues particions, una a la vora i l'altra al núvol. Altres estudis en el camp de la computació de núvols mòbils també inclouen computació multithread al núvol per accelerar encara més el rendiment global d'inferència. Confiar en el núvol per al càlcul de la segona partició d'inferència assumeix una bona connectivitat de xarxa, cosa que pot ser incerta amb la connectivitat deficient d'alguns desplegaments de vora aïllats. Edgent adapta la metodologia anterior a dispositius mòbils i servidors de vora disponibles, relaxant la restricció de descarregar al núvol. Aquest mètode està vinculat a un entrenament i arquitectura de model específics, i encara limita la partició a dues particions. Altres mètodes han considerat múltiples punts de divisió, p. ex., IONN , que descriu el problema de la partició per minimitzar la latència i el consum d'energia, tenint també en compte el temps per pujar els models als servidors de vora. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Aquests mètodes interactuen amb núvols remots o estan limitats en la naturalesa de la partició, p. ex., es requereix dividir en exactament dues parts, amb o sense multithreading. Cap dels estudis de partició de DNN enumerats no considera tant múltiples punts de divisió com multithreading. B. Contribucions Aquest article presenta un marc d'inferència distribuïda per maximitzar el rendiment d'inferència del càlcul de DNN en temps real en dades de flux, amb múltiples punts de divisió i partició multithread. Les contribucions d'aquest article són les següents: Un model per a les latències de computació i transmissió d'una DNN distribuïda, a través del qual es pot estimar el rendiment d'inferència esperat d'un esquema de partició donat. Formulació del problema d'optimització per a la partició de DNN, implementació d'un solucionador de branca i límit per a aquest problema i avaluació de la seva complexitat. Simulacions per explorar les possibles millores de rendiment amb propietats variables de xarxa i DNN. La identificació de regions deterministes en les propietats de la xarxa i la DNN que condueixen a l'existència de particions òptimes i el cost de calcular aquestes solucions, és a dir, les condicions sota les quals la partició de DNN és beneficiosa. Resultats experimentals que il·lustren les regions definides en les simulacions, així com la precisió de la predicció i l'acceleració final del rendiment d'inferència per a entorns homogenis i heterogenis. Per a la resta d'aquest article, per evitar confusions, la xarxa neuronal profunda particionada es referirà com a , i el terme denotarà la xarxa de comunicacions física subjacent. DNN xarxa C. Esquemal del Treball La resta d'aquest article s'organitza de la manera següent. La presenta els antecedents de l'Aprenentatge Profund i com es representen les DNN en aquest estudi. La detalla els mètodes de predicció de latència d'inferència i transmissió requerits per a la que defineix el problema d'optimització, així com l'algorisme de branca i límit per prendre decisions de partició. La presenta resultats de simulació per quantificar el rendiment i la complexitat de l'algorisme de branca i límit, així com les condicions que condueixen a l'existència d'una partició que millora el rendiment d'inferència en una xarxa homogènia. La presenta resultats experimentals que confirmen les simulacions de la , i mostra millores en el rendiment d'inferència en una configuració experimental heterogènia. Finalment, la discuteix els resultats i s'amplia sobre la més àmplia aplicabilitat d'aquest mètode. secció II secció III secció IV secció V secció VI secció V secció VII SECCIÓ II. Antecedents: Aprenentatge Profund Dins del camp de l'Aprenentatge Automàtic, l'Aprenentatge Profund (DL) es refereix a mètodes que es basen en l'ús de DNN, és a dir, xarxes neuronals artificials (o mètodes d'aprenentatge automàtic relacionats) que contenen més d'una capa oculta. Una de les primeres referències a arquitectures d'aprenentatge profund es va publicar el 1967 , però no va ser fins als anys 2010 que el DL va guanyar tracció, primer en el reconeixement de veu, després en la detecció d'objectes en imatges, per la capacitat de capturar relacions complexes en dades d'alta dimensionalitat. Es calcula que l'Aprenentatge Profund representa la majoria d'aplicacions d'IA el 2022, amb més del 75% de les organitzacions que utilitzen DNN per a aplicacions que podrien utilitzar mètodes clàssics. Els mètodes de DL s'han definit com a "tècniques d'aprenentatge automàtic en què les hipòtesis tenen la forma de circuits algebraics complexos amb forces de connexió ajustables" . Aquests circuits algebraics s'organitzen normalment en capes, que formen passos en la computació. El terme es refereix a algorismes que consisteixen en més d'una capa. [[16]](javascript:void()) 4 [[17]](javascript:void()) profund Hi ha dues estructures principals de DNN: xarxes neuronals feed-forward i xarxes neuronals recurrents. Ambdues tipus de DNN es poden representar com a gràfics de computació, amb la diferència principal que les xarxes feed-forward es poden representar com a gràfics acíclics dirigits (DAG), mentre que les xarxes neuronals recurrents poden contenir cicles. Les xarxes neuronals recurrents estan construïdes per a seqüències de dades, on cada punt de dades té una dependència potencial amb punts de dades anteriors en la seqüència, mentre que les xarxes neuronals feed-forward no consideren interaccions entre punts d'una seqüència de dades. La resta d'aquest article considerarà el cas de DNN feed-forward. 5 SECCIÓ III. Modelatge d'Inferència Distribuïda Aquesta secció presenta un model per representar les propietats de la DNN i la xarxa per tal de predir les latències de computació, les latències de transmissió i el rendiment final d'inferència d'una solució de partició donada. A. Representació de DNN i Xarxa Una DNN feed-forward de N capes es modela com un DAG GA=(L,E) amb L=(L1,…,LL) les capes de la DNN. Les arestes (Li,Lj)∈E són les connexions entre les capes Li i Lj . Cada capa Li té un consum de computació associat ci , mesurat en el nombre d'operacions de punt flotant requerides per computar un pas endavant a través de la capa. Les arestes (Li,Lj) tenen assignat un pes si,j que correspon a la mida de les dades que transiten entre les capes Li i Lj en bytes. La xarxa física es modela com un graf completament connectat G=(N,V) on N=(N1,…,NN) és el conjunt de nodes de computació i V és el conjunt d'enllaços entre nodes. S'assumeix que els nodes de computació N1,…,NN tenen taxes de processament η1,…,ηN , respectivament, mesurades en operacions de punt flotant per segon. Finalment, el rendiment de l'enllaç entre dos nodes adjacents Na i Nb es denota com θa,b , mesurat en bytes per segon. Cada node Ni està connectat a si mateix amb un rendiment infinit per representar l'enllaç de bucle posterior, i s'assumeix que els enllaços són simètrics, és a dir, θa,b=θb,a . Les particions es defineixen com a mapes P:L→N , és a dir, una partició assigna un número de node a cada capa de la DNN. Una partició es pot descriure com una matriu P de dimensió (N×L) , N és el nombre de nodes a la xarxa i L el nombre de capes de la DNN i, amb Pa,i=1 si la capa Li es col·loca al node Na , 0 en cas contrari. Amb l'exemple donat a la , L=7 capes i N=2 nodes de computació, la partició mostrada amb les capes {L1,L2,L3,L6,L7} al node N1 , i les capes {L4,L5} al node N2 , es representa com: figura 2 Donada una partició, un es defineix com un grup de capes consecutives entre dos punts de divisió, executat seqüencialment al mateix node. En l'exemple anterior, el node N1 executarà dos fils, el primer contindrà les capes {L1,L2,L3} i el segon {L6,L7} . thread Amb aquestes notacions definides, la resta d'aquesta secció deriva una expressió tancada del rendiment d'inferència aconseguit per una partició donada, com a funció de les latències d'inferència ( ) i transmissió ( ). secció III-B secció III-C B. Predicció de Latència d'Inferència Donada una partició, aquesta secció analitza la predicció de latència d'inferència en un node aïllat. La latència induïda per la computació d'una capa Li amb consum ci , que s'ha de computar al node Na , amb taxa de processament ηa s'expressa com Tci(Na)=ci/ηa . Donat un conjunt de capes L′⊂L entre tots els fils que s'executen al node Na amb taxa de processament ηa , la latència d'inferència es pot expressar com: Aquesta expressió és una aproximació de primer ordre d'una estimació de latència d'inferència basada en el nombre d'operacions de punt flotant (FLOPs) requerides per processar la DNN, és a dir, el nombre d'operacions de multiplicació-suma al model. L'estimació de la latència d'inferència en dispositius de vora es complica per les optimitzacions en temps d'execució. Solucions existents com nn-Meter prediuen la latència d'inferència basant-se en FLOPs. Altres solucions es basen en una taula de cerca amb temps d'inferència pre-calculats per a la inferència de latència. Per exemple, BRP-NAS utilitza una xarxa neuronal convolucional pre-entrenada per predir latències d'inferència, tenint en compte les optimitzacions del model en temps d'execució. [[18]](javascript:void()) [[19]](javascript:void()) A l' , s'assumeix a més que els processadors utilitzen la seva capacitat completa, cosa que implica que els processadors multinucli es modelen com a processadors d'un sol nucli amb una taxa de processament igual a la suma de les seves taxes de processament per nucli. També s'assumeix que el recurs de computació es comparteix uniformement entre els fils, és a dir, un processador assigna la mateixa proporció del seu temps a cada fil. equació 1 A través de tots els nodes, el fil amb la latència més alta estableix el rendiment d'inferència per a la DNN distribuïda. Ometent les latències de transmissió, això implica que un cop aquest fil limitador ha acabat de computar un marc de dades, comença directament a processar el següent. Altres fils tindran temps d'inactivitat abans de processar el següent marc de dades perquè la seva latència d'inferència és inferior a aquesta latència màxima, com es mostra a la . figura 1 Donada una matriu de partició P , les latències d'inferència es poden expressar com un únic vector Tc de mida N on el a-èssim component és la latència més alta del fil d'inferència al node Na , és a dir, Tca=Tc(Na) : on H és la matriu diagonal de taxes de processament inverses dels nodes diag(η−11,…,η−1N) i c és el vector columna dels consums individuals de capa (c1,…,cL) . C. Predicció de Latència de Transmissió La latència de transmissió es pot predir de la següent manera: el temps que triga a enviar la quantitat de dades si,j entre les capes Li i Lj a l'enllaç (Na,Nb) a través d'un enllaç amb un rendiment mesurat θa,b és Tti,j(Na,Nb)=si,j/θa,b . El temps per aconseguir transferències de dades si,j∈E′⊂E a través de l'enllaç (Na,Nb) és: De manera similar a la predicció de latència d'inferència, això implica que els enllaços es comparteixen uniformement entre les transferències de dades de Na a Nb . La predicció de latència de transmissió es basa en l'estimació del rendiment de l'enllaç entre nodes, més precisament el , és a dir, la quantitat de dades útils transmeses per segon. goodput De manera similar a l'estimació de latència d'inferència, aquesta és una aproximació de primer ordre, que ofereix eficaçment bons resultats de predicció, com es mostra a la c, amb un coeficient de correlació de R2=0.9998 . L'inconvenient d'aquest mètode és el seu requisit de saturar els enllaços per obtenir una estimació del rendiment. figura 3 Donada una matriu de partició P , la matriu de latència de transmissió Tt es pot definir com una matriu quadrada de mida L , amb Tta,b=Tt(Na,Nb) : on ° és el producte terme a terme, o producte Hadamard, Θ és la matriu inversa de rendiment, és a dir, una matriu quadrada de mida N amb Θa,b=θ−1a,b i S és la matriu de mida de transmissió, és a dir, una matriu quadrada de mida L amb Si,j=si,j si Li envia dades a Lj , 0 en cas contrari. SECCIÓ IV. Partició de DNN L'objectiu de la partició de DNN en aquest estudi és maximitzar el rendiment d'inferència, denotat per C , que correspon a l'invers de la latència màxima entre totes les diferents latències de computació i transmissió. Donada una partició P , el rendiment d'inferència es defineix com: Maximitzar el rendiment d'inferència equival a trobar el mínim-màxim conjunt entre tots els termes de Tc