Per què la teva IA ja no necessita el núvol per funcionar més ràpid

```html Autors: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Resum: La inferència de xarxes neuronals profundes (DNN) sobre dades de streaming requereix recursos de computació per satisfer els requisits de rendiment d'inferència. No obstant això, les aplicacions d'aprenentatge profund sensibles a la latència i a la privadesa no es poden permetre descarregar la computació al núvol remot a causa del cost de transmissió implícit i la manca de confiança en proveïdors de núvol de tercers. Entre les solucions per augmentar el rendiment mantenint la computació en un entorn restringit, l'acceleració de maquinari pot ser onerosa i l'optimització del model requereix esforços de disseny extensos alhora que obstaculitza la precisió. La partició de DNN és un tercer enfocament complementari, i consisteix a distribuir la càrrega de treball d'inferència entre diversos dispositius edge disponibles, tenint en compte les propietats de la xarxa edge i l'estructura de la DNN, amb l'objectiu de maximitzar el rendiment d'inferència (nombre d'inferències per segon). Aquest article introdueix un mètode per predir les latències d'inferència i transmissió per a desplegaments de DNN distribuïts multithread, i defineix un procés d'optimització per maximitzar el rendiment d'inferència. A continuació, es presenta i analitza un resolutor de branca i límit per quantificar el rendiment i la complexitat assolits. Aquesta anàlisi ha portat a la definició de la regió d'acceleració, que descriu condicions deterministes sobre les propietats de la DNN i la xarxa sota les quals la partició de DNN és beneficiosa. Finalment, els resultats experimentals confirmen les simulacions i mostren millores en el rendiment d'inferència en desplegaments edge de mostra. La partició de DNN a l'edge permet accelerar el rendiment d'inferència alhora que redueix l'ús de banda ampla i la latència als servidors centralitzats, per exemple, al núvol. Introducció Els dispositius connectats van generar uns 2,5 quintillons de bytes de dades cada dia el 2020. En aquest context, la intel·ligència artificial (IA) és una de les tecnologies que millor pot fer front a la quantitat sempre creixent de dades produïdes, en una gamma de camps com la detecció d'objectes en visió per ordinador, el reconeixement facial, el reconeixement de veu, el processament del llenguatge natural o la conducció autònoma. La IA, i específicament l'aprenentatge profund (DL), requereix, a més de grans quantitats de dades, capacitats significatives en potència de processament i memòria, cosa que fa que la computació al núvol sigui la solució d'allotjament de facto per a les càrregues de treball d'IA. Conseqüentment, el 2019, el 96% de les tasques d'IA es van executar al núvol. 1 2 Les aplicacions d'IA poden tenir restriccions de latència fortes, p. ex., en la conducció autònoma, el monitoratge de la fabricació o qualsevol inferència en temps real que impliqui una interacció amb el món real. Per exemple, es requereixen temps de resposta mitjans en la conducció autònoma inferiors a 100 mil·lisegons , cosa que fa que els temps de viatge d'anada i tornada al núvol siguin massa llargs per a aquestes aplicacions. De manera similar, algunes aplicacions poden introduir un ús de l'enllaç significatiu a la xarxa, p. ex., en el cas del processament de vídeo d'alta qualitat en visió per ordinador, cosa que els impedeix executar-se al núvol. Les polítiques de privadesa de dades o les regulacions de protecció de dades també poden prohibir que les dades surtin d'entorns específics. Això fomenta els desplegaments d'IA en l'edge computing, que consisteix a reubicar tasques de computació dels centres de dades més a prop dels dispositius edge, és a dir, a prop de les fonts de dades. [[1]](javascript:void()) En comparació amb els núvols públics, l'edge és un entorn amb recursos limitats i limitacions importants , i desenvolupar IA per a l'edge és, per tant, intrínsecament diferent de desenvolupar IA per al núvol. Analitzar dades a prop de la seva font pot ser un repte a causa de les capacitats més baixes dels dispositius, la inelasticitat dels recursos disponibles i l'heterogeneïtat de les xarxes edge. Reduir la capacitat de computació implica reduir el rendiment d'inferència assolible, cosa que complica encara més la reubicació de càrregues de treball pesades del núvol a l'edge. En algunes aplicacions, el rendiment d'inferència, és a dir, les inferències per segon assolibles d'una DNN, pot estar relacionat amb la precisió de la DNN, p. ex., amb el seguiment d'objectes en fluxos de vídeo, on reduir la taxa d'inferència de 15 a 5 inferències per segon ha demostrat reduir la puntuació F1__3__ d'un detector d'objectes en un 10% . En altres paraules, els desplegaments amb baix rendiment d'inferència poden causar pèrdua d'informació crítica, p. ex., pèrdua de deteccions en aplicacions de vigilància per vídeo. [[2]](javascript:void()) [[3]](javascript:void()) Hi ha dos mètodes principals disponibles per complir els requisits de rendiment en xarxes edge restringides: la compressió de models o l'acceleració de maquinari. La compressió de models consisteix a reduir i optimitzar xarxes neuronals a una versió lleugera i sovint de baix rendiment del model. Els mètodes estàndard de compressió de models inclouen la poda , és a dir, l'eliminació de paràmetres innecessaris del model, la quantificació , és a dir, la reducció de la memòria assignada per emmagatzemar el model, i la destil·lació del coneixement , és a dir, l'entrenament d'una xarxa neuronal més petita amb coneixement extret d'una més gran. L'optimització del model requereix esforços de disseny extensos i pot ser un impediment per a la precisió del model. L'acceleració de maquinari en dispositius edge implica trobar maquinari que sigui eficient energèticament i lleuger, alhora que sigui capaç d'executar inferències amb un rendiment suficient. Hi ha diversos tipus de maquinari candidat per a l'acceleració a l'edge, que varien en eficiència i especificitat, però les unitats de processament estàndard no compleixen les expectatives i el maquinari dedicat com els ASIC s'ha trobat poc pràctic i car . [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) [[7]](javascript:void()) La partició de DNN és un mètode complementari per accelerar la inferència aprofitant la multiplicitat de dispositius existents a les xarxes edge per distribuir la computació d'inferència, que es pot utilitzar sol o en combinació amb els altres dos mètodes. La partició de DNN consisteix a considerar una xarxa neural com un pipeline per segmentar en particions i distribuir aquestes particions als dispositius edge. La col·locació d'aquestes particions es basa tant en la DNN com en les característiques de la xarxa subjacent. La partició de DNN es basa en la identificació de punts de divisió, que són punts en el gràfic del model on el model es separa en particions. Durant el temps d'execució, les particions s'executen seqüencialment, cadascuna enviant resultats d'inferència intermedis a la següent partició. Això permet que cada partició comenci a processar les següents dades d'entrada mentre els altres dispositius continuen processant la descarregada, millorant així el rendiment d'inferència, com es mostra a la figura 1. En la resta d'aquest article, la partició de DNN s'il·lustra a través de l'exemple d'inferència en temps real en fluxos de vídeo. A. Treballs Relacionats Els mètodes de partició de DNN, derivats de la descàrrega edge-cloud mòbil, busquen optimitzar diversos indicadors de rendiment, com ara la latència de computació, el consum d'energia, la utilització de recursos, el cost o el rendiment. La partició de DNN es basa en l'associació d'una o diverses d'aquestes mètriques per definir un objectiu d'optimització i un mètode que exploti aquesta mètrica per trobar esquemes de partició. Per exemple, Neurosurgeon busca un únic punt de divisió, mantenint la primera partició a l'edge i descarregant la segona partició al núvol, per minimitzar la latència i el consum d'energia. Les aplicacions en IoT també han considerat la partició i descàrrega conjunta de diverses DNN per optimitzar energia, retard i/o cost, utilitzant diferents resolutors com SPSO-GA que combina l'optimització per colònia de partícules (PSO) i l'algorisme genètic (GA), o DDPQN que utilitza aprenentatge profund per reforç per trobar esquemes de partició. Altres exemples inclouen DINA , que defineix un problema de programació no lineal sencera (INLP) i utilitza un resolutor basat en teoria de jocs per optimitzar el retard i la utilització de recursos en xarxes fog. Els mètodes que optimitzen el rendiment d'inferència inclouen DNN surgery , que utilitza la mida més petita de les sortides de capes intermèdies de DNN per particionar el càlcul d'inferència entre l'edge i el núvol. Tots dos algorismes creen dues particions, una a l'edge i l'altra al núvol. Altres estudis en el camp del cloud-edge mòbil també inclouen computació multithread al núvol per accelerar encara més el rendiment d'inferència general. Confiar en el núvol per al càlcul d'inferència de la segona partició assumeix una bona connectivitat de xarxa, cosa que pot ser incert amb la connectivitat deficient d'alguns desplegaments edge aïllats. Edgent adapta la metodologia anterior a dispositius mòbils i servidors edge disponibles, relaxant la restricció de descarregar al núvol. Aquest mètode està vinculat a un entrenament i arquitectura de model específics, i encara limita la partició a dues particions. Altres mètodes han considerat múltiples punts de divisió, p. ex., IONN , que descriu el problema de partició per minimitzar la latència i el consum d'energia, tenint també en compte el temps de càrrega dels models als servidors edge. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Aquests mètodes interactuen amb núvols remots o estan limitats en la naturalesa de la partició, p. ex., es requereix dividir en exactament dues parts, amb o sense multithreading. Ningú dels estudis de partició de DNN enumerats considera múltiples punts de divisió i multithreading alhora. B. Contribucions Aquest article presenta un framework d'inferència distribuïda per maximitzar el rendiment d'inferència del càlcul de DNN en temps real sobre dades de streaming, amb múltiples punts de divisió i partició multithread. Les contribucions d'aquest article són les següents: Un model per predir les latències de computació i transmissió d'una DNN distribuïda, a través del qual es pot estimar el rendiment d'inferència esperat d'un esquema de partició donat. Formulació del problema d'optimització per a la partició de DNN, implementació d'un resolutor de branca i límit per a aquest problema i avaluació de la seva complexitat. Simulacions per explorar les possibles millores de rendiment amb propietats variables de xarxa i DNN. La identificació de regions deterministes en les propietats de la xarxa i la DNN que condueixen a l'existència de particions òptimes i el cost de calcular aquestes solucions, és a dir, les condicions sota les quals la partició de DNN és beneficiosa. Resultats experimentals que il·lustren les regions definides en les simulacions, així com la precisió de la predicció i l'acceleració final del rendiment d'inferència per a entorns homogenis i heterogenis. Per a la resta d'aquest article, per evitar confusions, la xarxa neuronal profunda particionada es referirà com a DNN , i el terme xarxa denotarà la xarxa de comunicacions física subjacent. C. Esboç de l'Article La resta d'aquest article s'organitza com segueix. La Secció II presenta els antecedents de l'aprenentatge profund i com es representen les DNN en aquest estudi. La Secció III detalla els mètodes de predicció de latència d'inferència i transmissió requerits per a la Secció IV que defineix el problema d'optimització, així com l'algorisme de branca i límit per prendre decisions de partició. La Secció V presenta resultats de simulació per quantificar el rendiment i la complexitat de l'algorisme de branca i límit, així com les condicions que porten a l'existència d'una partició que millora el rendiment d'inferència en una xarxa homogènia. La Secció VI presenta resultats experimentals que confirmen les simulacions de la Secció V , i mostra millores en el rendiment d'inferència en una configuració experimental heterogènia. Finalment, la Secció VII discuteix els resultats i amplia l'aplicabilitat més àmplia d'aquest mètode. SECCIÓ II. Antecedents: Aprenentatge Profund Dins del camp de l'aprenentatge automàtic, l'aprenentatge profund (DL) es refereix a mètodes que es basen en l'ús de DNN, és a dir, xarxes neuronals artificials (o mètodes d'aprenentatge automàtic relacionats) que contenen més d'una capa oculta. Una de les primeres referències a arquitectures d'aprenentatge profund es va publicar el 1967 , però no va ser fins al 2010 que el DL va guanyar tracció, primer en el reconeixement de veu, després en la detecció d'objectes en imatges, per la capacitat de capturar relacions complexes en dades d'alta dimensionalitat. Es preveu que l'aprenentatge profund representi la majoria d'aplicacions d'IA el 2022, amb més del 75% de les organitzacions que utilitzen DNN per a aplicacions que podrien utilitzar mètodes clàssics. Els mètodes de DL s'han definit com a "tècniques d'aprenentatge automàtic en què les hipòtesis prenen la forma de circuits algebraics complexos amb forces de connexió ajustables" . Aquests circuits algebraics solen estar organitzats en capes, que formen passos en la computació. El terme profund es refereix a algorismes que consisteixen en més d'una capa. [[16]](javascript:void()) 4 [[17]](javascript:void()) Hi ha dues estructures principals de DNN: xarxes neuronals feed-forward i xarxes neuronals recurrents. Ambdues tipus de DNN es poden representar com a gràfics de computació, amb la principal diferència que les xarxes feed-forward es poden representar com a gràfics acíclics dirigits (DAG), mentre que les xarxes neuronals recurrents poden contenir cicles. Les xarxes neuronals recurrents estan construïdes per a seqüències de dades, on cada punt de dades té una dependència potencial amb punts de dades anteriors de la seqüència, mentre que les xarxes neuronals feed-forward no consideren interaccions entre punts d'una seqüència de dades. La resta d'aquest article considerarà el cas de DNN feed-forward. 5 SECCIÓ III. Modelatge d'Inferència Distribuïda Aquesta Secció presenta un model per representar les propietats de la DNN i de la xarxa per predir les latències de computació, les latències de transmissió i el rendiment final d'inferència d'una solució de partició donada. A. Representació de DNN i Xarxa Una DNN feed-forward de N capes es modela com un DAG GA=(L,E) amb L=(L1,…,LL) les capes de la DNN. Les arestes (Li,Lj)∈E són les connexions entre les capes Li i Lj. Cada capa Li té un consum de computació associat ci, mesurat en el nombre d'operacions de punt flotant requerides per computar un pas endavant a través de la capa. Les arestes (Li,Lj) tenen assignat un pes si,j corresponent a la mida de les dades que transiten entre les capes Li i Lj en bytes. La xarxa física es modela com un gràfic complet G=(N,V) on N=(N1,…,NN) és el conjunt de nodes de computació i V és el conjunt d'enllaços entre nodes. S'assumeix que els nodes de computació N1,…,NN tenen taxes de processament η1,…,ηN, respectivament, mesurades en operacions de punt flotant per segon. Finalment, el rendiment de l'enllaç entre dos nodes adjacents Na i Nb es denota com θa,b, mesurat en bytes per segon. Cada node Ni està connectat a si mateix amb un rendiment infinit per representar l'enllaç de loopback, i es suposa que els enllaços són simètrics, és a dir, θa,b=θb,a. Les particions es defineixen com a mapes P:L→N, és a dir, una partició assigna un número de node a cada capa de la DNN. Una partició es pot descriure com una matriu P de dimensió (N×L), N sent el nombre de nodes a la xarxa i L el nombre de capes de la DNN i, amb Pa,i=1 si la capa Li es col·loca al node Na, 0 en cas contrari. Amb l'exemple donat a la figura 2, L=7 capes i N=2 nodes de computació, la partició mostrada amb les capes {L1,L2,L3,L6,L7} al node N1, i les capes {L4,L5} al node N2, es representa com: Donada una partició, un thread es defineix com un grup de capes consecutives entre dos punts de divisió, executat seqüencialment al mateix node. En l'exemple anterior, el node N1 executarà dos threads, el primer contindrà les capes {L1,L2,L3} i el segon {L6,L7}. Amb aquestes notacions definides, la resta d'aquesta Secció deriva una expressió tancada del rendiment d'inferència aconseguit per una partició donada, com a funció de les latències d'inferència (secció III-B) i transmissió (secció III-C). B. Predicció de Latència d'Inferència Donada una partició, aquesta Secció analitza la predicció de latència d'inferència en un node aïllat. La latència induïda pel càlcul d'una capa Li amb consum ci, a computar al node Na, amb taxa de processament ηa es expressa com Tci(Na)=ci/ηa. Donat un conjunt de capes L′⊂L a través de tots els threads que s'executen al node Na amb taxa de processament ηa, la latència d'inferència es pot expressar com: Aquesta expressió és una aproximació de primer ordre d'una estimació de latència d'inferència basada en el nombre d'operacions de punt flotant (FLOPs) requerides per processar la DNN, és a dir, el nombre d'operacions de multiplicació-suma en el model. L'estimació de la latència d'inferència en dispositius edge es complica per les optimitzacions en temps d'execució. Solucions existents com nn-Meter prediuen la latència d'inferència basant-se en FLOPs. Altres solucions es basen en una taula de cerca amb temps d'inferència precalculats per a la inferència de latència. Per exemple, BRP-NAS utilitza una xarxa convolucional gràfica pre-entrenada per predir latències d'inferència, tenint en compte les optimitzacions del model en temps d'execució. [[18]](javascript:void()) [[19]](javascript:void()) A l' es suposa a més que els processadors utilitzen la seva capacitat total, cosa que implica que els processadors multinúcli es modelen com a processadors d'un sol nucli amb una taxa de processament igual a la suma de les seves taxes de processament de nucli. També se suposa que el recurs de computació es comparteix equitativament entre els threads, és a dir, un processador assigna la mateixa proporció del seu temps a cada thread. equació 1 A través de tots els nodes, el thread amb la latència més alta estableix el rendiment d'inferència per a la DNN distribuïda. Ometent les latències de transmissió, això implica que un cop aquest thread limitant ha acabat de computar un fotograma de dades, comença directament a processar el següent. Altres threads tindran temps d'inactivitat abans de processar el següent fotograma de dades perquè la seva latència d'inferència és inferior a aquesta latència màxima, com es mostra a la figura 1. Donada una matriu de partició P, les latències d'inferència es poden expressar com un vector únic Tc de mida N on el component a-èsima és la latència màxima del thread d'inferència al node Na, és a dir, Tca=Tc(Na): on H és la matriu diagonal de les taxes de processament inverses dels nodes diag(η−11,…,η−1N) i c és el vector columna dels consums individuals de capa (c1,…,cL). C. Predicció de Latència de Transmissió La latència de transmissió es pot predir de la manera següent: el temps que triga a enviar la quantitat de dades si,j entre les capes Li i Lj a l'enllaç (Na,Nb) sobre un enllaç amb rendiment mesurat θa,b és Tti,j(Na,Nb)=si,j/θa,b. El temps per realitzar transferències de dades si,j∈E′⊂E sobre l'enllaç (Na,Nb) és: De manera similar a la predicció de latència d'inferència, això implica que els enllaços es comparteixen equitativament entre les transferències de dades de Na a Nb. La predicció de latència de transmissió es basa en l'estimació del rendiment de l'enllaç entre els nodes, més precisament el goodput, és a dir, la quantitat de dades útils transmeses per segon. De manera similar a l'estimació de latència d'inferència, aquesta és una aproximació de primer ordre, que ofereix eficaçment bons resultats de predicció, com es mostra a la figura 3 c, amb un coeficient de correlació de R2=0.9998. L'inconvenient d'aquest mètode és el seu requisit de saturar els enllaços per obtenir una estimació del rendiment. Donada una matriu de partició P, la matriu de latència de transmissió Tt es pot definir com una matriu quadrada de mida L, amb Tta,b=Tt(Na,Nb): on ° és el producte terme a terme, o producte Hadamard, Θ és la matriu inversa de rendiment, és a dir, una matriu quadrada de mida N amb Θa,b=θ−1a,b i S és la matriu de mida de transmissió, és a dir, una matriu quadrada de mida L amb Si,j=si,j si Li envia dades a Lj, 0 en cas contrari. SECCIÓ IV. Partició de DNN L'objectiu de la partició de DNN en aquest estudi és maximitzar el rendiment d'inferència, denotat per C, que correspon a l'invers de la latència màxima entre totes les diferents latències de computació i transmissió. Donada una partició P, el rendiment d'inferència es defineix com: Maximitzar el rendiment d'inferència equival a trobar el min-màxim conjunt entre tots els termes de Tc i Tt. Això es pot definir com un problema d'optimització discreta: amb Ji,j sent la matriu de tots uns de mida i×j, les condicions (6) i (7) requereixen que cada capa es col·loqui en un i només un node. Aquest problema d'optimització és un problema de Programació No Lineal Sencera Mixta (MINLP). La matriu de partició es pot veure com la versió codificada one-hot d'un vector de mida (1×L) amb valors a [[1,N]]. Els problemes MINLP són NP-hard, cosa que implica que la complexitat de trobar una partició de DNN òptima és O(NL) ja que cadascuna de les L capes es pot col·locar en N nodes. Hi ha diverses heurístiques per obtenir solucions òptimes o subòptimes a aquest problema en menys temps que un algorisme de força bruta, p. ex., Algorismes Genètics (GA) , Optimització per Colònia de Partícules (PSO) , o Branca i Límits (B&B) . La metodologia triada és una implementació adaptada de B&B, que es presenta a la Secció IV-A. [[21]](javascript:void()) [[22]](javascript:void()) [[23]](javascript:void()) A. Algorisme de Branca i Límits Aquesta Secció presenta l'adaptació de branca i límits (B&B) al problema d'optimització de partició de DNN definit a la Secció IV. En els algorismes B&B, l'espai de solucions es representa per un arbre. El procés consisteix a eliminar branques senceres de l'arbre basant-se en l'avaluació de la puntuació del node arrel. Això implica l'existència d'una topologia d'arbre que crea una relació entre la puntuació d'un node de l'arbre i els límits de les puntuacions de tots els seus full