Waarom uw AI de cloud niet meer nodig heeft om sneller te draaien

```html Auteurs: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Samenvatting: Deep neural network (DNN) inferentie op streamingdata vereist computerbronnen om aan inferentiedoorvoereisen te voldoen. Latentie- en privacygevoelige deep learning-applicaties kunnen het zich echter niet veroorloven om berekeningen naar externe clouds te offloaden vanwege de impliciete transmissiekosten en het gebrek aan vertrouwen in externe cloudproviders. Onder de oplossingen om de prestaties te verbeteren met behoud van berekeningen in een beperkte omgeving, kan hardwareversnelling omslachtig zijn, en modeloptimalisatie vereist uitgebreide ontwerpinspanningen terwijl de nauwkeurigheid wordt belemmerd. DNN-partitionering is een derde aanvullende benadering en bestaat uit het verdelen van de inferentieworkload over verschillende beschikbare edgeapparaten, rekening houdend met de netwerkeigenschappen van de edge en de DNN-structuur, met als doel de inferentiedoorvoer (aantal inferenties per seconde) te maximaliseren. Dit artikel introduceert een methode om inferentie- en transmissielatenties te voorspellen voor multi-threaded gedistribueerde DNN-implementaties, en definieert een optimalisatieproces om de inferentiedoorvoer te maximaliseren. Vervolgens wordt een branch and bound-solver gepresenteerd en geanalyseerd om de bereikte prestaties en complexiteit te kwantificeren. Deze analyse heeft geleid tot de definitie van het versnellingsgebied, dat deterministische voorwaarden beschrijft voor de DNN- en netwerkeigenschappen waaronder DNN-partitionering voordelig is. Ten slotte bevestigen experimentele resultaten de simulaties en tonen ze verbeteringen in de inferentiedoorvoer aan in voorbeeld-edge-implementaties. DNN-partitionering aan de edge maakt versnelling van de inferentiedoorvoer mogelijk, terwijl het bandbreedtegebruik en de latentie naar gecentraliseerde servers, bijv. in de cloud, worden verlaagd. Introductie Verbonden apparaten genereerden in 2020 naar schatting elke dag 2,5 quintiljoen bytes aan gegevens. In deze context is Kunstmatige Intelligentie (AI) een van de technologieën die het beste kan omgaan met de steeds groeiende hoeveelheid geproduceerde gegevens, op gebieden zoals objectdetectie in computer vision, gezichtsherkenning, spraakherkenning, natuurlijke taalverwerking of autonoom rijden. AI, en met name Deep Learning (DL), vereist naast grote hoeveelheden gegevens ook aanzienlijke verwerkingskracht en geheugencapaciteit, waardoor cloud computing de hostingoplossing voor AI-workloads is geworden. Bijgevolg werd in 2019 96% van de AI-taken in de cloud uitgevoerd. 1 de facto 2 AI-applicaties kunnen sterke latentiebeperkingen hebben, bijv. bij autonoom rijden, productiebewaking of enige real-time inferentie waarbij interactie met de echte wereld betrokken is. Gemiddelde responstijden bij autonoom rijden moeten bijvoorbeeld minder dan 100 milliseconden zijn , waardoor retourtijden naar de cloud te lang zijn voor dergelijke applicaties. Op dezelfde manier kunnen sommige applicaties een significant linkgebruik op het netwerk introduceren, bijv. in het geval van hoogwaardige videoverwerking in computer vision, wat voorkomt dat ze in de cloud draaien. Data privacybeleid of gegevensbeschermingsregelgeving kan ook verbieden dat gegevens specifieke omgevingen verlaten. Dit stimuleert AI-implementaties in edge computing, wat inhoudt dat berekeningstaken vanuit datacenters dichter bij edgeapparaten worden geplaatst, d.w.z. in de nabijheid van de gegevensbronnen. [[1]](javascript:void()) Vergeleken met openbare clouds is de edge een omgeving met beperkte middelen en belangrijke beperkingen , en het ontwikkelen van AI voor de edge verschilt daarom inherent van het ontwikkelen van AI voor de cloud. Het analyseren van gegevens dicht bij de bron kan uitdagend zijn vanwege lagere apparaatcapaciteiten, de inelasticiteit van de beschikbare middelen en de heterogeniteit van edge-netwerken. Het verlagen van de rekenkracht betekent het verlagen van de haalbare inferentiedoorvoer, wat de verplaatsing van zware workloads van de cloud naar de edge verder bemoeilijkt. In sommige toepassingen kan de inferentiedoorvoer, d.w.z. de haalbare inferenties per seconde van een DNN, gekoppeld zijn aan de DNN-nauwkeurigheid, bijv. bij objecttracking in videostreams, waar het verlagen van de inferentiefrequentie van 15 naar 5 inferenties per seconde heeft aangetoond dat de F1-score__3__van een objectdetector met 10% wordt verlaagd . Met andere woorden, implementaties met een lage inferentiedoorvoer kunnen leiden tot kritisch informatieverlies, bijv. verlies van detecties in videobewakingstoepassingen. [[2]](javascript:void()) [[3]](javascript:void()) Er zijn twee belangrijke beschikbare methoden om aan prestatie-eisen te voldoen in beperkte edge-netwerken: modelcompressie of hardwareversnelling. bestaat uit het reduceren en optimaliseren van neurale netwerken tot een lichtgewicht, vaak onderpresterende, versie van het model. Standaard modelcompressiemethoden omvatten pruning , d.w.z. het verwijderen van onnodige parameters in het model, kwantisatie , d.w.z. het verminderen van het toegewezen geheugen om het model op te slaan, en kennisdestillatie , d.w.z. het trainen van een kleiner neuraal netwerk met kennis verkregen uit een groter netwerk. Modeloptimalisatie vereist uitgebreide ontwerpinspanningen en kan een belemmering vormen voor modelnauwkeurigheid. op edgeapparaten impliceert het vinden van hardware die zowel energiezuinig als lichtgewicht is, terwijl deze toch inferentie met voldoende prestaties kan uitvoeren. Er zijn verschillende soorten kandidaathardware voor versnelling aan de edge, variërend in efficiëntie en specificiteit, maar standaard verwerkingseenheden voldoen niet aan de verwachtingen en speciale hardware zoals ASIC's zijn onpraktisch en duur gebleken . Modelcompressie [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) Hardwareversnelling [[7]](javascript:void()) DNN-partitionering is een aanvullende methode voor het versnellen van inferentie door gebruik te maken van de veelvoud aan bestaande apparaten in edge-netwerken om de inferentieberekening te verdelen - die alleen kan worden gebruikt, of in combinatie met de twee andere methoden. DNN-partitionering bestaat uit het beschouwen van een neuraal netwerk als een pijplijn die moet worden gesegmenteerd in partities, en het verdelen van deze partities over edgeapparaten. De plaatsing van deze partities is gebaseerd op zowel de DNN als de onderliggende netwerkkenmerken. DNN-partitionering is gebaseerd op de identificatie van splitsingspunten, dit zijn punten in de modelgrafiek waar het model wordt gescheiden in partities. Tijdens runtime worden partities sequentieel uitgevoerd, waarbij elke partitie tussenliggende inferentieresultaten naar de volgende partitie stuurt. Dit stelt elke partitie in staat om de volgende invoergegevens te berekenen terwijl de andere apparaten doorgaan met het verwerken van de offloaded gegevens, waardoor de inferentiedoorvoer wordt verbeterd, zoals weergegeven in . In de rest van dit artikel wordt DNN-partitionering geïllustreerd aan de hand van het voorbeeld van real-time inferentie op videostreams. figuur 1 A. Gerelateerd Werk Methoden voor DNN-partitionering, afgeleid van mobiele edge-cloud offloading, proberen verschillende prestatie-indicatoren te optimaliseren, zoals rekentijd, energieverbruik, resourcegebruik, kosten of doorvoer. DNN-partitionering is gebaseerd op de associatie van één of meerdere van deze metrieken om een optimalisatiedoel te definiëren, en een methode die deze metriek exploiteert om partitioneringsschema's te vinden. Neurosurgeon zoekt bijvoorbeeld naar een enkel splitsingspunt, waarbij de eerste partitie aan de edge blijft en de tweede partitie naar de cloud wordt offloaded, om latentie en energieverbruik te minimaliseren. Toepassingen in IoT hebben ook de gezamenlijke partitionering en offloading van meerdere DNN's overwogen om energie, vertraging en/of kosten te optimaliseren, met behulp van verschillende solvers zoals SPSO-GA die Particle Swarm Optimization (PSO) en Genetic Algorithm (GA) combineert, of DDPQN dat Deep Reinforcement Learning gebruikt om partitioneringsschema's te vinden. Andere voorbeelden zijn DINA , dat een Integer Non Linear Programming (INLP) probleem definieert en een op matchingtheorie gebaseerde solver gebruikt om vertraging en resourcegebruik in fog-netwerken te optimaliseren. Methoden die de inferentiedoorvoer optimaliseren, omvatten DNN surgery , dat gebruikmaakt van de lagere omvang van tussenliggende DNN-laaguitvoer om de inferentieberekening tussen de edge en de cloud te partitioneren. Beide algoritmen creëren twee partities, één aan de edge en de andere in de cloud. Andere studies op het gebied van mobiele edge-cloud omvatten ook multi-threaded berekeningen in de cloud om de algehele inferentiedoorvoer verder te versnellen. Vertrouwen op de cloud voor de berekening van de tweede partitie-inferentie veronderstelt goede netwerkconnectiviteit, wat onzeker kan zijn met de slechte connectiviteit van sommige geïsoleerde edge-implementaties. Edgent past de vorige methodologie aan mobiele apparaten en beschikbare edge-servers aan, waardoor de beperking van offloading naar de cloud wordt versoepeld. Deze methode is gekoppeld aan een specifieke training en modelarchitectuur, en beperkt de partitionering nog steeds tot twee partities. Andere methoden hebben meerdere splitsingspunten overwogen, bijv. IONN , dat het probleem van partitionering beschrijft om latentie en energieverbruik te minimaliseren, rekening houdend met de tijd die nodig is om de modellen naar edge-servers te uploaden. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Deze methoden interageren ofwel met externe clouds, ofwel zijn ze beperkt in de aard van de partitionering, bijv. vereist om in precies twee delen te splitsen, met of zonder multi-threading. Geen van de genoemde DNN-partitioneringsstudies beschouwt zowel meerdere splitsingspunten als multi-threading. B. Bijdragen Dit artikel presenteert een gedistribueerd inferentiekader om de inferentiedoorvoer van real-time DNN-berekeningen op streaminggegevens te maximaliseren, met meerdere splitsingspunten en multi-threaded partitionering. De bijdragen van dit artikel zijn de volgende: Een model voor het berekenen van inferentie- en transmissielatenties van een gedistribueerde DNN, waarmee de verwachte inferentiedoorvoer van een gegeven partitioneringsschema kan worden geschat. Formulering van het optimalisatieprobleem voor DNN-partitionering, implementatie van een branch and bound-solver voor dit probleem, en evaluatie van de complexiteit ervan. Simulaties om de mogelijke prestatieverbeteringen te onderzoeken met variërende netwerk- en DNN-eigenschappen. De identificatie van deterministische gebieden in de netwerk- en DNN-eigenschappen die leiden tot het bestaan van optimale partitioneringen en de kosten om dergelijke oplossingen te berekenen, d.w.z. de voorwaarden waaronder DNN-partitionering voordelig is. Experimentele resultaten die de in de simulaties gedefinieerde gebieden illustreren, evenals de voorspellingsnauwkeurigheid en de uiteindelijke versnelling van de inferentiedoorvoer voor homogene en heterogene omgevingen. Voor de rest van dit artikel zal, om verwarring te voorkomen, de gepartitioneerde deep neural network worden aangeduid als , en de term zal het onderliggende fysieke communicatienetwerk aanduiden. DNN netwerk C. Overzicht van het Artikel De rest van dit artikel is als volgt georganiseerd. Sectie II presenteert achtergrondinformatie over Deep Learning en hoe DNN's in deze studie worden weergegeven. Sectie III beschrijft de methoden voor het voorspellen van inferentie- en transmissielatenties die nodig zijn voor Sectie IV, die het optimalisatieprobleem definieert, evenals het branch and bound-algoritme om partitioneringsbeslissingen te nemen. Sectie V presenteert simuleresultaten om de prestaties en complexiteit van het branch and bound-algoritme te kwantificeren, evenals de voorwaarden die leiden tot het bestaan van een partitionering die de inferentiedoorvoer verbetert in een homogeen netwerk. Sectie VI presenteert experimentele resultaten die de simulaties van Sectie V bevestigen, en toont verbeteringen in de inferentiedoorvoer aan op een heterogene experimentele opstelling. Tot slot bespreekt Sectie VII de resultaten en gaat verder in op de bredere toepasbaarheid van deze methode. SECTIE II. Achtergrond: Deep Learning Binnen het vakgebied Machine Learning verwijst Deep Learning (DL) naar methoden die afhankelijk zijn van het gebruik van DNN's, d.w.z. kunstmatige neurale netwerken (of gerelateerde machine learning-methoden) die meer dan één verborgen laag bevatten. Een van de vroegste verwijzingen naar deep learning-architecturen werd gepubliceerd in 1967 , maar pas in de jaren 2010 kreeg DL tractie, eerst in spraakherkenning, daarna in objectdetectie in beelden, vanwege het vermogen om complexe relaties in hoogdimensionale gegevens vast te leggen. Deep Learning vertegenwoordigt naar schatting het grootste deel van de AI-toepassingen in 2022, waarbij meer dan 75% van de organisaties DNN's gebruikt voor toepassingen waarvoor klassieke methoden zouden kunnen worden gebruikt. DL-methoden zijn gedefinieerd als "technieken voor machine learning waarbij hypothesen de vorm aannemen van complexe algebraïsche circuits met instelbare verbindingssterktes" . Deze algebraïsche circuits zijn meestal georganiseerd in lagen, die stappen vormen in de berekening. De term verwijst naar algoritmen die uit meer dan één laag bestaan. [[16]](javascript:void()) 4 [[17]](javascript:void()) deep Er zijn twee hoofd-DNN-structuren: feed-forward neurale netwerken en recurrente neurale netwerken. Beide soorten DNN's kunnen worden weergegeven als berekeningsgrafieken, waarbij het belangrijkste verschil is dat feed-forward netwerken kunnen worden weergegeven als directe acyclische grafieken (DAG's), terwijl recurrente neurale netwerken cycli kunnen bevatten. Recurrente neurale netwerken zijn gebouwd voor reeksen gegevens, waarbij elk datapunt een potentiële afhankelijkheid heeft van eerdere datapunten in de reeks, terwijl feed-forward neurale netwerken geen interacties tussen punten in een gegevensreeks beschouwen. De rest van dit artikel zal de casus van feed-forward DNN's beschouwen. 5 SECTIE III. Gedistribueerde Inferentiemodellering Deze sectie presenteert een model om DNN- en netwerkeigenschappen weer te geven om rekentijden, transmissietijden en de uiteindelijke inferentiedoorvoer van een gegeven partitioneringsoplossing te voorspellen. A. DNN- en Netwerkrepresentatie Een feed-forward DNN met N lagen wordt gemodelleerd als een DAG GA=(L,E) met L=(L1,…,LL) de lagen van de DNN. Kanten (Li,Lj)∈E zijn de verbindingen tussen lagen Li en Lj . Elke laag Li heeft een bijbehorend rekenverbruik ci , gemeten in het aantal floating-point-operaties dat nodig is om een forward pass door de laag te berekenen. Kanten (Li,Lj) krijgen een gewicht si,j dat overeenkomt met de grootte van de gegevens die tussen lagen Li en Lj stromen in bytes. Het fysieke netwerk wordt gemodelleerd als een volledig verbonden graaf G=(N,V) waarin N=(N1,…,NN) de set van rekeneenheden is en V de set van links tussen eenheden. Er wordt aangenomen dat de rekeneenheden N1,…,NN verwerkingssnelheden η1,…,ηN hebben, gemeten in floating-point-operaties per seconde. Ten slotte wordt de linkdoorvoer tussen twee aangrenzende eenheden Na en Nb aangeduid met θa,b , gemeten in bytes per seconde. Elke eenheid Ni is verbonden met zichzelf met oneindige doorvoer om de loopbacklink weer te geven, en links worden als symmetrisch aangenomen, d.w.z. θa,b=θb,a . Partitioneringen worden gedefinieerd als maps P:L→N , d.w.z. een partitionering wijst een eenheidsnummer toe aan elke laag in de DNN. Een partitionering kan worden beschreven als een matrix P van dimensie (N×L) , waarbij N het aantal eenheden in het netwerk is en L het aantal DNN-lagen, en met Pa,i=1 als laag Li is geplaatst op eenheid Na , 0 anders. Met het voorbeeld gegeven in , L=7 lagen en N=2 rekeneenheden, wordt de getoonde partitionering met lagen {L1,L2,L3,L6,L7} op eenheid N1 , en lagen {L4,L5} op eenheid N2 , weergegeven als: figuur 2 Gegeven een partitionering is een gedefinieerd als een groep opeenvolgende lagen tussen twee splitsingspunten, sequentieel uitgevoerd op dezelfde eenheid. In het bovenstaande voorbeeld zal eenheid N1 twee threads uitvoeren, de eerste met lagen {L1,L2,L3} en de tweede met {L6,L7} . thread Met deze gedefinieerde notaties wordt in de rest van deze sectie een gesloten uitdrukking afgeleid voor de inferentiedoorvoer die wordt bereikt door een gegeven partitionering, als functie van de inferentie- ( ) en transmissielatenties ( ). sectie III-B sectie III-C B. Voorspelling van Inferentielatentie Gegeven een partitionering, kijkt deze sectie naar de voorspelling van de inferentielatentie op een geïsoleerde eenheid. De latentie veroorzaakt door de berekening van een laag Li met verbruik ci , die moet worden berekend op eenheid Na , met een verwerkingssnelheid van ηa , wordt uitgedrukt als Tci(Na)=ci/ηa . Gegeven een set lagen L′⊂L over alle threads die op eenheid Na draaien met verwerkingssnelheid ηa , kan de inferentielatentie worden uitgedrukt als: Deze uitdrukking is een benadering van de eerste orde van een schatting van de inferentielatentie gebaseerd op het aantal floating-point-operaties (FLOP's) dat nodig is om de DNN te verwerken, d.w.z. het aantal multiply-add-operaties in het model. Schatting van de inferentielatentie op edgeapparaten wordt bemoeilijkt door runtime-optimalisaties. Bestaande oplossingen zoals nn-Meter voorspellen de inferentielatentie op basis van FLOP's. Andere oplossingen zijn gebaseerd op een lookup-tabel met vooraf berekende inferentietijden voor latentie-inferentie. BRP-NAS gebruikt bijvoorbeeld een vooraf getraind graph convolutioneel netwerk om inferentielatenties te voorspellen, terwijl het rekening houdt met runtime modeloptimalisaties. [[18]](javascript:void()) [[19]](javascript:void()) In wordt verder aangenomen dat processoren hun volledige capaciteit gebruiken, wat impliceert dat multi-core processoren worden gemodelleerd als single-core processoren met een verwerkingssnelheid gelijk aan de som van hun coreverwerkingssnelheden. Er wordt ook aangenomen dat de rekenresource gelijkmatig wordt verdeeld over threads, d.w.z. een processor wijdt een gelijk deel van zijn tijd aan elke thread. vergelijking 1 Over alle eenheden heen bepaalt de thread met de hoogste latentie de inferentiedoorvoer voor de gedistribueerde DNN. Zonder transmissielatenties impliceert dit dat zodra deze beperkende thread klaar is met het berekenen van een gegevensframe, deze direct het volgende frame begint te verwerken. Andere threads zullen inactieve tijd hebben voordat ze het volgende gegevensframe verwerken omdat hun inferentielatentie lager is dan deze maximale latentie, zoals getoond in . figuur 1 Gegeven een partitioneringsmatrix P , kunnen de inferentielatenties worden uitgedrukt als een enkele vector Tc van grootte N , waarbij de a -de component de hoogste thread-inferentielatentie is op eenheid Na , d.w.z. Tca=Tc(Na) : waarbij H de diagonale matrix van inverse eenheidsverwerkingssnelheden is diag(η−11,…,η−1N) en c de kolomvector is van individuele laageenheden (c1,…,cL) . C. Voorspelling van Transmissielatentie De transmissielatentie kan als volgt worden voorspeld: de tijd die nodig is om de hoeveelheid gegevens si,j tussen lagen Li en Lj op de edge (Na,Nb) te verzenden via een link met een gemeten doorvoer van θa,b is Tti,j(Na,Nb)=si,j/θa,b . De tijd om gegevensoverdrachten si,j∈E′⊂E over link (Na,Nb) te realiseren is: Vergelijkbaar met de voorspelling van de inferentielatentie, impliceert dit dat de links gelijkmatig worden verdeeld over gegevensoverdrachten van Na naar Nb . De voorspelling van de transmissielatentie is gebaseerd op de schatting van de linkdoorvoer tussen de eenheden, meer specifiek de , d.w.z. de hoeveelheid nuttige data die per seconde wordt verzonden. goodput Vergelijkbaar met de schatting van de inferentielatentie, is dit een benadering van de eerste orde, die efficiënt goede voorspellingsresultaten oplevert, zoals getoond in c, met een correlatiecoëfficiënt van R2=0.9998 . Het nadeel van deze methode is de vereiste om de links te satureren om een doorvoerschatting te verkrijgen. figuur 3 Gegeven een partitioneringsmatrix P , kan de transmissielatentiematrix Tt worden gedefinieerd als een vierkante matrix van grootte L , met Tta,b=Tt(Na,Nb) : waarbij ° het term-voor-term product is, of Hadamard-product, Θ de inverse doorvoermatrix is, d.w.z. een vierkante matrix van grootte N met Θa,b=θ−1a,b en S de transmissiegrootte matrix is, d.w.z. een vierkante matrix van grootte L met Si,j=si,j als Li gegevens verzendt naar Lj , 0 anders. SECTIE IV. DNN-partitionering Het doel van DNN-partitionering in deze studie is het maximaliseren van de inferentiedoorvoer, aangeduid met C , wat overeenkomt met de inverse van de maximale latentie tussen alle verschillende berekenings- en transmissielatenties. Gegeven een partitionering P , wordt de inferentiedoorvoer gedefinieerd als: Het maximaliseren van de inferentiedoorvoer komt neer op het vinden van de gezamenlijke min-max tussen alle termen van Tc en Tt . Dit kan worden gedefinieerd als een discreet optimalisatieprobleem: met Ji,j de matrix van enen van grootte i×j , de voorwaarden en vereisen dat elke laag op één en slechts één eenheid wordt geplaatst. (6) (7) Dit optimalisatieprobleem is een Mixed Integer Non-linear Programming (MINLP) probleem. De partitioneringsmatrix kan worden gezien als de one-hot gecodeerde versie van een vector van grootte (1×L) met waarden in [[1,N]] . MINLP-problemen zijn NP-hard, wat impliceert dat de complexiteit van het vinden van een optimale DNN-partitionering O(NL) is, aangezien elke van de L lagen op N eenheden kan worden geplaatst. Er zijn verschillende heuristieken om optimale of suboptimale oplossingen voor dit probleem in minder tijd te verkrijgen dan een brute-force-algoritme, bijv. Genetic Algorithms (GA) , Particle Swarm Optimization (PSO) , of Branch and Bound (B&B) . De gekozen methodologie is een aangepaste B&B-implementatie, die wordt gepresenteerd in . [[21]](javascript:void()) [[22]](javascript:void()) [[23]](javascript:void()) Sectie IV-A A. Branch and Bound Algoritme Deze sectie presenteert