Waarom je AI niet langer de cloud nodig heeft om sneller te draaien

```html Auteurs: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Samenvatting: Deep neural network (DNN) inferentie op streamingdata vereist computerbronnen om te voldoen aan de inferentie-doorvoereisen. Echter, latency- en privacygevoelige deep learning-toepassingen kunnen het zich niet veroorloven om berekeningen naar externe clouds te offloaden vanwege de impliciete transmissiekosten en het gebrek aan vertrouwen in externe cloudproviders. Van de oplossingen om de prestaties te verhogen met behoud van berekeningen in een beperkte omgeving, is hardwareversnelling belastend en vereist modeloptimalisatie uitgebreide ontwerpinspanningen terwijl de nauwkeurigheid wordt belemmerd. DNN-partitionering is een derde aanvullende aanpak en bestaat uit het verdelen van de inferentieworkload over verschillende beschikbare edge-apparaten, rekening houdend met de netwerkeigenschappen van de edge en de DNN-structuur, met als doel de inferentie-doorvoer (aantal inferenties per seconde) te maximaliseren. Dit artikel introduceert een methode om inferentie- en transmissielatenties te voorspellen voor multithreaded gedistribueerde DNN-implementaties, en definieert een optimalisatieproces om de inferentie-doorvoer te maximaliseren. Een branch and bound-oplosser wordt vervolgens gepresenteerd en geanalyseerd om de bereikte prestaties en complexiteit te kwantificeren. Deze analyse heeft geleid tot de definitie van het acceleratieregio, dat deterministische voorwaarden beschrijft voor de DNN- en netwerkeigenschappen waaronder DNN-partitionering gunstig is. Ten slotte bevestigen experimentele resultaten de simulaties en tonen ze verbeteringen in de inferentie-doorvoer in voorbeeld-edge-implementaties. DNN-partitionering aan de edge maakt versnelling van de inferentie-doorvoer mogelijk, terwijl het bandbreedtegebruik en de latentie naar gecentraliseerde servers, bijv. in de cloud, worden verlaagd. Introductie Verbonden apparaten genereerden dagelijks naar schatting 2,5 quintiljoen bytes aan gegevens in 2020. In deze context is Kunstmatige Intelligentie (AI) een van de technologieën die het best kan omgaan met de steeds groeiende hoeveelheid geproduceerde gegevens, op gebieden als objectdetectie in computer vision, gezichtsherkenning, spraakherkenning, natuurlijke taalverwerking, of autonoom rijden. AI, en met name Deep Learning (DL), vereist naast grote hoeveelheden data ook aanzienlijke rekenkracht en geheugencapaciteit, wat cloud computing de hostingsoplossing voor AI-workloads maakt. Bijgevolg draaiden in 2019 96% van de AI-taken in de cloud. 1 de facto 2 AI-toepassingen kunnen sterke latencybeperkingen hebben, , in autonoom rijden, productiebewaking, of elke real-time inferentie met interactie met de echte wereld. Gemiddelde responstijden in autonoom rijden moeten bijvoorbeeld minder dan 100 milliseconden zijn , waardoor round-trip tijden naar de cloud te lang zijn voor dergelijke toepassingen. Evenzo kunnen sommige toepassingen een significant linkgebruik op het netwerk veroorzaken, , in het geval van hoogwaardige videoverwerking in computer vision, wat voorkomt dat ze in de cloud draaien. Beleid voor gegevensprivacy of regelgeving voor gegevensbescherming kan ook verbieden dat gegevens specifieke omgevingen verlaten. Dit stimuleert AI-implementaties in edge computing, wat inhoudt dat rekentaken van datacenters dichter bij edge-apparaten worden verplaatst, , in de buurt van de gegevensbronnen. bijv. [[1]](javascript:void()) bijv. d.w.z. In vergelijking met publieke clouds is de edge een omgeving met beperkte bronnen en belangrijke beperkingen , en het ontwikkelen van AI voor de edge verschilt daarom inherent van het ontwikkelen van AI voor de cloud. Gegevens analyseren dicht bij de bron kan een uitdaging zijn vanwege lagere apparaatcapaciteiten, de inelasticiteit van de beschikbare bronnen en de heterogeniteit van edge-netwerken. Het verlagen van de rekenkracht betekent een lagere haalbare inferentie-doorvoer, wat de verplaatsing van zware workloads van de cloud naar de edge verder bemoeilijkt. In sommige toepassingen kan de inferentie-doorvoer, , de haalbare inferenties per seconde van een DNN, gekoppeld zijn aan de DNN-nauwkeurigheid, , bij objecttracking in videostreams, waar het verlagen van de inferentiesnelheid van 15 naar 5 inferenties per seconde heeft aangetoond dat de F1-score__3__ van een objectdetector met 10% daalt . Met andere woorden, implementaties met een lage inferentie-doorvoer kunnen leiden tot kritisch informatieverlies, , verlies van detecties in videobewakingstoepassingen. [[2]](javascript:void()) d.w.z. bijv. [[3]](javascript:void()) bijv. Er zijn twee belangrijke beschikbare methoden om aan prestatievereisten op beperkte edge-netwerken te voldoen: modelcompressie of hardwareversnelling. houdt in dat neurale netwerken worden gereduceerd en geoptimaliseerd tot een lichtgewicht, vaak onderpresterende, versie van het model. Standaard modelcompressiemethoden omvatten pruning , , het verwijderen van onnodige parameters in het model, kwantisatie , , het verminderen van het toegewezen geheugen om het model op te slaan, en knowledge distillation , , het trainen van een kleiner neuraal netwerk met kennis die is geëxtraheerd uit een groter netwerk. Modeloptimalisatie vereist uitgebreide ontwerpinspanningen en kan een belemmering zijn voor modelnauwkeurigheid. op edge-apparaten impliceert het vinden van hardware die zowel energie-efficiënt als lichtgewicht is, terwijl deze nog steeds in staat is om inferentie met voldoende prestaties uit te voeren. Er zijn verschillende soorten kandidaathardware voor versnelling aan de edge, variërend in efficiëntie en specificiteit, maar standaard verwerkingseenheden voldoen niet aan de verwachtingen en speciale hardware zoals ASIC's zijn onpraktisch en duur gebleken . Modelcompressie [[4]](javascript:void()) d.w.z. [[5]](javascript:void()) d.w.z. [[6]](javascript:void()) d.w.z. Hardwareversnelling [[7]](javascript:void()) DNN-partitionering is een aanvullende methode voor het versnellen van inferentie door gebruik te maken van de multipliciteit van bestaande apparaten in edge-netwerken om de inferentieberekening te verdelen – die alleen kan worden gebruikt, of in combinatie met de andere twee methoden. DNN-partitionering omvat het beschouwen van een neuraal netwerk als een pijplijn om in partities te segmenteren, en het verdelen van deze partities over edge-apparaten. De plaatsing van deze partities is gebaseerd op zowel de DNN als de onderliggende netwerkkenmerken. DNN-partitionering is gebaseerd op de identificatie van split-punten, dit zijn punten in de modelgraaf waar het model wordt gescheiden in partities. Tijdens runtime worden partities sequentieel uitgevoerd, waarbij elke partitie tussenliggende inferentieresultaten naar de volgende partitie stuurt. Dit stelt elke partitie in staat om de volgende invoergegevens te gaan berekenen terwijl de andere apparaten doorgaan met het verwerken van de afgehandelde gegevens, waardoor de inferentie-doorvoer wordt verbeterd, zoals getoond in . In de rest van dit artikel wordt DNN-partitionering geïllustreerd aan de hand van real-time inferentie op videostreams. figuur 1 A. Gerelateerd Werk Methoden voor DNN-partitionering, afgeleid van mobile edge-cloud offloading, streven ernaar om verschillende prestatie-indicatoren te optimaliseren, zoals rekentijd, energieverbruik, resourcegebruik, kosten, of doorvoer. DNN-partitionering is gebaseerd op de associatie van één of meerdere van deze metrieken om een optimalisatiedoel te definiëren, en een methode die deze metriek benut om partitioneringsschema's te vinden. Neurosurgeon zoekt bijvoorbeeld naar een enkel split-punt, waarbij de eerste partitie aan de edge blijft en de tweede partitie naar de cloud wordt geoffload, om latentie en energieverbruik te minimaliseren. Toepassingen in IoT hebben ook de gezamenlijke partitionering en offloading van meerdere DNN's overwogen om energie, vertraging en/of kosten te optimaliseren, met behulp van verschillende oplossers zoals SPSO-GA dat Particle Swarm Optimization (PSO) en Genetics Algorithm (GA) combineert, of DDPQN dat Deep Reinforcement Learning gebruikt om partitioneringsschema's te vinden. Andere voorbeelden zijn DINA , dat een Integer Non Linear Programming (INLP) probleem definieert en een op matching theory gebaseerde oplosser gebruikt om vertraging en resourcegebruik in fog-netwerken te optimaliseren. Methoden die de inferentie-doorvoer optimaliseren omvatten DNN surgery , dat gebruik maakt van de lagere omvang van tussenliggende DNN-laaguitvoer om de inferentieberekening tussen de edge en de cloud te partitioneren. Beide algoritmen creëren twee partities, één aan de edge en de andere in de cloud. Andere studies op het gebied van mobile edge-cloud omvatten ook multithreaded berekening in de cloud om de algehele inferentie-doorvoer verder te versnellen. Vertrouwen op de cloud voor de tweede partitie inferentieberekening veronderstelt goede netwerkconnectiviteit, wat onzeker kan zijn bij de slechte connectiviteit van sommige geïsoleerde edge-implementaties. Edgent past de vorige methodologie aan mobiele apparaten en beschikbare edge-servers aan, en versoepelt de beperking van offloading naar de cloud. Deze methode is gekoppeld aan een specifieke training en modelarchitectuur, en beperkt de partitionering nog steeds tot twee partities. Andere methoden hebben meerdere split-punten overwogen, , IONN , dat het probleem van partitionering beschrijft om latentie en energieverbruik te minimaliseren, rekening houdend ook met de tijd om de modellen naar edge-servers te uploaden. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) bijv. [[15]](javascript:void()) Deze methoden interageren ofwel met externe clouds, ofwel zijn ze beperkt in de aard van de partitionering, , vereist om in precies twee delen te splitsen, met of zonder multithreading. Geen van de genoemde DNN-partitioneringsstudies houdt rekening met zowel meerdere split-punten als multithreading. bijv. B. Bijdragen Dit artikel presenteert een gedistribueerd inferentie-framework om de inferentie-doorvoer van real-time DNN-berekeningen op streamingdata te maximaliseren, met meerdere split-punten en multithreaded partitionering. De bijdragen van dit artikel zijn de volgende: Een model voor het berekenen van en transmissielatenties van een gedistribueerde DNN, waarmee de verwachte inferentie-doorvoer van een gegeven partitioneringsschema kan worden geschat. Formulering van het optimalisatieprobleem voor DNN-partitionering, implementatie van een branch and bound-oplosser voor dit probleem, en evaluatie van de complexiteit ervan. Simulaties om de mogelijke prestatieverbeteringen te onderzoeken met wisselende netwerk- en DNN-eigenschappen. De identificatie van deterministische regio's in de netwerk- en DNN-eigenschappen die leiden tot het bestaan van optimale partitioneringen en de kosten om dergelijke oplossingen te berekenen, , de voorwaarden waaronder DNN-partitionering gunstig is. d.w.z. Experimentele resultaten die de regio's illustreren die in de simulaties zijn gedefinieerd, evenals de voorspellingsnauwkeurigheid en de uiteindelijke versnelling van de inferentie-doorvoer voor homogene en heterogene omgevingen. Voor de rest van dit artikel, om verwarring te voorkomen, wordt het gepartitioneerde deep neural network aangeduid als , en de term zal het onderliggende fysieke communicatienetwerk aanduiden. DNN netwerk C. Opzet van het artikel De rest van dit artikel is als volgt georganiseerd. presenteert achtergronden van Deep Learning en hoe DNN's in deze studie worden weergegeven. beschrijft de methoden voor het voorspellen van inferentie- en transmissielatentie die nodig zijn voor , waarin het optimalisatieprobleem en het branch and bound-algoritme voor het nemen van partitioneringsbeslissingen worden gedefinieerd. presenteert simulaties om de prestaties en complexiteit van het branch and bound-algoritme te kwantificeren, evenals de voorwaarden die leiden tot het bestaan van een partitionering die de inferentie-doorvoer verbetert in een homogeen netwerk. presenteert experimentele resultaten die de simulaties van bevestigen, en toont verbeteringen in de inferentie-doorvoer op een heterogeen experimenteel opzet. Ten slotte bespreken de resultaten en breidt deze uit naar bredere toepasbaarheid van deze methode. Sectie II Sectie III Sectie IV Sectie V Sectie VI Sectie V Sectie VII SECTIE II. Achtergrond: Deep Learning Binnen het veld van Machine Learning verwijst Deep Learning (DL) naar methoden die afhankelijk zijn van het gebruik van DNN's, , kunstmatige neurale netwerken (of gerelateerde machine learning-methoden) die meer dan één verborgen laag bevatten. Een van de vroegste verwijzingen naar deep learning-architecturen werd gepubliceerd in 1967 , maar het duurde tot de jaren 2010 voordat DL aan populariteit won, eerst in spraakherkenning, daarna in objectdetectie in beelden, vanwege het vermogen om complexe relaties in hoogdimensionale gegevens vast te leggen. DL wordt geschat de meerderheid van de AI-toepassingen in 2022 te vertegenwoordigen, met meer dan 75% van de organisaties die DNN's gebruiken voor toepassingen die klassieke methoden zouden kunnen gebruiken. DL-methoden zijn gedefinieerd als " " . Deze algebraïsche circuits zijn meestal georganiseerd in lagen, die stappen in de berekening vormen. De term verwijst naar algoritmen die uit meer dan één laag bestaan. d.w.z. [[16]](javascript:void()) 4 technieken voor machinaal leren waarbij hypothesen de vorm aannemen van complexe algebraïsche circuits met afstelbare verbindingssterktes [[17]](javascript:void()) deep Er zijn twee hoofdstructuren voor DNN's: feed-forward neurale netwerken en recurrent neurale netwerken. Beide typen DNN's kunnen worden weergegeven als berekeningsgrafieken, waarbij het belangrijkste verschil is dat feed-forward netwerken kunnen worden weergegeven als directe acyclische grafieken (DAG's), terwijl recurrent neurale netwerken cycli kunnen bevatten. Recurrente neurale netwerken zijn gebouwd voor reeksen van gegevens, waarbij elk datapunt een potentiële afhankelijkheid heeft met eerdere datapunt in de reeks, terwijl feed-forward neurale netwerken geen interacties tussen punten in een gegevensreeks beschouwen. De rest van dit artikel zal de gevallen van feed-forward DNN's beschouwen. 5 SECTIE III. Gedistribueerde Inferentie Modellering Deze Sectie presenteert een model om DNN- en netwerkeigenschappen weer te geven om rekentijden, transmissietijden en de uiteindelijke inferentie-doorvoer van een gegeven partitioneringsoplossing te voorspellen. A. DNN- en Netwerkrepresentatie Een feed-forward DNN van N lagen wordt gemodelleerd als een DAG GA=(L,E) met L=(L1,…,LL) de lagen van de DNN. Kanten (Li,Lj)∈E zijn de verbindingen tussen lagen Li en Lj . Elke laag Li heeft een bijbehorende rekenkrachtverbruik ci , gemeten in het aantal floating-point operaties dat nodig is om een forward pass door de laag te berekenen. Kanten (Li,Lj) krijgen een gewicht si,j toegewezen dat overeenkomt met de grootte van de data die tussen lagen Li en Lj wordt getransporteerd in bytes. Het fysieke netwerk wordt gemodelleerd als een volledig verbonden graaf G=(N,V) , waarbij N=(N1,…,NN) de set van rekeneenheden is en V de set van verbindingen tussen eenheden. Er wordt aangenomen dat rekeneenheden N1,…,NN verwerkingssnelheden η1,…,ηN hebben, respectievelijk, gemeten in floating-point operaties per seconde. Tot slot wordt de linkdoorvoer tussen twee aangrenzende knooppunten Na en Nb aangeduid als θa,b , gemeten in bytes per seconde. Elk knooppunt Ni is verbonden met zichzelf met oneindige doorvoer om de loopback-link weer te geven, en de links worden als symmetrisch beschouwd, , θa,b=θb,a . d.w.z. Partitioneringen worden gedefinieerd als mappings P:L→N , , een partitionering wijst een knooppuntnummer toe aan elke laag in de DNN. Een partitionering kan worden beschreven als een matrix P van dimensie (N×L) , N is het aantal knooppunten op het netwerk en L is het aantal DNN-lagen en, met Pa,i=1 als laag Li op knooppunt Na is geplaatst, 0 anders. Met het voorbeeld gegeven in , L=7 lagen en N=2 rekeneenheden, wordt de weergegeven partitionering met lagen {L1,L2,L3,L6,L7} op knooppunt N1 , en lagen {L4,L5} op knooppunt N2 , weergegeven als: d.w.z. figuur 2 Gegeven een partitionering wordt een gedefinieerd als een groep opeenvolgende lagen tussen twee split-punten, sequentieel uitgevoerd op hetzelfde knooppunt. In het bovenstaande voorbeeld zal knooppunt N1 twee threads uitvoeren, de eerste met lagen {L1,L2,L3} en de tweede met {L6,L7} . thread Met deze definities wordt in de rest van deze Sectie een gesloten uitdrukking afgeleid van de inferentie-doorvoer die wordt bereikt door een bepaalde partitionering, als functie van de inferentie- ( ) en transmissielatenties ( ). sectie III-B sectie III-C B. Voorspelling van Inferentielatentie Gegeven een partitionering, kijkt deze Sectie naar de voorspelling van de inferentielatentie op een geïsoleerd knooppunt. De latentie veroorzaakt door de berekening van een laag Li met verbruik ci , die op knooppunt Na moet worden berekend, met verwerkingssnelheid ηa , wordt uitgedrukt als Tci(Na)=ci/ηa . Gegeven een set lagen L′⊂L over alle threads die op knooppunt Na draaien met verwerkingssnelheid ηa , kan de inferentielatentie worden uitgedrukt als: Deze uitdrukking is een eerstelijns benadering van een schatting van de inferentielatentie op basis van het aantal floating-point operaties (FLOPs) dat nodig is om de DNN te verwerken, , het aantal vermenigvuldigings-opteloperaties in het model. d.w.z. Schatting van de inferentielatentie op edge-apparaten wordt gecompliceerd door runtime-optimalisaties. Bestaande oplossingen zoals nn-Meter voorspellen inferentielatentie op basis van FLOPs. Andere oplossingen maken gebruik van een lookup-tabel met vooraf berekende inferentietijden voor latentie-inferentie. BRP-NAS gebruikt bijvoorbeeld een vooraf getraind graph convolutioneel netwerk om inferentielatenties te voorspellen, terwijl rekening wordt gehouden met runtime modeloptimalisaties. [[18]](javascript:void()) [[19]](javascript:void()) In wordt verder aangenomen dat processors hun volledige capaciteit gebruiken, wat impliceert dat multi-core processors worden gemodelleerd als single-core processors met een verwerkingssnelheid gelijk aan de som van hun core-verwerkingssnelheden. Er wordt ook aangenomen dat de rekenkracht gelijkmatig wordt verdeeld over de threads, , een processor wijdt een gelijkredig deel van zijn tijd aan elke thread. vergelijking 1 d.w.z. Over alle knooppunten heen bepaalt de thread met de hoogste latentie de inferentie-doorvoer voor de gedistribueerde DNN. Als transmissielatenties worden weggelaten, impliceert dit dat zodra deze beperkende thread klaar is met het berekenen van een dataframe, deze direct de volgende gaat verwerken. Andere threads zullen een inactieve tijd hebben voordat ze het volgende dataframe verwerken omdat hun inferentielatentie lager is dan deze maximale latentie, zoals getoond in . figuur 1 Gegeven een partitioneringsmatrix P , kunnen de inferentielatenties worden uitgedrukt als een enkele vector Tc van grootte N , waarbij het a -de component de hoogste thread-inferentielatentie op knooppunt Na is, , Tca=Tc(Na) : d.w.z. waarbij H de diagonale matrix is van omgekeerde knooppuntverwerkingssnelheden diag(η−11,…,η−1N) en c de kolomvector is van individuele laagverbruiken (c1,…,cL) . C. Voorspelling van Transmissielatentie De transmissielatentie kan als volgt worden voorspeld: de tijd die nodig is om de hoeveelheid data si,j tussen lagen Li en Lj op edge (Na,Nb) over een link met gemeten doorvoer θa,b te verzenden, is Tti,j(Na,Nb)=si,j/θa,b . De tijd om gegevensoverdrachten si,j∈E′⊂E over link (Na,Nb) te voltooien, is: Net als bij de voorspelling van de inferentielatentie, impliceert dit dat de links gelijkmatig worden verdeeld tussen gegevensoverdrachten van Na naar Nb . De voorspelling van de transmissielatentie is gebaseerd op de schatting van de linkdoorvoer tussen knooppunten, meer specifiek de , , de hoeveelheid nuttige data die per seconde wordt verzonden. goodput d.w.z. Vergelijkbaar met de schatting van de inferentielatentie, is dit een eerstelijns benadering die efficiënt goede voorspellingsresultaten oplevert, zoals getoond in c, met een correlatiecoëfficiënt van R2=0.9998 . Het nadeel van deze methode is dat de links moeten worden verzadigd om een doorvoerschatting te krijgen. figuur 3 Gegeven een partitioneringsmatrix P , kan de transmissielatentiematrix Tt worden gedefinieerd als een vierkante matrix van grootte L , met Tta,b=Tt(Na,Nb) : waarbij ° het element-voor-element product is, ofwel het Hadamard-product, Θ de matrix van omgekeerde doorvoersnelheden is, , een vierkante matrix van grootte N met Θa,b=θ−1a,b en S de transmissiegrootte matrix is, , een vierkante matrix van grootte L met Si,j=si,j als Li data naar Lj stuurt, 0 anders. d.w.z. d.w.z. SECTIE IV. DNN Partitionering Het doel van DNN-partitionering in deze studie is het maximaliseren van de inferentie-doorvoer, aangeduid als C , wat overeenkomt met het omgekeerde van de maximale latentie tussen alle verschillende berekenings- en transmissielatenties. Gegeven een partitionering P , wordt de inferentie-doorvoer gedefinieerd als: Het maximaliseren van de inferentie-doorvoer komt neer op het vinden van de gezamenlijke min-max tussen alle termen van Tc en Tt . Dit kan worden gedefinieerd als een discreet optimalisatieprobleem: met Ji,j de matrix van enen van grootte i×j , vereisten en vereisen dat elke laag op één en slechts één knooppunt wordt geplaatst. (6) (7) Dit optimalisatieprobleem is een Mixed Integer Non-linear Programming (MINLP) probleem. De partitioneringsmatrix kan worden gezien als de one-hot gecode