Proč váš AI již nepotřebuje cloud, aby běžel rychleji

Autoři: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Hluboké neuronové sítě (DNN) pro zpracování datových proudů vyžadují výpočetní zdroje k uspokojení požadavků na propustnost inferencí. Aplikace hlubokého učení citlivé na latenci a soukromí si však nemohou dovolit offloadovat výpočet do vzdálených cloudů kvůli implikovaným nákladům na přenos a nedůvěře ve třetí strany poskytující cloudové služby. Mezi řešeními pro zvýšení výkonu při zachování výpočtu v omezeném prostředí je hardwarová akcelerace náročná a optimalizace modelu vyžaduje rozsáhlé návrhové úsilí a zároveň snižuje přesnost. Třetím doplňkovým přístupem je rozdělení DNN, které spočívá v distribuci zátěže inferencí mezi několik dostupných okrajových zařízení s ohledem na vlastnosti okrajové sítě a strukturu DNN s cílem maximalizovat propustnost inferencí (počet inferencí za sekundu). Tento článek představuje metodu pro predikci latencí inferencí a přenosů pro vícevláknové distribuované nasazení DNN a definuje optimalizační proces pro maximalizaci propustnosti inferencí. Následně je představen a analyzován solver branch-and-bound pro kvantifikaci dosaženého výkonu a složitosti. Tato analýza vedla k definici oblasti akcelerace, která popisuje deterministické podmínky vlastností DNN a sítě, za nichž je rozdělení DNN prospěšné. Experimentální výsledky potvrzují simulace a ukazují zlepšení propustnosti inferencí ve vzorových okrajových nasazeních. Rozdělení DNN na okraji umožňuje akceleraci propustnosti inferencí při současném snížení využití šířky pásma a latence vůči centralizovaným serverům, např. v cloudu. Úvod Připojená zařízení vygenerovala v roce 2020 odhadem 2,5 quintilionů bajtů dat denně. V tomto kontextu je umělá inteligence (AI) jednou z technologií, které se dokážou nejlépe vyrovnat s neustále rostoucím množstvím produkovaných dat v řadě oborů, jako je detekce objektů v počítačovém vidění, rozpoznávání obličeje, rozpoznávání řeči, zpracování přirozeného jazyka nebo autonomní řízení. AI, a zejména hluboké učení (DL), vyžaduje kromě velkého množství dat i značné schopnosti v oblasti zpracování a paměti, což z cloud computingu činí hostitelské řešení pro pracovní zátěže AI. V důsledku toho bylo v roce 2019 96 % úloh AI zpracováno v cloudu. 1 de facto 2 Aplikace AI mohou mít silná omezení latence, např. při autonomním řízení, monitorování výroby nebo jakékoli inferenci v reálném čase zahrnující interakci s reálným světem. Například průměrné reakční časy při autonomním řízení musí být pod 100 milisekund , což činí časy zpáteční cesty do cloudu příliš dlouhé pro takové aplikace. Podobně některé aplikace mohou způsobovat významné využití linky v síti, např. v případě zpracování videa ve vysoké kvalitě v počítačovém vidění, což brání jejich spuštění v cloudu. Zásady ochrany dat nebo nařízení o ochraně údajů mohou také zakazovat odchod dat z určitých prostředí. To podporuje nasazení AI v edge computingu, který spočívá v přesunutí výpočetních úloh z datových center blíže k okrajovým zařízením, tj. do blízkosti zdrojů dat. [](javascript:void()) Ve srovnání s veřejnými cloudy je okraj prostředí s omezenými zdroji s významnými omezeními , a proto je vývoj AI pro okraj intrinsically odlišný od vývoje AI pro cloud. Analýza dat v blízkosti jejich zdroje může být náročná kvůli nižším kapacitám zařízení, neelasticitě dostupných zdrojů a heterogenitě okrajových sítí. Snížení výpočetní kapacity znamená snížení dosažitelné propustnosti inferencí, což dále komplikuje přesun těžkých pracovních zátěží z cloudu na okraj. V některých aplikacích může být propustnost inferencí, tj. dosažitelné inference za sekundu DNN, spojena s přesností DNN, např. při sledování objektů v video proudech, kde snížení rychlosti inferencí z 15 na 5 inferencí za sekundu snížilo skóre F1__3__ detektoru objektů o 10 % . Jinými slovy, nasazení s nízkou propustností inferencí mohou způsobit ztrátu kritických informací, např. ztrátu detekcí v aplikacích pro video dohled. [](javascript:void()) [](javascript:void()) Existují dvě hlavní dostupné metody pro splnění požadavků na výkon v omezených okrajových sítích: komprese modelu nebo hardwarová akcelerace. spočívá ve zmenšení a optimalizaci neuronových sítí na lehkou, často pod-výkonnou, verzi modelu. Standardní metody komprese modelu zahrnují prořezávání , tj. odstranění nepotřebných parametrů v modelu, kvantizaci , tj. snížení alokované paměti pro uložení modelu, a destilaci znalostí , tj. trénování menší neuronové sítě se znalostmi extrahovanými z větší. Optimalizace modelu vyžaduje rozsáhlé návrhové úsilí a může být překážkou pro přesnost modelu. na okrajových zařízeních zahrnuje nalezení hardwaru, který je energeticky účinný a lehký, přičemž stále dokáže provádět inference s dostatečným výkonem. Existuje několik typů kandidátského hardwaru pro akceleraci na okraji, lišících se účinností a specifičností, ale standardní procesní jednotky nesplňují očekávání a dedikovaný hardware, jako jsou ASICy, se ukázal jako nepraktický a drahý . Komprese modelu [](javascript:void()) [](javascript:void()) [](javascript:void()) Hardwarová akcelerace [](javascript:void()) Rozdělení DNN je doplňková metoda pro akceleraci inferencí využívající multiplicity existujících zařízení v okrajových sítích k distribuci výpočtu inferencí – kterou lze použít samostatně nebo ve spojení s dalšími dvěma metodami. Rozdělení DNN spočívá v považování neuronové sítě za pipeline, kterou lze segmentovat do částí, a distribuci těchto částí na okrajová zařízení. Umístění těchto částí je založeno na charakteristikách DNN i podkladové sítě. Rozdělení DNN se opírá o identifikaci bodů rozdělení, což jsou body v grafu modelu, kde je model rozdělen na části. Během běhu se části spouštějí sekvenčně, přičemž každá posílá mezilehlé výsledky inferencí další části. To umožňuje každé části začít zpracovávat další vstupní data, zatímco ostatní zařízení pokračují ve zpracování offloadovaného datového rámce, čímž se zlepšuje propustnost inferencí, jak je ukázáno na . Ve zbytku tohoto článku je rozdělení DNN ilustrováno na příkladu inference v reálném čase na video proudech. obrázku 1 A. Související práce Metody pro rozdělení DNN, odvozené od offloadingu z mobilních okrajů do cloudu, se snaží optimalizovat různé ukazatele výkonu, jako je výpočetní latence, spotřeba energie, využití zdrojů, náklady nebo propustnost. Rozdělení DNN se opírá o asociaci jednoho nebo několika z těchto metrik k definování optimalizačního cíle a metody, která tuto metriku využívá k nalezení schémat rozdělení. Například Neurosurgeon hledá jediný bod rozdělení, přičemž první část ponechává na okraji a druhou část offloaduje do cloudu, aby se minimalizovala latence a spotřeba energie. Aplikace v IoT také zvažovaly společné rozdělení a offloading několika DNN k optimalizaci energie, zpoždění a/nebo nákladů, s použitím různých solverů, jako je SPSO-GA kombinující Particle Swarm Optimization (PSO) a Genetics Algorithm (GA), nebo DDPQN který používá Deep Reinforcement Learning k nalezení schémat rozdělení. Další příklady zahrnují DINA , která definuje problém Integer Non Linear Programming (INLP) a používá solver založený na teorii párování k optimalizaci zpoždění a využití zdrojů v mlhových sítích. Metody optimalizující propustnost inferencí zahrnují DNN surgery , která využívá nižší velikost mezilehlých výstupů vrstev DNN k rozdělení výpočtu inferencí mezi okraj a cloud. Oba algoritmy vytvářejí dvě části, jednu na okraji a druhou v cloudu. Další studie v oblasti mobilního okraje-cloudu zahrnují také vícevláknový výpočet v cloudu k další akceleraci celkové propustnosti inferencí. Spoléhání se na cloud pro výpočet druhé části inference předpokládá dobré síťové připojení, které může být nejisté v případě špatného připojení některých izolovaných okrajových nasazení. Edgent přizpůsobuje předchozí metodologii mobilním zařízením a dostupným okrajovým serverům, čímž uvolňuje omezení offloadingu do cloudu. Tato metoda je spojena se specifickým trénováním a architekturou modelu a stále omezuje rozdělení na dvě části. Další metody zvažovaly více bodů rozdělení, např. IONN , která popisuje problém rozdělení k minimalizaci latence a spotřeby energie, přičemž zohledňuje i čas potřebný k nahrání modelů na okrajové servery. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Tyto metody buď interagují se vzdálenými cloudy, nebo jsou omezeny povahou rozdělení, např. požadavek na rozdělení přesně na dvě části, s nebo bez vícevláknového zpracování. Žádná z uvedených studií rozdělení DNN nebere v úvahu více bodů rozdělení a vícevláknové zpracování současně. B. Příspěvky Tento článek představuje distribuovaný inferenční framework pro maximalizaci propustnosti inferencí zpracování DNN v reálném čase na datových proudech s více body rozdělení a vícevláknovým rozdělením. Příspěvky tohoto článku jsou následující: Model pro latence výpočtu a přenosu distribuované DNN, pomocí kterého lze odhadnout očekávanou propustnost inferencí daného schématu rozdělení. Formulace optimalizačního problému pro rozdělení DNN, implementace solveru branch-and-bound pro tento problém a hodnocení jeho složitosti. Simulace pro prozkoumání možných zlepšení výkonu při různých vlastnostech sítě a DNN. Identifikace deterministických oblastí ve vlastnostech sítě a DNN vedoucích k existenci optimálních rozdělení a nákladů na výpočet takových řešení, tj. podmínek, za nichž je rozdělení DNN prospěšné. Experimentální výsledky ilustrující oblasti definované v simulacích, stejně jako přesnost predikce a konečnou akceleraci propustnosti inferencí pro homogenní a heterogenní prostředí. Ve zbytku tohoto článku, aby se předešlo nejasnostem, bude rozdělená hluboká neuronová síť označována jako a termín bude označovat podkladovou fyzickou komunikační síť. DNN síť C. Osnova článku Zbývající část tohoto článku je organizována následovně. představuje pozadí hlubokého učení a způsob, jakým jsou DNN v této studii reprezentovány. detailně popisuje metody predikce latence inferencí a přenosů potřebné pro , která definuje optimalizační problém, stejně jako algoritmus branch-and-bound pro rozhodování o rozdělení. představuje simulační výsledky pro kvantifikaci výkonu a složitosti algoritmu branch-and-bound, jakož i podmínky vedoucí k existenci rozdělení, které zlepšuje propustnost inferencí v homogenní síti. představuje experimentální výsledky potvrzující simulace z a ukazuje zlepšení propustnosti inferencí na heterogenním experimentálním uspořádání. Konečně diskutuje výsledky a rozšiřuje se o širší aplikovatelnost této metody. Sekce II Sekce III Sekci IV Sekce V Sekce VI Sekce V Sekce VII SEKCE II. Pozadí: Hluboké učení V rámci oblasti strojového učení se hluboké učení (DL) vztahuje k metodám založeným na používání DNN, tj. umělých neuronových sítí (nebo souvisejících metod strojového učení) obsahujících více než jednu skrytou vrstvu. Jedna z nejstarších referencí na architektury hlubokého učení byla publikována v roce 1967 , ale až v roce 2010 získalo DL trakci, nejprve v rozpoznávání řeči, poté v detekci objektů na obrázcích, díky schopnosti zachytit složité vztahy ve vysoce dimenzionálních datech. Odhaduje se, že hluboké učení představuje většinu aplikací AI v roce 2022, přičemž více než 75 % organizací používá DNN pro aplikace, které by mohly používat klasické metody. Metody DL byly definovány jako „ “ . Tyto algebraické obvody jsou obvykle organizovány do vrstev, které tvoří kroky ve výpočtu. Termín odkazuje na algoritmy skládající se z více než jedné vrstvy. [](javascript:void()) 4 techniky pro strojové učení, při nichž hypotézy mají formu složitých algebraických obvodů s laditelnými spojovacími silami [](javascript:void()) hluboké Existují dvě hlavní struktury DNN: dopředné neuronové sítě a rekurentní neuronové sítě. Oba typy DNN lze reprezentovat jako výpočetní grafy, přičemž hlavní rozdíl spočívá v tom, že dopředné sítě lze reprezentovat jako přímé acyklické grafy (DAG), zatímco rekurentní neuronové sítě mohou obsahovat cykly. Rekurentní neuronové sítě jsou postaveny pro sekvence dat, kde každý datový bod má potenciální závislost na předchozích datových bodech v sekvenci, zatímco dopředné neuronové sítě neberou v úvahu interakce mezi body v sekvenci dat. Ve zbytku tohoto článku bude zvažován případ dopředných DNN. 5 SEKCE III. Modelování distribuované inference Tato sekce představuje model pro reprezentaci vlastností DNN a sítě za účelem predikce latencí výpočtu, latencí přenosů a konečné propustnosti inferencí daného řešení rozdělení. A. Reprezentace DNN a sítě Dopředná DNN s N vrstvami je modelována jako DAG GA=(L,E) kde L=(L1,…,LL) jsou vrstvy DNN. Hrany (Li,Lj)∈E jsou spojení mezi vrstvami Li a Lj . Každá vrstva Li má přidruženou výpočetní spotřebu ci , měřenou v počtu operací s plovoucí desetinnou čárkou potřebných k výpočtu dopředného průchodu vrstvou. Hrany (Li,Lj) jsou přiřazeny váze si,j odpovídající velikosti dat proudících mezi vrstvami Li a Lj v bajtech. Fyzická síť je modelována jako plně propojený graf G=(N,V) kde N=(N1,…,NN) je množina výpočetních uzlů a V je množina spojení mezi uzly. Předpokládá se, že výpočetní uzly N1,…,NN mají rychlosti zpracování η1,…,ηN , resp. měřené v operacích s plovoucí desetinnou čárkou za sekundu. Nakonec je propustnost linky mezi dvěma sousedními uzly Na a Nb označena jako θa,b , měřená v bajtech za sekundu. Každý uzel Ni je připojen sám k sobě s nekonečnou propustností pro reprezentaci zpětné smyčky a předpokládá se, že linky jsou symetrické, tj. θa,b=θb,a . Rozdělení jsou definována jako mapy P:L→N , tj. rozdělení přiřazuje číslo uzlu každé vrstvě v DNN. Rozdělení lze popsat maticí P dimenze (N×L) , N je počet uzlů v síti a L počet vrstev DNN a s Pa,i=1 , pokud je vrstva Li umístěna na uzlu Na , 0 jinak. S příkladem uvedeným na , L=7 vrstev a N=2 výpočetních uzlů, zobrazené rozdělení s vrstvami {L1,L2,L3,L6,L7} na uzlu N1 , a vrstvami {L4,L5} na uzlu N2 , je reprezentováno jako: obrázku 2 Při daném rozdělení je definováno jako skupina po sobě jdoucích vrstev mezi dvěma body rozdělení, spouštěná sekvenčně na stejném uzlu. Ve výše uvedeném příkladu uzel N1 spustí dvě vlákna, první obsahující vrstvy {L1,L2,L3} a druhé obsahující {L6,L7} . vlákno S definovanými těmito notacemi, zbytek této sekce odvozuje uzavřený výraz propustnosti inferencí dosažené daným rozdělením, jako funkci latencí inferencí ( ) a přenosů ( ). sekce III-B sekce III-C B. Predikce latence inferencí Při daném rozdělení se tato sekce zabývá predikcí latence inferencí na izolovaném uzlu. Latence způsobená výpočtem vrstvy Li s spotřebou ci , která má být vypočítána na uzlu Na , s rychlostí zpracování ηa je vyjádřena jako Tci(Na)=ci/ηa . Pro danou množinu vrstev L′⊂L napříč všemi vlákny běžícími na uzlu Na s rychlostí zpracování ηa , lze latenci inferencí vyjádřit jako: Tento výraz je aproximací prvního řádu pro odhad latence inferencí založený na počtu operací s plovoucí desetinnou čárkou (FLOPs) potřebných pro zpracování DNN, tj. počtu operací násobení-sčítání v modelu. Odhad latence inferencí na okrajových zařízeních je komplikován optimalizacemi za běhu. Existující řešení, jako je nn-Meter , predikují latenci inferencí na základě FLOPs. Jiná řešení se spoléhají na vyhledávací tabulku s předem vypočítanými časy inferencí pro predikci latence. Například BRP-NAS používá předtrénovanou grafovou konvoluční síť k predikci latencí inferencí, přičemž bere v úvahu optimalizace modelů za běhu. [](javascript:void()) [](javascript:void()) V se dále předpokládá, že procesory využívají svou plnou kapacitu, což znamená, že vícejádrové procesory jsou modelovány jako jednojádrové procesory s rychlostí zpracování rovnou součtu rychlostí jejich jader. Předpokládá se také, že výpočetní zdroj je rovnoměrně sdílen mezi vlákny, tj. procesor alokuje stejný podíl svého času každému vláknu. rovnici 1 Napříč všemi uzly vlákno s nejvyšší latencí stanovuje propustnost inferencí pro distribuovanou DNN. Bez započtení latencí přenosů to znamená, že jakmile toto omezující vlákno dokončí výpočet datového rámce, přímo začne zpracovávat další. Ostatní vlákna budou mít nečinný čas před zpracováním dalšího datového rámce, protože jejich latence inferencí je nižší než tato maximální latence, jak je ukázáno na . obrázku 1 Pro danou matici rozdělení P lze latence inferencí vyjádřit jako jediný vektor Tc o velikosti N , kde a -tá složka je nejvyšší latence vlákna na uzlu Na , tj. Tca=Tc(Na) : kde H je diagonální matice inverzních rychlostí zpracování uzlů diag(η−11,…,η−1N) a c je sloupcový vektor individuálních spotřeb vrstev (c1,…,cL) . C. Predikce latence přenosu Latenci přenosu lze predikovat následovně: čas potřebný k odeslání množství dat si,j mezi vrstvami Li a Lj na hraně (Na,Nb) přes linku s měřenou propustností θa,b je Tti,j(Na,Nb)=si,j/θa,b . Čas pro provedení přenosů dat si,j∈E′⊂E přes linku (Na,Nb) je: Podobně jako u predikce latence inferencí to znamená, že linky jsou rovnoměrně sdíleny mezi přenosy dat z Na do Nb . Predikce latence přenosu se opírá o odhad propustnosti linky mezi uzly, přesněji , tj. množství užitečných dat přenesených za sekundu. goodput Podobně jako odhad latence inferencí, i toto je aproximace prvního řádu, která efektivně nabízí dobré predikční výsledky, jak je ukázáno na c, s korelačním koeficientem R2=0.9998 . Nevýhodou této metody je její požadavek na nasycení linek pro získání odhadu propustnosti. obrázku 3 Při dané matici rozdělení P lze matici latence přenosu Tt definovat jako čtvercovou matici velikosti L , kde Tta,b=Tt(Na,Nb) : kde ° je elementový součin, neboli Hadamardův součin, Θ je matice inverzní propustnosti, tj. čtvercová matice velikosti N s Θa,b=θ−1a,b a S je matice velikosti přenosu, tj. čtvercová matice velikosti L s Si,j=si,j , pokud Li odesílá data do Lj , jinak 0. SEKCE IV. Rozdělení DNN Cílem rozdělení DNN v této studii je maximalizovat propustnost inferencí, označenou C , která odpovídá inverzi maximální latence mezi všemi různými latencemi výpočtu a přenosu. Pro dané rozdělení P je propustnost inferencí definována jako: Maximalizace propustnosti inferencí je rovnocenná nalezení společného min-max mezi všemi členy Tc a Tt . To lze definovat jako diskrétní optimalizační problém: kde Ji,j je matice samých jedniček o velikosti i×j , podmínky a vyžadují, aby každá vrstva byla umístěna na jeden a pouze jeden uzel.</ (6) (7)