Proč váš AI už nepotřebuje cloud, aby běžel rychleji

```html Autoři: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Inference pomocí hlubokých neuronových sítí (DNN) na proudových datech vyžaduje výpočetní zdroje k uspokojení požadavků na propustnost inference. Aplikace hlubokého učení citlivé na latenci a soukromí si však nemohou dovolit přesouvat výpočty do vzdálených cloudů kvůli implicitním nákladům na přenos a nedostatku důvěry ve třetí strany poskytující cloudové služby. Mezi řešeními pro zvýšení výkonu při zachování výpočtů v omezeném prostředí je hardwarová akcelerace náročná a optimalizace modelu vyžaduje rozsáhlé úsilí při návrhu a zároveň brání přesnosti. Rozdělení DNN je třetí doplňkový přístup a spočívá v distribuci zátěže inference mezi několik dostupných okrajových zařízení s ohledem na vlastnosti okrajové sítě a strukturu DNN s cílem maximalizovat propustnost inference (počet inferencí za sekundu). Tento článek představuje metodu pro predikci latencí inference a přenosu pro vícevláknové distribuované nasazení DNN a definuje optimalizační proces pro maximalizaci propustnosti inference. Poté je prezentováno a analyzováno řešení typu „branch and bound“ pro kvantifikaci dosaženého výkonu a složitosti. Tato analýza vedla k definici oblasti akcelerace, která popisuje deterministické podmínky na vlastnosti DNN a sítě, za kterých je rozdělení DNN prospěšné. Nakonec experimentální výsledky potvrzují simulace a ukazují zlepšení propustnosti inference ve vzorových okrajových nasazeních. Rozdělení DNN na okraji umožňuje akceleraci propustnosti inference a zároveň snižuje využití šířky pásma a latenci vůči centralizovaným serverům, např. v cloudu. Úvod Připojená zařízení vygenerovala v roce 2020 odhadem 2,5 quintilionů bajtů dat denně. V tomto kontextu je umělá inteligence (AI) jednou z technologií, která se dokáže nejlépe vyrovnat s neustále rostoucím množstvím produkovaných dat v řadě oblastí, jako je detekce objektů v počítačovém vidění, rozpoznávání obličejů, rozpoznávání řeči, zpracování přirozeného jazyka nebo autonomní řízení. AI, a konkrétně hluboké učení (DL), kromě velkého množství dat vyžaduje značné schopnosti ve výkonu zpracování a paměti, což z cloud computingu činí de facto hostingové řešení pro pracovní zátěže AI. V důsledku toho bylo v roce 2019 96 % úloh AI zpracováno v cloudu. 1 2 Aplikace AI mohou mít silná omezení latence, např. v autonomním řízení, monitorování výroby nebo jakékoli inferenci v reálném čase zahrnující interakci s reálným světem. Například průměrné reakční časy v autonomním řízení musí být kratší než 100 milisekund , což činí cestovní časy do cloudu pro takové aplikace příliš dlouhé. Podobně některé aplikace mohou představovat významné využití linky v síti, např. v případě zpracování videa ve vysoké kvalitě v počítačovém vidění, což jim brání v běhu v cloudu. Zásady ochrany osobních údajů nebo nařízení o ochraně dat mohou také zakazovat odchod dat z určitých prostředí. To podporuje nasazení AI v edge computingu, který spočívá v přesunu výpočetních úloh z datových center blíže k okrajovým zařízením, tj. do blízkosti zdrojů dat. [[1]](javascript:void()) Ve srovnání s veřejnými cloudy je okraj prostředím s omezenými zdroji s významnými omezeními a vývoj AI pro okraj je proto zásadně odlišný od vývoje AI pro cloud. Analýza dat v blízkosti jejich zdroje může být náročná kvůli nižším kapacitám zařízení, neelasticitě dostupných zdrojů a heterogenitě okrajových sítí. Snižování výpočetní kapacity znamená snižování dosažitelné propustnosti inference, což dále komplikuje přesun těžkých pracovních zátěží z cloudu na okraj. V některých aplikacích může být propustnost inference, tj. dosažitelné inference za sekundu DNN, spojena s přesností DNN, např. s sledováním objektů ve video tocích, kde snížení rychlosti inference z 15 na 5 inferencí za sekundu snížilo skóre F1__3__detektoru objektů o 10 % . Jinými slovy, nasazení s nízkou propustností inference mohou způsobit ztrátu kritických informací, např. ztrátu detekcí v aplikacích pro video dohled. [[2]](javascript:void()) [[3]](javascript:void()) Existují dvě hlavní dostupné metody pro splnění požadavků na výkon v okrajových sítích s omezenými zdroji: komprese modelu nebo hardwarová akcelerace. *Komprese modelu* spočívá ve snižování a optimalizaci neuronových sítí na lehké, často podvýkonné, verze modelu. Standardní metody komprese modelu zahrnují prořezávání , tj. odstraňování nepotřebných parametrů v modelu, kvantizaci , tj. snížení alokované paměti pro uložení modelu, a destilaci znalostí , tj. trénování menší neuronové sítě se znalostmi extrahovanými z větší. Optimalizace modelu vyžaduje rozsáhlé úsilí při návrhu a může být překážkou pro přesnost modelu. *Hardwarová akcelerace* na okrajových zařízeních znamená hledání hardwaru, který může být úsporný z hlediska energie i lehký, přičemž stále dokáže provádět inferenci s dostatečným výkonem. Existuje několik typů hardwaru pro akceleraci na okraji, lišících se účinností a specifičností, ale standardní zpracovatelské jednotky nesplňují očekávání a dedikovaný hardware, jako jsou ASIC, se ukázal jako nepraktický a drahý . [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) [[7]](javascript:void()) Rozdělení DNN je doplňková metoda pro akceleraci inference využitím multiplicity existujících zařízení v okrajových sítích k distribuci výpočtu inference – který lze použít samostatně nebo ve spojení s ostatními dvěma metodami. Rozdělení DNN spočívá v považování neuronové sítě za pipeline segmentovanou do částí a distribuci těchto částí na okrajová zařízení. Umístění těchto částí je založeno jak na charakteristikách DNN, tak na podkladové síti. Rozdělení DNN závisí na identifikaci bodů rozdělení, což jsou body v grafu modelu, kde je model rozdělen na části. Během běhu se části provádějí sekvenčně, přičemž každá posílá mezilehlé výsledky inference do další části. To umožňuje každé části začít zpracovávat další vstupní data, zatímco ostatní zařízení pokračují ve zpracování odeslaných dat, čímž se zvyšuje propustnost inference, jak je ukázáno na obrázku 1. Ve zbytku tohoto článku je rozdělení DNN ilustrováno na příkladu inference v reálném čase na video tocích. A. Související práce Metody pro rozdělení DNN, odvozené z offloadingu mobilního edge-cloudu, se snaží optimalizovat různé výkonnostní ukazatele, jako je latence výpočtu, spotřeba energie, využití zdrojů, náklady nebo propustnost. Rozdělení DNN závisí na přidružení jedné nebo více z těchto metrik k definici optimalizačního cíle a metody, která tuto metriku využívá k nalezení schémat rozdělení. Například Neurosurgeon hledá jeden bod rozdělení, přičemž první část zůstává na okraji a druhá část je offloadována do cloudu, aby se minimalizovala latence a spotřeba energie. Aplikace v IoT také zvažovaly společné rozdělení a offloading několika DNN pro optimalizaci energie, zpoždění a/nebo nákladů pomocí různých řešitelů, jako je SPSO-GA kombinující Particle Swarm Optimization (PSO) a Genetic Algorithm (GA), nebo DDPQN který využívá Deep Reinforcement Learning k nalezení schémat rozdělení. Mezi další příklady patří DINA , která definuje problém Integer Non Linear Programming (INLP) a používá řešitel založený na teorii párování k optimalizaci zpoždění a využití zdrojů v mlžných sítích. Metody optimalizující propustnost inference zahrnují DNN surgery , která využívá menší velikost mezilehlých výstupů vrstev DNN k rozdělení výpočtu inference mezi okraj a cloud. Oba algoritmy vytvářejí dvě části, jednu na okraji a druhou v cloudu. Další studie v oblasti mobilních edge-cloudů zahrnují také vícevláknové výpočty v cloudu pro další zrychlení celkové propustnosti inference. Spoléhání na cloud pro výpočet druhé části inference předpokládá dobré síťové připojení, které může být nejisté u špatného připojení některých izolovaných okrajových nasazení. Edgent přizpůsobuje předchozí metodologii mobilním zařízením a dostupným okrajovým serverům, čímž uvolňuje omezení offloadingu do cloudu. Tato metoda je spojena se specifickým tréninkem a architekturou modelu a stále omezuje rozdělení na dvě části. Další metody zvažovaly více bodů rozdělení, např. IONN , který popisuje problém rozdělení pro minimalizaci latence a spotřeby energie, přičemž zohledňuje i čas pro nahrání modelů na okrajové servery. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Tyto metody buď interagují se vzdálenými cloudy, nebo jsou omezeny v povaze rozdělení, např. vyžadují rozdělení přesně na dvě části, s nebo bez vícevláknovosti. Žádná ze zmíněných studií rozdělení DNN nezohledňuje jak více bodů rozdělení, tak vícevláknovost. B. Přínosy Tento článek představuje distribuovaný inferenční rámec pro maximalizaci propustnosti inference reálného času DNN výpočtu na proudových datech s více body rozdělení a vícevláknovým rozdělením. Přínosy tohoto článku jsou následující: Model pro predikci latencí výpočtu a přenosu distribuované DNN, prostřednictvím kterého lze odhadnout očekávanou propustnost inference daného schématu rozdělení. Formulace optimalizačního problému pro rozdělení DNN, implementace řešitele typu „branch and bound“ pro tento problém a vyhodnocení jeho složitosti. Simulace pro prozkoumání možných zlepšení výkonu s různými vlastnostmi sítě a DNN. Identifikace deterministických oblastí ve vlastnostech sítě a DNN vedoucích k existenci optimálních rozdělení a nákladů na výpočet takových řešení, tj. podmínek, za kterých je rozdělení DNN prospěšné. Experimentální výsledky ilustrující oblasti definované v simulacích, jakož i přesnost predikce a konečné zrychlení propustnosti inference pro homogenní a heterogenní prostředí. Pro zbytek tohoto článku, abychom se vyhnuli nejasnostem, bude rozdělená hluboká neuronová síť označována jako *DNN* a termín *síť* bude označovat podkladovou fyzickou komunikační síť. C. Osnova článku Zbytek tohoto článku je uspořádán následovně. *Sekce II* představuje pozadí hlubokého učení a způsob, jak jsou DNN v této studii reprezentovány. *Sekce III* podrobně popisuje metody predikce latence inference a přenosu potřebné pro *Sekci IV*, která definuje optimalizační problém, jakož i algoritmus „branch and bound“ pro rozhodování o rozdělení. *Sekce V* prezentuje výsledky simulací pro kvantifikaci výkonu a složitosti algoritmu „branch and bound“, jakož i podmínky vedoucí k existenci rozdělení, které zlepšuje propustnost inference v homogenní síti. *Sekce VI* prezentuje experimentální výsledky potvrzující simulace z *Sekce V* a ukazuje zlepšení propustnosti inference na heterogenním experimentálním nastavení. Nakonec *Sekce VII* diskutuje výsledky a rozšiřuje se o širší použitelnost této metody. SEKCE II. Pozadí: Hluboké učení V rámci strojového učení se hluboké učení (DL) týká metod spoléhajících na použití DNN, tj. umělých neuronových sítí (nebo souvisejících metod strojového učení) obsahujících více než jednu skrytou vrstvu. Jedna z nejstarších referencí na architektury hlubokého učení byla publikována v roce 1967 , ale teprve v roce 2010 získalo DL trakci, nejprve v rozpoznávání řeči, poté v detekci objektů na obrázcích, díky schopnosti zachytit složité vztahy ve vysoce dimenzionálních datech. Odhaduje se, že hluboké učení představuje většinu aplikací AI v roce 2022, přičemž více než 75 % organizací používá DNN pro aplikace, které by mohly využívat klasické metody. Metody DL byly definovány jako „*techniky strojového učení, kde hypotézy mají formu složitých algebraických obvodů s nastavitelnými silami spojení*“ . Tyto algebraické obvody jsou obvykle organizovány do vrstev, které tvoří kroky ve výpočtu. Termín *hluboké* se vztahuje k algoritmům skládajícím se z více než jedné vrstvy. [[16]](javascript:void()) 4 [[17]](javascript:void()) Existují dva hlavní typy struktur DNN: dopředné neuronové sítě a rekurentní neuronové sítě. Oba typy DNN lze reprezentovat jako výpočetní grafy, přičemž hlavní rozdíl spočívá v tom, že dopředné sítě lze reprezentovat jako přímé acyklické grafy (DAG), zatímco rekurentní neuronové sítě mohou obsahovat cykly. Rekurentní neuronové sítě jsou konstruovány pro sekvence dat, kde každý datový bod má potenciální závislost na předchozích datových bodech v sekvenci, zatímco dopředné neuronové sítě nezohledňují interakce mezi body v datové sekvenci. Ve zbytku tohoto článku se budeme zabývat případem dopředných DNN. 5 SEKCE III. Modelování distribuované inference Tato sekce představuje model pro reprezentaci vlastností DNN a sítě za účelem predikce latencí výpočtu, latencí přenosu a konečné propustnosti inference daného řešení rozdělení. A. Reprezentace DNN a sítě Dopředná DNN s N vrstvami je modelována jako DAG GA=(L,E), kde L=(L1,…,LL) jsou vrstvy DNN. Hrany (Li,Lj)∈E jsou spojení mezi vrstvami Li a Lj. Každá vrstva Li má přidruženou spotřebu výpočtu ci, měřenou v počtu operací s plovoucí desetinnou čárkou potřebných k výpočtu dopředného průchodu vrstvou. Hrany (Li,Lj) jsou přiřazeny váze si,j odpovídající velikosti dat procházejících mezi vrstvami Li a Lj v bajtech. Fyzická síť je modelována jako plně propojený graf G=(N,V), kde N=(N1,…,NN) je množina výpočetních uzlů a V je množina spojení mezi uzly. Předpokládá se, že výpočetní uzly N1,…,NN mají rychlosti zpracování η1,…,ηN, měřené v operacích s plovoucí desetinnou čárkou za sekundu. Nakonec je propustnost spojení mezi dvěma sousedními uzly Na a Nb označena jako θa,b, měřená v bajtech za sekundu. Každý uzel Ni je připojen sám k sobě s nekonečnou propustností, aby reprezentoval zpětné spojení, a předpokládá se, že spojení jsou symetrická, tj. θa,b=θb,a. Rozdělení jsou definována jako mapy P:L→N, tj. rozdělení přiřazuje číslu uzlu každou vrstvu v DNN. Rozdělení lze popsat jako matici P o rozměrech (N×L), kde N je počet uzlů v síti a L je počet vrstev DNN, a kde Pa,i=1, pokud je vrstva Li umístěna na uzlu Na, jinak 0. V příkladu uvedeném na obrázku 2, kde L=7 vrstev a N=2 výpočetní uzly, je zobrazené rozdělení s vrstvami {L1,L2,L3,L6,L7} na uzlu N1 a vrstvami {L4,L5} na uzlu N2 reprezentováno jako: Vzhledem k rozdělení je *vlákno* definováno jako skupina po sobě jdoucích vrstev mezi dvěma body rozdělení, běžící sekvenčně na stejném uzlu. V příkladu výše uzel N1 spustí dvě vlákna, první obsahující vrstvy {L1,L2,L3} a druhé {L6,L7}. S definovanými těmito označeními odvozuje zbytek této sekce uzavřený výraz pro propustnost inference dosaženou daným rozdělením jako funkci latencí inference (sekce III-B) a přenosu (sekce III-C). B. Predikce latence inference Dané rozdělení se tato sekce zabývá predikcí latence inference na izolovaném uzlu. Latence indukovaná výpočtem vrstvy Li se spotřebou ci, která má být vypočítána na uzlu Na, s rychlostí zpracování ηa, je vyjádřena jako Tci(Na)=ci/ηa. Daná množina vrstev L′⊂L napříč všemi vlákny běžícími na uzlu Na s rychlostí zpracování ηa, lze latenci inference vyjádřit jako: Tento výraz je aproximací prvního řádu odhadu latence inference založené na počtu operací s plovoucí desetinnou čárkou (FLOPs) potřebných ke zpracování DNN, tj. počtu operací násobení-sčítání v modelu. Odhad latence inference na okrajových zařízeních komplikují optimalizace za běhu. Existující řešení, jako je nn-Meter , předpovídají latenci inference na základě FLOPs. Jiná řešení spoléhají na vyhledávací tabulku s předem vypočítanými časy inference pro predikci latence. Například BRP-NAS používá předtrénovanou grafovou konvoluční síť k predikci latencí inference, přičemž zohledňuje optimalizace modelu za běhu. [[18]](javascript:void()) [[19]](javascript:void()) V rovnici 1 se dále předpokládá, že procesory využívají plnou kapacitu, což znamená, že vícejádrové procesory jsou modelovány jako jednojádrové procesory s rychlostí zpracování rovnající se součtu jejich rychlostí zpracování jader. Předpokládá se také, že výpočetní zdroj je rovnoměrně sdílen mezi vlákny, tj. procesor přiděluje stejný podíl svého času každému vláknu. Napříč všemi uzly určuje vlákno s nejvyšší latencí propustnost inference pro distribuovanou DNN. Pokud vynecháme latence přenosu, znamená to, že jakmile toto omezující vlákno dokončí výpočet datového snímku, začne přímo zpracovávat další. Ostatní vlákna budou mít nečinný čas před zpracováním dalšího datového snímku, protože jejich latence inference je nižší než tato maximální latence, jak je ukázáno na obrázku 1. Daná matice rozdělení P, latence inference lze vyjádřit jako jediný vektor Tc o velikosti N, kde a-tá složka je nejvyšší latence vlákna na uzlu Na, tj. Tca=Tc(Na): kde H je diagonální matice inverzních rychlostí zpracování uzlů (diag(η−11,…,η−1N)) a c je sloupcový vektor individuálních spotřeb výpočetní kapacity vrstev (c1,…,cL). C. Predikce latence přenosu Latenci přenosu lze předvídat následovně: čas potřebný k odeslání množství dat si,j mezi vrstvami Li a Lj na hraně (Na,Nb) přes spojení s měřenou propustností θa,b je Tti,j(Na,Nb)=si,j/θa,b. Čas pro uskutečnění přenosů dat si,j∈E′⊂E přes spojení (Na,Nb) je: Podobně jako při predikci latence inference, to znamená, že spojení jsou rovnoměrně sdílena mezi přenosy dat z Na do Nb. Predikce latence přenosu se spoléhá na odhad propustnosti spojení mezi uzly, přesněji *goodput*, tj. množství užitečných dat přenesených za sekundu. Podobně jako odhad latence inference, je to aproximace prvního řádu, která efektivně poskytuje dobré výsledky predikce, jak je vidět na obrázku 3 c, s korelačním koeficientem R2=0,9998. Nevýhodou této metody je požadavek na nasycení spojení pro získání odhadu propustnosti. Daná matice rozdělení P, matice latence přenosu Tt může být definována jako čtvercová matice o velikosti L, kde Tta,b=Tt(Na,Nb): kde ° je po-složkový součin, neboli Hadamardův součin, Θ je matice inverzních propustností, tj. čtvercová matice o velikosti N s Θa,b=θ−1a,b a S je matice velikostí přenosu, tj. čtvercová matice o velikosti L s Si,j=si,j, pokud vrstva Li posílá data do Lj, jinak 0. SEKCE IV. Rozdělení DNN Cílem rozdělení DNN v této studii je maximalizovat propustnost inference, označenou C, která odpovídá inverzi maximální latence mezi všemi různými výpočetními a přenosovými latencemi. Dané rozdělení P, propustnost inference je definována jako: Maximalizace propustnosti inference se rovná nalezení společného minimaxu mezi všemi členy Tc a Tt. To lze definovat jako diskrétní optimalizační problém: kde Ji,j je matice jedniček o velikosti i×j, podmínky (6) a (7) vyžadují, aby každá vrstva byla umístěna na jeden a pouze jeden uzel. Tento optimalizační problém je problémem typu Mixed Integer Non-linear Programming (MINLP). Matice rozdělení lze považovat za verzi kódovanou jedním horkým vektorem o velikosti (1×L) s hodnotami v [[1,N]]. Problémy MINLP jsou NP-těžké, což znamená, že složitost nalezení optimálního rozdělení DNN je O(NL), protože každá z L vrstev může být umístěna na N uzlů. Existuje několik heuristik pro získání optimálních nebo suboptimálních řešení tohoto problému v kratším čase než algoritmus hrubé síly, např. Genetické Algoritmy (GA) , Particle Swarm Optimization (PSO) , nebo Branch and Bound (B&B) . Zvolenou metodologií je adaptovaná implementace B&B, která je prezentována v Sekci IV-A. [[21]](javascript:void()) [[22]](javascript:void()) [[23]](javascript:void()) A. Algoritmus Branch and Bound Tato sekce představuje adaptaci algoritmu „branch and bound“ (B&B) na optimalizační problém rozdělení DNN definovaný v Sekci IV. V algoritmech B&B je prostor řešení reprezentován stromem. Proces spočívá v eliminaci celých větví ve stromě na základě vyhodnocení skóre kořenového uzlu. To znamená existenci topologie stromu, která vytváří vztah mezi skóre uzlu ve stromě a hranicemi skóre všech jeho listů. Tato stromová reprezentace prostoru řešení upřednostňuje použití algoritmu B&B v této studii. Za předpokladu, že ps je částečný seznam velikosti s, jsou potomky uzlu ps ve stromové topologii všechny seznamy, které začínají ps, tj. všechna rozdělení, kde prvních s vrstev je umístěno podle ps. Listový uzel pod ps odpovídající ps doplněný o poslední hodnotu ps je označen ps~. Například, pokud L=5 a p2=(2,1), pak p2~=(2,1,1,1,1). Daná Ttmax=maxTt(ps~) maximální hodnota matice přenosové latence pro rozdělení ps~, všechny listové uzly p pod ps budou mít vyšší maximální přenosovou latenci než ps~, tj. ∀p,maxTt(p)≥Ttmax. To je vysvětleno skutečností, že pro dané částečné rozdělení jakýkoli posun v ostatních vrstvách pouze přidá přenosy dat mezi uzly. Během procesu hledání optimálního rozdělení p, které maximalizuje propustnost inference C(p,GA,GN), a při dané aktuálně nejlepší dosažitelné propustnosti best_throughput, spočívá optimalizace B&B v eliminaci celých větví stromu reprezentujícího prostor řešení vyhodnocením časů přenosu v částečných rozděleních. Tento proces umožňuje optimalizaci B&B rychle eliminovat početné případy ve srovnání s algoritmem hrubé síly. Například, pokud je propustnost mezi uzly nízká ve srovnání s výpočetní kapacitou, např. s uzly připojenými přes bezdrátové připojení s nízkou propustností, optim