Miért nem kell többé a felhő az AI-nak a gyorsabb futáshoz

Szerzők: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Összefoglalás: A mély neurális hálózatok (DNN) streamadatokon történő következtetése számítási erőforrásokat igényel a következtetési átviteli sebesség követelményeinek teljesítéséhez. Azonban a késleltetésre és adatvédelemre érzékeny mélytanulási alkalmazások nem engedhetik meg maguknak, hogy a számítást távoli felhőkre offloadolják a benne rejlő átviteli költségek és a harmadik féltől származó felhőszolgáltatókba vetett bizalom hiánya miatt. A teljesítmény növelésére irányuló megoldások között, miközben a számítást korlátozott környezetben tartjuk, a hardveres gyorsítás megterhelő lehet, és a modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, miközben akadályozza a pontosságot. A DNN particionálás egy harmadik kiegészítő megközelítés, amely a következtetési munkaterhelés több rendelkezésre álló élérekeszközön való elosztásából áll, figyelembe véve az élhálózat tulajdonságait és a DNN szerkezetét, azzal a céllal, hogy maximalizálja a következtetési átviteli sebességet (másodpercenkénti következtetések száma). Ez a cikk egy módszert mutat be a következtetési és átviteli késleltetések előrejelzésére több szálon futó, elosztott DNN-telepítésekhez, és meghatároz egy optimalizálási folyamatot a következtetési átviteli sebesség maximalizálására. Ezután bemutatásra és elemzésre kerül egy ág-és-határoló (branch and bound) megoldó a teljesítmény és a bonyolultság kvantifikálására. Ez az elemzés vezetett a gyorsítási tartomány meghatározásához, amely determinisztikus feltételeket ír le a DNN és a hálózati tulajdonságokra, amelyek mellett a DNN particionálás előnyös. Végül a kísérleti eredmények megerősítik a szimulációkat, és következtetési átviteli sebesség javulást mutatnak minta él-telepítésekben. A DNN particionálás az élen gyorsítja a következtetési átviteli sebességet, miközben csökkenti a sávszélesség-használatot és a központosított kiszolgálókhoz, pl. a felhőhöz képesti késleltetést. Bevezetés A csatlakoztatott eszközök naponta becslések szerint 2,5 quintillió bájt adatot generáltak 2020-ban. Ebben a kontextusban a mesterséges intelligencia (MI) az egyik olyan technológia, amely a legjobban képes megbirkózni a folyamatosan növekvő adatmennyiséggel, olyan területeken, mint az objektumdetektálás a számítógépes látásban, az arcfelismerés, a beszédfelismerés, a természetesnyelv-feldolgozás vagy az autonóm vezetés. Az MI, és különösen a mélytanulás (DL) nagy mennyiségű adat mellett jelentős feldolgozási teljesítményt és memóriakapacitást igényel, ami a felhőkomputálást teszi az MI-munkaterhelések „de facto” tárolási megoldásává. Következésképpen 2019-ben az MI-feladatok 96%-át a felhőben futtatták. 1 2 Az MI-alkalmazásoknak erős késleltetési korlátai lehetnek, pl. autonóm vezetés, gyártásfelügyelet, vagy bármilyen valós idejű következtetés, amely valós világban való interakciót foglal magában. Például az autonóm vezetés átlagos válaszidejének 100 milliszekundumnál rövidebbnek kell lennie , ami túl hosszú oda-vissza utat jelent a felhőhöz az ilyen alkalmazások számára. Hasonlóképpen, egyes alkalmazások jelentős hálózati sávszélességet használhatnak fel, pl. magas minőségű videofeldolgozás esetén a számítógépes látásban, ami megakadályozza a felhőben való futtatásukat. Az adatvédelmi szabályzatok vagy az adatvédelmi előírások is tilthatják az adatok bizonyos környezeteken kívüli tárolását. Ez ösztönzi az MI-alkalmazások élkomputálásban történő telepítését, amely a számítási feladatok adatközpontokból az élre való áthelyezését jelenti, azaz az adatforrások közelébe. [](javascript:void()) A nyilvános felhőkkel szemben az él egy erőforrás-korlátozott környezet, jelentős korlátokkal , ezért az élen történő MI-fejlesztés lényegesen eltér a felhőben történő MI-fejlesztéstől. Az adatok forrásukhoz közeli elemzése kihívást jelenthet az alacsonyabb eszközkapacitások, a rendelkezésre álló erőforrások rugalmatlansága és az élhálózatok heterogenitása miatt. Az alacsonyabb számítási kapacitás csökkenti az elérhető következtetési átviteli sebességet, tovább bonyolítva a nagyméretű munkaterhelések felhőről élekre történő áthelyezését. Bizonyos alkalmazásokban a következtetési átviteli sebesség, azaz egy DNN másodpercenkénti elérhető következtetéseinek száma, összefügghet a DNN pontosságával, pl. objektumkövetésnél videóstream-ekben, ahol a következtetési sebesség 15-ről 5 következtetésre csökkentése 10%-kal csökkentette egy objektumdetektor F1 pontszámát__3__ . Más szóval, az alacsony következtetési átviteli sebességű telepítések kritikus információveszteséget okozhatnak, pl. észlelések elvesztését video-megfigyelő alkalmazásokban. [](javascript:void()) [](javascript:void()) Két fő módszer áll rendelkezésre a teljesítménykövetelmények teljesítésére korlátozott élhálózatokon: a modellkompresszió vagy a hardveres gyorsítás. A a neurális hálózatok csökkentését és optimalizálását jelenti egy könnyű, gyakran alulteljesítő modellverzióra. A standard modellkompressziós módszerek közé tartozik a metszés , azaz a felesleges paraméterek eltávolítása a modellből, a kvantálás , azaz a modell tárolására elkülönített memória csökkentése, és a tudásdesztilláció , azaz egy kisebb neurális hálózat képzése egy nagyobból kivont tudással. A modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, és akadályozhatja a modell pontosságát. A az élkészülékeken olyan hardver megtalálását jelenti, amely egyszerre energiahatékony és könnyű, miközben elegendő teljesítménnyel képes a következtetés futtatására. Többféle hardver létezik a gyorsításhoz az élen, hatékonyságukban és specifikusságukban eltérő, de a standard feldolgozóegységek nem teljesítik az elvárásokat, és a dedikált hardverek, mint az ASIC-ok, nem praktikusnak és drágának bizonyultak . modellkompresszió [](javascript:void()) [](javascript:void()) [](javascript:void()) hardveres gyorsítás [](javascript:void()) A DNN particionálás egy kiegészítő módszer a következtetés gyorsítására, kihasználva az élhálózatokon található eszközök sokaságát a következtetési számítások elosztására – amely önmagában vagy a másik két módszerrel együtt használható. A DNN particionálás egy neurális hálózatot szegmensekre bontott pipeline-ként kezel, és ezeket a szegmenseket elosztja az élkészülékeken. Ezeknek a szegmenseknek az elhelyezése mind a DNN, mind az alapul szolgáló hálózati jellemzőkön alapul. A DNN particionálás a töréspontok azonosításán alapul, amelyek a modellgráfban azok a pontok, ahol a modellt particiókra bontják. Futásidőben a particiók sorrendben futnak, mindegyik köztes következtetési eredményt küld a következő particiónak. Ez lehetővé teszi az egyes particiók számára, hogy elkezdjék feldolgozni a következő bemeneti adatot, miközben a többi eszköz folytatja a leoffloadolt feldolgozását, ezáltal javítva a következtetési átviteli sebességet, amint az az látható. A cikk további részében a DNN particionálást a videóstream-eken történő valós idejű következtetések példáján keresztül illusztráljuk. 1. ábrán A. Kapcsolódó Munka A mobil él-felhő leoffloadolásból származó DNN particionálási módszerek különböző teljesítményjelzőket igyekeznek optimalizálni, mint például a számítási késleltetés, energiafogyasztás, erőforrás-kihasználás, költség vagy átviteli sebesség. A DNN particionálás e mutatók egyikének vagy többének társításán alapul egy optimalizálási cél meghatározásához, és egy módszeren, amely ezt a mutatót kihasználva talál particionálási sémákat. Például a Neurosurgeon egyetlen töréspontot keres, az első particiót az élen tartva, a másodikat pedig a felhőbe offloadolva, a késleltetés és az energiafogyasztás minimalizálása érdekében. Az IoT alkalmazások is figyelembe vették több DNN együttes particionálását és offloadolását az energia, késleltetés és/VAGY költség optimalizálása érdekében, különböző megoldók használatával, mint például az SPSO-GA , amely ötvözi a Particle Swarm Optimization (PSO) és a Genetics Algorithm (GA) elemeket, vagy a DDPQN , amely Deep Reinforcement Learning-et használ a particionálási sémák megtalálásához. Más példák közé tartozik a DINA , amely egy Integer Non Linear Programming (INLP) problémát határoz meg, és egy illesztési elméleten alapuló megoldót használ a késleltetés és az erőforrás-kihasználás optimalizálására a ködhálózatokban. A következtetési átviteli sebességet optimalizáló módszerek közé tartozik a DNN sebészet , amely a köztes DNN rétegek kimenetének kisebb méretét használja a következtetési számítások az él és a felhő közötti particionálására. Mindkét algoritmus két particiót hoz létre, egyet az élen és egyet a felhőben. Más tanulmányok a mobil él-felhő területén többszálú számítást is tartalmaznak a felhőben az össz-következtetési átviteli sebesség további gyorsítására. A második partició következtetési számításához a felhőre támaszkodás jó hálózati kapcsolatot feltételez, ami bizonytalan lehet egyes elszigetelt él-telepítések gyenge kapcsolódásaival. Az Edgent az előző módszertanát mobil eszközökhöz és rendelkezésre álló élkiszolgálókhoz igazítja, lazítva a felhőbe történő offloadolás korlátozását. Ez a módszer egy adott képzési és modellarchitektúrához kapcsolódik, és továbbra is csak két particióra korlátozza a particionálást. Más módszerek több töréspontot is figyelembe vettek, pl. az IONN , amely a késleltetés és az energiafogyasztás minimalizálására irányuló particionálás problémáját írja le, figyelembe véve a modellek élkiszolgálókra történő feltöltésének idejét is. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ezek a módszerek vagy távoli felhőkkel lépnek interakcióba, vagy korlátozottak a particionálás jellegében, pl. pontosan két részre való felosztás szükséges, több szálalással vagy anélkül. A felsorolt DNN particionálási tanulmányok egyike sem veszi figyelembe sem a több töréspontot, sem a több szálalást. B. Hozzájárulások Ez a cikk egy elosztott következtetési keretrendszert mutat be a valós idejű DNN számítások következtetési átviteli sebességének maximalizálására streamadatokon, több törésponttal és több szálon futó particionálással. A cikk hozzájárulásai a következők: Egy modell az elosztott DNN számítási és átviteli késleltetéseinek kiszámításához, amelyen keresztül becsülhető egy adott particionálási séma várható következtetési átviteli sebessége. Az optimalizálási probléma megfogalmazása a DNN particionálásra, egy ág-és-határoló megoldó implementálása erre a problémára, és annak komplexitásának értékelése. Szimulációk a lehetséges teljesítményjavulás feltárására változó hálózati és DNN tulajdonságokkal. A hálózati és DNN tulajdonságokban található determinisztikus régiók azonosítása, amelyek optimális particionálások létezéséhez és az ilyen megoldások kiszámításának költségéhez vezetnek, azaz azok a feltételek, amelyek mellett a DNN particionálás előnyös. Kísérleti eredmények, amelyek szemléltetik a szimulációkban meghatározott régiókat, valamint a predikciós pontosságot és a végső következtetési átviteli sebesség gyorsulását homogén és heterogén környezetekben. A cikk további részében, a félreértések elkerülése érdekében, a particionált mély neurális hálózatot -ként, a szót pedig az alapul szolgáló fizikai kommunikációs hálózat jelölésére fogjuk használni. DNN hálózat C. Cikk Felépítése A cikk hátralévő része a következőképpen szerveződik. A áttekinti a mélytanulás hátterét és azt, hogyan reprezentálják a DNN-eket ebben a tanulmányban. A részletezi a következtetési és átviteli késleltetési predikciós módszereket, amelyek a szükségesek, amely meghatározza az optimalizálási problémát, valamint az ág-és-határoló algoritmust a particionálási döntések meghozatalához. Az szimulációs eredményeket mutat be az ág-és-határoló algoritmus teljesítményének és komplexitásának kvantifikálására, valamint a homogén hálózatban a következtetési átviteli sebességet javító particionálás létezéséhez vezető feltételeket. A kísérleti eredményeket mutat be, amelyek megerősítik az szimulációit, és következtetési átviteli sebesség javulást mutatnak egy heterogén kísérleti beállításon. Végül a megvitatja az eredményeket, és kiterjeszti a módszer szélesebb körű alkalmazhatóságát. II. szekció III. szekció IV. szekcióhoz V. szekció VI. szekció V. szekció VII. szekció II. SZEKCIÓ. HÁTTÉR: MÉLYTANULÁS A gépi tanulás területén a mélytanulás (DL) olyan módszereket jelöl, amelyek több mint egy rejtett réteget tartalmazó DNN-ek, azaz mesterséges neurális hálózatok (vagy kapcsolódó gépi tanulási módszerek) használatára támaszkodnak. A mélytanulási architektúrákra való egyik legkorábbi hivatkozást 1967-ben publikálták , de csak a 2010-es években kezdett felkapottá válni a DL, először a beszédfelismerésben, majd a képek objektumdetektálásában, a nagy dimenziójú adatokban rejlő komplex kapcsolatok rögzítésének képessége miatt. A mélytanulás becslések szerint a legtöbb MI-alkalmazást teszi ki 2022-ben, ahol a szervezetek több mint 75%-a használ DNN-eket olyan alkalmazásokhoz, amelyek klasszikus módszereket is használhatnának. A DL módszereket úgy definiálták, mint „ ” . Ezek az algebrai áramkörök általában rétegekbe vannak rendezve, amelyek a számítás lépéseit alkotják. A kifejezés olyan algoritmusokra utal, amelyek több mint egy réteget tartalmaznak. [](javascript:void()) 4 gépi tanulási technikák, amelyekben a hipotézisek komplex algebrai áramkörök formáját öltik, hangolható csatlakozási erősségekkel [](javascript:void()) mély Két fő DNN szerkezet létezik: feed-forward neurális hálózatok és rekurrens neurális hálózatok. Mindkét típusú DNN számítási gráfként reprezentálható, azzal a fő különbséggel, hogy a feed-forward hálózatok direkt aciklikus gráfként (DAG) reprezentálhatók, míg a rekurrens neurális hálózatok ciklusokat tartalmazhatnak. A rekurrens neurális hálózatok adatsorozatokhoz épülnek, ahol minden adatpont potenciális függőséggel rendelkezik az adatsorozat korábbi adatpontjaival, míg a feed-forward neurális hálózatok nem veszik figyelembe az adatsorozat pontjai közötti interakciókat. A cikk hátralévő része a feed-forward DNN-ek esetét vizsgálja. 5 III. SZEKCIÓ. ELOSZTOTT KÖVETKEZTETÉSI MODELL Ez a Szekció egy modellt mutat be a DNN és hálózati tulajdonságok reprezentálására a számítási késleltetések, átviteli késleltetések és egy adott particionálási megoldás végső következtetési átviteli sebességének előrejelzéséhez. A. DNN és Hálózat Reprezentáció Egy N rétegű feed-forward DNN egy GA=(L,E) DAG-ként modellezhető, ahol L=(L1,…,LL) a DNN rétegei. Az élek (Li,Lj)∈E a Li és Lj rétegek közötti kapcsolatok. Minden Li réteghez tartozik egy ci számítási fogyasztás, amelyet lebegőpontos műveletek számában mérnek egy rétegen való előrehaladás kiszámításához. Az (Li,Lj) élekhez egy si,j súlyt rendelünk, amely az Li és Lj rétegek között áramló adatok méretének felel meg bájtban. A fizikai hálózat egy teljesen összekapcsolt G=(N,V) gráfként modellezhető, ahol N=(N1,…,NN) a számítási csomópontok halmaza, és V a csomópontok közötti kapcsolatok halmaza. Feltételezzük, hogy az N1,…,NN számítási csomópontok η1,…,ηN feldolgozási sebességgel rendelkeznek, másodpercenkénti lebegőpontos műveletekben mérve. Végül, két szomszédos csomópont Na és Nb közötti kapcsolat sebessége θa,b, bájt másodpercenként mérve. Minden Ni csomópont végtelen sebességű kapcsolattal van összekötve önmagával a visszahívó kapcsolat reprezentálására, és a kapcsolatokat szimmetrikusnak feltételezzük, azaz θa,b=θb,a. A particionálások P:L→N leképezésekként vannak definiálva, azaz egy particionálás minden DNN réteghez egy csomópont számot rendel. Egy particionálás egy P (N×L) dimenziós mátrixként írható le, ahol N a hálózaton lévő csomópontok száma és L a DNN rétegek száma, és ahol Pa,i=1, ha az Li réteg az Na csomóponton van elhelyezve, 0 egyébként. A 2. ábrán bemutatott példával, L=7 réteggel és N=2 számítási csomóponttal, a rétegek {L1,L2,L3,L6,L7} N1 csomóponton, és a rétegek {L4,L5} N2 csomóponton történő elhelyezésével ábrázolt particionálás a következőképpen reprezentálható: Adott particionálás mellett egy két töréspont közötti, azonos csomóponton sorrendben futó rétegek csoportjaként van definiálva. A fenti példában az N1 csomópont két szálat fog futtatni, az első a {L1,L2,L3} rétegeket, a második pedig a {L6,L7} rétegeket tartalmazza. szál Ezen jelölések definiálása után, a Szekció hátralévő része levezet egy zárt kifejezést az adott particionálás által elért következtetési átviteli sebességre, a következtetési (III-B. szekció) és átviteli (III-C. szekció) késleltetések függvényében. B. Következtetési Késleltetés Predikció Adott particionálás esetén ez a Szekció az elszigetelt csomóponton történő következtetési késleltetést vizsgálja. Egy Li réteg számításából eredő késleltetés ci fogyasztással, amelyet az Na csomóponton kell kiszámítani, ηa feldolgozási sebességgel, Tci(Na)=ci/ηa-ként kerül kifejezésre. Adott rétegek L'⊆L halmazára, az Na csomóponton futó összes szálon, ηa feldolgozási sebességgel, a következtetési késleltetés a következőképpen fejezhető ki: Ez a kifejezés egy elsőrendű közelítés a lebegőpontos műveletek (FLOPs) számán alapuló következtetési késleltetés becsléséhez, azaz a modellben található szorzás-összeadás műveletek számához. Az élkészülékeken történő következtetési késleltetés becslését a futásidejű optimalizálások bonyolítják. Meglévő megoldások, mint például az nn-Meter , FLOPs alapján becsülik meg a következtetési késleltetést. Más megoldások egy előre kiszámított késleltetési időket tartalmazó táblázatra támaszkodnak a késleltetési becsléshez. Például a BRP-NAS egy előre betanított grafikon konvolúciós hálózatot használ a következtetési késleltetések becslésére, figyelembe véve a futásidejű modelloptimalizálásokat. [](javascript:void()) [](javascript:void()) Az -ben továbbá feltételezzük, hogy a processzorok teljes kapacitásukat kihasználják, ami azt jelenti, hogy a többmagos processzorokat egyetlen magos processzorokként modellezik, amelyek feldolgozási sebessége megegyezik a magjaik feldolgozási sebességének összegével. Azt is feltételezzük, hogy a számítási erőforrás egyenletesen oszlik meg a szálak között, azaz egy processzor idejének azonos arányát szánja minden szálra. 1. egyenlet Az összes csomóponton a legmagasabb késleltetéssel rendelkező szál határozza meg az elosztott DNN következtetési átviteli sebességét. Az átviteli késleltetések figyelmen kívül hagyásával ez azt jelenti, hogy amint ez a korlátozó szál befejezte egy adatkeret feldolgozását, közvetlenül elkezdi a következő feldolgozását. Más szálak tétlenek lesznek az új adatkeret feldolgozása előtt, mert a következtetési késleltetésük alacsonyabb, mint ez a maximális késleltetés, amint az az látható. 1. ábrán Adott P particionálási mátrix esetén a következtetési késleltetések egyetlen Tc vektorrá fejezhetők ki, amelynek N a mérete, ahol az a-adik komponens a legmagasabb szál következtetési késleltetése az Na csomóponton, azaz Tca=Tc(Na): ahol H a fordított csomóponti feldolgozási sebességek diagonális mátrixa diag(η−11,…,η−1N), és c az egyéni rétegfelhasználások oszlopvektora (c1,…,cL). C. Átviteli Késleltetés Predikció Az átviteli késleltetés a következőképpen becsülhető: az adatok si,j mennyiségének Li és Lj rétegek közötti, (Na,Nb) élen történő átviteléhez szükséges idő egy θa,b sebességű kapcsolaton Tti,j(Na,Nb)=si,j/θa,b. Az adatáramlások si,j∈E′⊂E eléréséhez szükséges idő (Na,Nb) kapcsolaton: Hasonlóan a következtetési késleltetés becsléséhez, ez azt jelenti, hogy a kapcsolatok egyenletesen oszlanak meg az adatáramlások között Na-tól Nb-ig. Az átviteli késleltetés predikciója a kapcsolat sebességének becslésén alapul, pontosabban a -on, azaz a másodpercenként átvitt hasznos adatok mennyiségén. goodput Hasonlóan a következtetési késleltetés becsléséhez, ez egy elsőrendű közelítés, amely hatékonyan jó predikciós eredményeket ad, amint az a c látható, 0,9998-as korrelációs együtthatóval. Ennek a módszernek a hátránya, hogy sebességbecsléshez telíteni kell a kapcsolatokat. 3. ábrán Adott P particionálási mátrix esetén az átviteli késleltetési mátrix Tt egy L×L méretű négy