Miért nincs szüksége a mesterséges intelligenciának többé a felhőre a gyorsabb futtatáshoz

Szerzők: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Absztrakt: A streaming adatokon futó mély neurális hálózatok (DNN-ek) következtetési folyamatai számítási erőforrásokat igényelnek a következtetési átviteli sebesség követelményeinek teljesítéséhez. Az alacsony késleltetésű és adatvédelmi szempontból érzékeny mélytanulási alkalmazások azonban nem engedhetik meg maguknak a számítások távoli felhőkbe való kiszervezését a továbbítási költségek és a harmadik féltől származó felhőszolgáltatók iránti bizalom hiánya miatt. A teljesítmény növelésének azon megoldásai közül, amelyek a számítást korlátozott környezetben tartják, a hardveres gyorsítás megterhelő lehet, a modelloptimalizálás pedig kiterjedt tervezési erőfeszítéseket igényel, miközben akadályozza a pontosságot. A DNN-particionálás egy harmadik kiegészítő megközelítés, amely a következtetési munkaterhelés elosztását jelenti több elérhető él-eszköz között, figyelembe véve az élhálózat tulajdonságait és a DNN szerkezetét, azzal a céllal, hogy maximalizáljuk a következtetési átviteli sebességet (másodpercenkénti következtetések száma). Ez a cikk bemutat egy módszert a következtetési és továbbítási késleltetések előrejelzésére több szálon futó elosztott DNN-telepítések esetén, és meghatároz egy optimalizálási folyamatot a következtetési átviteli sebesség maximalizálására. Ezt követően egy ág-és-határ (branch and bound) megoldót mutatunk be és elemezünk a teljesítmény és a bonyolultság kvantifikálására. Ez az elemzés azonosította a gyorsítási régiót, amely determinisztikus feltételeket ír le a DNN és a hálózat tulajdonságaira nézve, amelyek mellett a DNN-particionálás előnyös. Végül a kísérleti eredmények megerősítik a szimulációkat, és következtetési átviteli sebesség javulást mutatnak mintavételi él-telepítésekben. Az él-oldali DNN-particionálás felgyorsítja a következtetési átviteli sebességet, miközben csökkenti a sávszélesség-használatot és a központosított kiszolgálókhoz, pl. a felhőhöz képesti késleltetést. Bevezetés A csatlakoztatott eszközök becslések szerint naponta 2,5 trillió bájt adatot generáltak 2020-ban. Ebben a kontextusban a mesterséges intelligencia (MI) az egyik olyan technológia, amely a legjobban képes megbirkózni az egyre növekvő adatmennyiséggel, olyan területeken, mint az objektumfelismerés a számítógépes látásban, az arcfelismerés, a hangfelismerés, a természetes nyelvi feldolgozás vagy az önvezető járművek. Az MI, és különösen a mélytanulás (DL), nagy mennyiségű adat mellett jelentős feldolgozási teljesítményt és memóriakapacitást igényel, ami miatt a felhőkomputálás a de facto megoldássá vált az MI-munkaterhelések tárolására. Következésképpen 2019-ben az MI-feladatok 96%-a a felhőben futott. 1 2 Az MI-alkalmazásoknak erős késleltetési korlátaik lehetnek, pl. önvezető járművekben, gyártásfelügyeletben, vagy bármilyen valós idejű következtetésben, amely valós világgal való interakciót foglal magában. Például az önvezető járművek átlagos válaszidejének 100 milliszekundumnál rövidebbnek kell lennie , ami miatt a felhőhöz való oda-vissza út túl hosszú ezen alkalmazások számára. Hasonlóképpen, egyes alkalmazások jelentős sávszélességet használhatnak a hálózaton, pl. magas minőségű videofeldolgozás esetén a számítógépes látásban, ami megakadályozza őket a felhőben való futtatásban. Az adatvédelmi szabályzatok vagy az adatvédelmi előírások is megtilthatják az adatok bizonyos környezetek elhagyását. Ez ösztönzi az MI-telepítéseket az él-komputálásban, amely a számítási feladatok adatközpontoktól közelebb, az él-eszközökhöz való áthelyezését jelenti, azaz az adatforrások közelébe. [](javascript:void()) A nyilvános felhőkkel összehasonlítva az él-környezet erőforrásokban korlátozott, jelentős korlátokkal rendelkező környezet , ezért az él-oldali MI-fejlesztés lényegében különbözik a felhő-oldali MI-fejlesztéstől. Az adatok forrásuk közelében történő elemzése kihívást jelenthet az alacsonyabb eszközkapacitások, az elérhető erőforrások inelasztikussága és az élhálózatok heterogenitása miatt. A számítási kapacitás csökkentése az elérhető következtetési átviteli sebesség csökkenését jelenti, ami tovább bonyolítja a nehéz munkaterhelések felhőből él-re történő áthelyezését. Egyes alkalmazásokban a következtetési átviteli sebesség, azaz egy DNN másodpercenkénti következtetéseinek elérhető száma, összefüggésben lehet a DNN pontosságával, pl. objektumkövetés esetén videófolyamokban, ahol a következtetési arány 15-ről 5 következtetésre másodpercenként csökkenése 10%-kal csökkentette egy objektumdetektor F1-pontszámát__3__ . Más szóval, az alacsony következtetési átviteli sebességű telepítések kritikus információveszteséget okozhatnak, pl. észlelések elvesztését videófelügyeleti alkalmazásokban. [](javascript:void()) [](javascript:void()) Két fő módszer áll rendelkezésre a teljesítménykövetelmények teljesítésére korlátozott élhálózatokon: a modellkompresszió vagy a hardveres gyorsítás. A magában foglalja a neurális hálózatok csökkentését és optimalizálását a modell könnyű, gyakran alulteljesítő változatává. A standard modellkompressziós módszerek közé tartozik a metszés (pruning) , azaz a felesleges paraméterek eltávolítása a modellből, a kvantálás (quantization) , azaz a modell tárolására elkülönített memória csökkentése, és a tudásdestilláció (knowledge distillation) , azaz egy kisebb neurális hálózat betanítása egy nagyobb hálózatból kivont tudással. A modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, és akadályozhatja a modell pontosságát. A az él-eszközökön olyan hardverek megtalálását jelenti, amelyek egyszerre energiahatékonyak és könnyűek, miközben továbbra is elegendő teljesítménnyel képesek a következtetések futtatására. Különböző típusú hardverek jöhetnek szóba a gyorsításhoz az él-en, amelyek hatékonyságukban és specifikusságukban eltérnek, de a standard feldolgozóegységek nem felelnek meg az elvárásoknak, és a dedikált hardverek, mint az ASIC-ok, nem praktikusnak és drágának bizonyultak . modellkompresszió [](javascript:void()) [](javascript:void()) [](javascript:void()) hardveres gyorsítás [](javascript:void()) A DNN-particionálás egy kiegészítő módszer a következtetések gyorsítására az élhálózatok meglévő eszközeinek sokféleségének kihasználásával a következtetési számítások elosztására – amely önmagában, vagy a másik két módszerrel kombinálva is használható. A DNN-particionálás egy neurális hálózat partíciókra szegmentált csővezetéknek tekintését és ezeknek a partícióknak az él-eszközökön történő elosztását foglalja magában. Ezen partíciók elhelyezése mind a DNN, mind az alatta lévő hálózat jellemzőin alapul. A DNN-particionálás a felosztási pontok azonosításán alapul, amelyek a modell gráfjában vannak, ahol a modellt partíciókra osztják. Futásidőben a partíciók sorban futnak, mindegyik átmeneti következtetési eredményeket küld a következő partícióhoz. Ez lehetővé teszi, hogy minden partíció elkezdje feldolgozni a következő bemeneti adatot, miközben a többi eszköz folytatja a kiszervezett feldolgozását, ezáltal javítva a következtetési átviteli sebességet, amint az az látható. A cikk további részében a DNN-particionálást a valós idejű következtetés példáján keresztül illusztráljuk videófolyamokon. 1. ábrán A. Kapcsolódó munkák A mobil él-felhő kiszervezésből származó DNN-particionálási módszerek különféle teljesítménymutatókat optimalizálnak, mint például a számítási késleltetés, az energiafogyasztás, az erőforrás-kihasználtság, a költség vagy az átviteli sebesség. A DNN-particionálás az egyik vagy több ilyen mutató társításán alapul az optimalizálási cél meghatározásához, és egy olyan módszeren, amely ezt a mutatót kihasználja a partícionálási sémák megtalálásához. Például a Neurosurgeon egyetlen felosztási pontot keres, az első partíciót az él-en tartva, és a második partíciót a felhőbe kiszervezve, a késleltetés és az energiafogyasztás minimalizálása érdekében. Az IoT-alkalmazások is figyelembe vették több DNN együttes particionálását és kiszervezését az energia, a késleltetés és/vagy a költség optimalizálása érdekében, különféle megoldókkal, mint például az SPSO-GA a Részecskeoptimalizálási Algoritmus (PSO) és a Genetikai Algoritmus (GA) kombinációja, vagy a DDPQN , amely Mély Erősítő Tanulást használ a partícionálási sémák megtalálásához. Más példák közé tartozik a DINA , amely egy Egész Nemlineáris Programozási (INLP) problémát határoz meg, és egy illesztési elméleten alapuló megoldót használ a késleltetés és az erőforrás-kihasználtság optimalizálására a ködhálózatokban. A következtetési átviteli sebességet optimalizáló módszerek közé tartozik a DNN sebészeti eljárása (DNN surgery) , amely az átmeneti DNN réteg kimeneteinek kisebb méretét használja a következtetési számítások az él és a felhő közötti particionálására. Mindkét algoritmus két partíciót hoz létre, egyet az él-en, a másikat pedig a felhőben. Más tanulmányok a mobil él-felhő területén magukban foglalják a több szálon futó számítást a felhőben az általános következtetési átviteli sebesség további gyorsítása érdekében. A második partíció következtetési számításához a felhőre támaszkodás jó hálózati kapcsolatot feltételez, ami bizonytalan lehet egyes elszigetelt él-telepítések gyenge kapcsolódása esetén. Az Edgent a korábbi módszertant mobil eszközökre és elérhető él-szerverekre adaptálja, lazítva a felhőbe történő kiszervezés korlátozását. Ez a módszer egy specifikus betanítási és modellarchitektúrához kapcsolódik, és továbbra is két partícióra korlátozza a particionálást. Más módszerek több felosztási pontot vettek figyelembe, pl. az IONN , amely a particionálás problémáját írja le a késleltetés és az energiafogyasztás minimalizálása érdekében, figyelembe véve a modellek él-szerverekre történő feltöltésének idejét is. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ezek a módszerek vagy távoli felhőkkel lépnek kölcsönhatásba, vagy korlátozottak a partícionálás természetében, pl. pontosan két részre való felosztást igényelnek, több szálon futással vagy anélkül. A felsorolt DNN-particionálási tanulmányok egyike sem veszi figyelembe sem a több felosztási pontot, sem a több szálon futást. B. Hozzájárulások Ez a cikk egy elosztott következtetési keretrendszert mutat be a valós idejű DNN-számítások következtetési átviteli sebességének maximalizálására streaming adatokon, több felosztási ponttal és több szálon futó particionálással. Ennek a cikknek a hozzájárulásai a következők: Egy modell az elosztott DNN számítási és továbbítási késleltetéseinek kiszámítására, amelyen keresztül egy adott partícionálási séma várható következtetési átviteli sebessége becsülhető. Az optimalizálási probléma megfogalmazása DNN-particionálásra, egy ág-és-határ megoldó implementálása erre a problémára, és annak komplexitásának értékelése. Szimulációk a lehetséges teljesítményjavulások feltárására változó hálózati és DNN tulajdonságokkal. A determinisztikus régiók azonosítása a hálózat és a DNN tulajdonságokban, amelyek optimális partícionálások létezéséhez és ezen megoldások kiszámítási költségéhez vezetnek, azaz azoknak a feltételeknek a meghatározása, amelyek mellett a DNN-particionálás előnyös. Kísérleti eredmények a szimulációkban definiált régiók illusztrálására, valamint a predikciós pontosság és a végső következtetési átviteli sebesség gyorsítása homogén és heterogén környezetekben. A cikk további részében, a félreértések elkerülése érdekében, a particionált mély neurális hálózatot DNN-nek, a "hálózat" kifejezés pedig az alatta lévő fizikai kommunikációs hálózatot jelenti. C. Cikk felépítése A cikk további része a következőképpen szerveződik: a a mélytanulás hátterét és azt mutatja be, hogyan reprezentálódnak a DNN-ek ebben a tanulmányban. A részletezi a következtetési és továbbítási késleltetés predikciós módszereket, amelyek a szükségesek, amely meghatározza az optimalizálási problémát, valamint az ág-és-határ algoritmust a partícionálási döntések meghozatalához. Az szimulációs eredményeket mutat be a B&B algoritmus teljesítményének és komplexitásának kvantifikálására, valamint a partícionálás javulásához vezető feltételeket homogén hálózatban. A kísérleti eredményeket mutat be, amelyek megerősítik az szimulációit, és következtetési átviteli sebesség javulást mutatnak egy heterogén kísérleti beállításon. Végül a megvitassa az eredményeket és kitér a módszer szélesebb körű alkalmazhatóságára. II. szekció III. szekció IV. szekcióhoz V. szekció VI. szekció V. szekció VII. szekció II. SZEKCIÓ. Háttér: Mélytanulás A gépi tanulás területén a mélytanulás (DL) olyan módszereket jelöl, amelyek több mint egy rejtett réteget tartalmazó DNN-ek, azaz mesterséges neurális hálózatok (vagy kapcsolódó gépi tanulási módszerek) használatán alapulnak. A mélytanulási architektúrákra vonatkozó egyik legkorábbi hivatkozás 1967-ben jelent meg , de csak a 2010-es években nyert teret a DL, először a hangfelismerésben, majd a képek objektumfelismerésében, mivel képes volt összetett kapcsolatokat rögzíteni nagy dimenziós adatokban. A mélytanulás becslések szerint a 2022-es MI-alkalmazások többségét teszi ki, több mint 75%-a szervezi a DNN-eket olyan alkalmazásokhoz, amelyek klasszikus módszereket is használhatnának. A DL módszereket „ definiálták, amelyekben a hipotézisek összetett algebrai áramkörök formáját öltik, hangolható kapcsolási erősségekkel” . Ezek az algebrai áramkörök általában rétegekbe vannak rendezve, amelyek a számítás lépéseit alkotják. A kifejezés az egy rétegnél többet tartalmazó algoritmusokra vonatkozik. [](javascript:void()) 4 gépi tanulási technikákként [](javascript:void()) mély Két fő DNN-struktúra létezik: a feed-forward neurális hálózatok és a rekurrens neurális hálózatok. Mindkét típusú DNN számítási gráfként reprezentálható, a fő különbség az, hogy a feed-forward hálózatok közvetlen aciklikus gráfokként (DAG-ok) reprezentálhatók, míg a rekurrens neurális hálózatok ciklusokat tartalmazhatnak. A rekurrens neurális hálózatok adatsorozatokhoz épülnek, ahol minden adatpont függhet az előző adatpontoktól a sorozatban, míg a feed-forward neurális hálózatok nem veszik figyelembe az adatsorozat pontjai közötti interakciókat. A cikk további részében a feed-forward DNN-ek esetét vizsgáljuk. 5 III. SZEKCIÓ. Elosztott következtetés modellezése Ez a szekció egy modellt mutat be a DNN és a hálózati tulajdonságok reprezentálására a számítási késleltetések, a továbbítási késleltetések és egy adott partícionálási megoldás végső következtetési átviteli sebességének előrejelzése érdekében. A. DNN és hálózati reprezentáció Egy N rétegű feed-forward DNN egy GA=(L,E) DAG-ként modellezhető, ahol L=(L1,…,LL) a DNN rétegei. Az élek (Li,Lj)∈E az Li és Lj rétegek közötti kapcsolatokat jelentik. Minden Li réteghez tartozik egy ci számított fogyasztás, amelyet lebegőpontos műveletek számában mérnek egy rétegen keresztüli előrehaladási futtatáshoz. Az (Li,Lj) élekhez egy si,j súlyt rendelünk, amely az Li és Lj rétegek között átvitt adatok méretének felel meg bájtban. A fizikai hálózat egy teljes kapcsolatú G=(N,V) gráfként modellezhető, ahol N=(N1,…,NN) a számítási csomópontok halmaza, és V a csomópontok közötti kapcsolatok halmaza. Feltételezzük, hogy az N1,…,NN számítási csomópontok η1,…,ηN feldolgozási sebességgel rendelkeznek, másodpercenkénti lebegőpontos műveletekben mérve. Végül, két szomszédos Na és Nb csomópont közötti kapcsolat átviteli sebessége θa,b, másodpercenkénti bájtban mérve. Minden Ni csomópont önmagához csatlakozik végtelen átviteli sebességgel a loopback kapcsolat reprezentálására, és a kapcsolatokat szimmetrikusnak feltételezzük, azaz θa,b=θb,a. A partícionálások P:L→N térképekként vannak definiálva, azaz egy partícionálás egy csomópontszámot rendel minden DNN réteghez. Egy partícionálás egy P (N×L) dimenziós mátrixként írható le, ahol N a hálózaton lévő csomópontok száma és L a DNN rétegek száma, és Pa,i=1, ha az Li réteg az Na csomóponton van elhelyezve, különben 0. A 2. ábrán látható példában L=7 réteg és N=2 számítási csomópont van, az ábrázolt partícionálás, ahol az {L1,L2,L3,L6,L7} rétegek az N1 csomóponton, és az {L4,L5} rétegek az N2 csomóponton vannak, így reprezentálható: Adott partícionálás esetén egy a két felosztási pont közötti, ugyanazon a csomóponton sorban futó rétegek csoportjaként van definiálva. A fenti példában az N1 csomópont két szálat fog futtatni, az első tartalmazza az {L1,L2,L3} rétegeket, a második pedig a {L6,L7} rétegeket. szál Ezen jelölések definiálása után ez a szekció levezet egy zárt kifejezést az elért következtetési átviteli sebességre egy adott partícionálás esetén, a következtetési (III-B. szakasz) és a továbbítási (III-C. szakasz) késleltetések függvényében. B. Következtetési késleltetés előrejelzése Adott partícionálás esetén ez a szekció egy izolált csomóponton történő következtetési késleltetés előrejelzésével foglalkozik. Egy Li réteg számítási késleltetése, amelynek fogyasztása ci, és amelyet egy Na csomóponton kell kiszámítani, amelynek ηa feldolgozási sebessége van, Tci(Na)=ci/ηa-ként kerül kifejezésre. Adott L'⊂L rétegek halmaza esetén az összes Na csomóponton futó szálon, ηa feldolgozási sebességgel, a következtetési késleltetés a következőképpen fejezhető ki: Ez a kifejezés az elsőrendű közelítés a következtetési késleltetés becslésére, amely a DNN feldolgozásához szükséges lebegőpontos műveletek (FLOPs) számán alapul, azaz a modellben lévő szorzás-összeadás műveletek számán. Az él-eszközökön történő következtetési késleltetés becslését a futásidejű optimalizálások bonyolítják. A meglévő megoldások, mint például az nn-Meter , a FLOP-ok alapján becslik a következtetési késleltetést. Más megoldások egy felbontó táblázatra támaszkodnak, előre kiszámított következtetési időkkel a késleltetési becsléshez. Például a BRP-NAS egy előre betanított grafikonos konvolúciós hálózatot használ a következtetési késleltetések becslésére, figyelembe véve a futásidejű modelloptimalizálásokat. [](javascript:void()) [](javascript:void()) Az továbbá feltételezzük, hogy a processzorok teljes kapacitásukat kihasználják, ami azt jelenti, hogy a többmagos processzorokat egyetlen magos processzorokként modellezzük, amelyek feldolgozási sebessége megegyezik magjaik feldolgozási sebességének összegével. Azt is feltételezzük, hogy a számítási erőforrás egyenletesen oszlik meg a szálak között, azaz egy processzor az idejének ugyanazon arányát allokálja minden szálhoz. 1. egyenletben Az összes csomópontot tekintve a legnagyobb késleltetéssel rendelkező szál határozza meg az elosztott DNN következtetési átviteli sebességét. A továbbítási késleltetések mellőzésével ez azt jelenti, hogy miután ez a korlátozó szál befejezte az adatkeret számítását, közvetlenül elkezdi a következő feldolgozását. A többi szálnak tétlen időszaka lesz, mielőtt a következő adatkeretet feldolgoznák, mert a következtetési késleltetésük alacsonyabb ennél a maximális késleltetésnél, amint az az látható. 1. ábrán Adott P partícionálási mátrix esetén a következtetési késleltetések egyetlen Tc vektorral fejezhetők ki, amelynek N a mérete, ahol az a-adik komponens a maximális szál-következtetési késleltetés az Na csomóponton, azaz Tca=Tc(Na): ahol H a fordított csomópont feldolgozási sebességek diagonális mátrixa diag(η−11,…,η−1N), és c az egyes réteg-fogyasztások oszlopvektora (c1,…,cL). C. Továbbítási késleltetés előrejelzése A továbbítási késleltetés a következőképpen becsülhető: az az idő, amely szükséges az si,j adatok méretének továbbítására az Li és Lj rétegek között egy (Na,Nb) él mentén, egy θa,b átviteli sebességű kapcsolaton keresztül, Tti,j(Na,Nb)=si,j/θa,b. Az E′⊂E élek adatátvitelének ideje az (Na,Nb) kapcsolaton keresztül: Hasonlóan a következtetési késleltetés előrejelzéséhez, ez azt jelenti, hogy a kapcsolatok egyenletesen oszlanak meg az Na-tól Nb-ig tartó adatátvitel között. A továbbítási késleltetés előrejelzése a csomópontok közötti kapcsolat átviteli sebességének becslésén alapul, pontosabban a -on, azaz másodpercenként továbbított hasznos adat mennyiségén. goodput Hasonlóan a következtetési késleltetés becsléséhez, ez egy elsőrendű közelítés, amely hatékonyan jó predikciós eredményeket ad, amint az a lá 3. ábrán