Miért nem kell az AI-nak többé a felhőre támaszkodnia a gyorsabb működéshez

Szerzők: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Összefoglaló: A mély neurális hálózatok (DNN) streamadatokon történő következtetése számítási erőforrásokat igényel a következtetési átviteli sebesség követelményeinek teljesítéséhez. Az alacsony késleltetésű és adatvédelmi szempontból érzékeny mélytanulási alkalmazások azonban nem engedhetik meg maguknak a számítások távoli felhőkbe történő kihelyezését a továbbítási költségek és a harmadik féltől származó felhőszolgáltatók iránti bizalmatlanság miatt. A teljesítmény növelésére irányuló, a számításokat korlátozott környezetben tartó megoldások közül a hardveres gyorsítás megterhelő lehet, a modelloptimalizálás pedig kiterjedt tervezési erőfeszítéseket igényel, miközben akadályozza a pontosságot. A DNN-particionálás egy harmadik kiegészítő megközelítés, amely a következtetési munkaterhelés több rendelkezésre álló élére elosztását jelenti, figyelembe véve az élhálózat tulajdonságait és a DNN szerkezetét, azzal a céllal, hogy maximalizálja a következtetési átviteli sebességet (másodpercenkénti következtetések száma). Ez a cikk bemutat egy módszert a következtetési és továbbítási késleltetések előrejelzésére többszálú, elosztott DNN-telepítések esetén, és meghatároz egy optimalizálási folyamatot a következtetési átviteli sebesség maximalizálására. Ezt követően egy ág-és-határ (branch and bound) megoldó kerül bemutatásra és elemzésre az elért teljesítmény és összetettség kvantifikálására. Ez az elemzés azonosította a gyorsítási régiót, amely determinisztikus feltételeket ír le a DNN és a hálózati tulajdonságok tekintetében, amelyek mellett a DNN-particionálás előnyös. Végül a kísérleti eredmények megerősítik a szimulációkat, és következtetési átviteli sebesség-javulást mutatnak a mintavételes élkörnyezetekben. A DNN-particionálás az élen gyorsítja a következtetési átviteli sebességet, miközben csökkenti a sávszélesség-használatot és a központi szerverekhez (pl. a felhőhöz) képesti késleltetést. Bevezetés A csatlakoztatott eszközök becslések szerint napi 2,5 trillió bájt adatot generáltak 2020-ban. Ebben a kontextusban a Mesterséges Intelligencia (MI) az egyik olyan technológia, amely a legjobban képes megbirkózni a folyamatosan növekvő adatmennyiséggel, olyan területeken, mint az objektumdetektálás a számítógépes látásban, az arcfelismerés, a beszédfelismerés, a természetesnyelv-feldolgozás vagy az önvezető autózás. Az MI, és különösen a Mélytanulás (DL) nagy mennyiségű adat mellett jelentős feldolgozási teljesítményt és memóriakapacitást igényel, ami a felhőcomputingot teszi az MI-munkaterhelések alapértelmezett tárhelyévé. Következésképpen 2019-ben az MI feladatok 96%-át a felhőben futtatták. 1 2 Az MI alkalmazásoknak szigorú késleltetési követelményeik lehetnek, például az önvezető autózásban, a gyártásfelügyeletben, vagy bármilyen valós idejű következtetésnél, amely valós interakciót foglal magában. Például az önvezető autózásban az átlagos válaszidőnek 100 milliszekundumnál rövidebbnek kell lennie , ami miatt a felhőhöz való oda-vissza út túl hosszú ezekhez az alkalmazásokhoz. Hasonlóképpen, egyes alkalmazások jelentős linkhasználatot okozhatnak a hálózaton, például nagy felbontású videófeldolgozás esetén a számítógépes látásban, ami megakadályozza a felhőben történő futtatásukat. Az adatvédelmi szabályzatok vagy az adatvédelmi előírások is megtilthatják az adatok meghatározott környezetből való kilépését. Ez ösztönzi az MI-telepítéseket az élcomputingban, amely a számítási feladatok adatközpontokból közelebb helyezését jelenti az élkészülékekhez, azaz az adatforrások közelébe. [](javascript:void()) A nyilvános felhőkkel összehasonlítva az él egy erőforrásokban korlátozott környezet, jelentős korlátokkal , így az MI fejlesztése az élre ezért lényegesen eltér az MI fejlesztésétől a felhőre. Az adatok forrásuk közelében történő elemzése kihívást jelenthet az alacsonyabb eszközkapacitások, a rendelkezésre álló erőforrások rugalmatlansága és az élhálózatok heterogenitása miatt. Az alacsonyabb számítási kapacitás alacsonyabb elérhető következtetési átviteli sebességet jelent, ami tovább bonyolítja a nagy munkaterhelések felhőről az élre történő áthelyezését. Néhány alkalmazásban a következtetési átviteli sebesség, azaz a DNN másodpercenkénti elérhető következtetéseinek száma összekapcsolható lehet a DNN pontosságával, például objektumkövetés esetén videófolyamokban, ahol a következtetési sebesség 15-ről 5 következtetés/másodpercre csökkentése kimutatta, hogy 10%-kal csökkentette az objektumdetektor F1 pontszámát__3__ . Más szóval, az alacsony következtetési átviteli sebességű telepítések kritikus információvesztést okozhatnak, például detektálási veszteségeket a videófelügyeleti alkalmazásokban. [](javascript:void()) [](javascript:void()) Két fő módszer áll rendelkezésre a teljesítménykövetelmények teljesítésére a korlátozott élhálózatokon: a modellkompresszió vagy a hardveres gyorsítás. A magában foglalja a neurális hálózatok csökkentését és optimalizálását egy könnyű, gyakran alulteljesítő modellverzióvá. A standard modellkompressziós módszerek közé tartozik a metszés , azaz a modell szükségtelen paramétereinek eltávolítása, a kvantálás , azaz a modell tárolására allokált memória csökkentése, és a tudásdesztilláció , azaz egy kisebb neurális hálózat képzése egy nagyobb hálózatból kivont tudás segítségével. A modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, és akadály lehet a modell pontosságában. A az élkészülékeken olyan hardver megtalálását jelenti, amely egyaránt energiahatékony és könnyű, miközben képes elegendő teljesítménnyel futtatni a következtetést. Különféle típusú hardverek jöhetnek szóba az élen történő gyorsításhoz, amelyek hatékonyságukban és specifikusságukban eltérnek, de a standard feldolgozóegységek nem felelnek meg az elvárásoknak, és a dedikált hardverek, mint az ASIC-ok, nem praktikusnak és drágának bizonyultak . modellkompresszió [](javascript:void()) [](javascript:void()) [](javascript:void()) hardveres gyorsítás [](javascript:void()) A DNN-particionálás egy kiegészítő módszer a következtetés gyorsítására az élhálózatok több meglévő eszközének kihasználásával a következtetési számítás elosztására – amely önmagában vagy a másik két módszerrel együtt használható. A DNN-particionálás egy neurális hálózatot egy pipeline-nak tekint, amelyet partíciókra lehet szegmentálni, és ezeket a partíciókat az élkészülékekre elosztani. Ezen partíciók elhelyezése mind a DNN, mind az alatta lévő hálózati jellemzőkön alapul. A DNN-particionálás a felosztási pontok azonosítására támaszkodik, amelyek a modell gráfjában olyan pontok, ahol a modellt partíciókra osztják. Futásidőben a partíciók szekvenciálisan futnak, mindegyik köztes következtetési eredményt küld a következő partíciónak. Ez lehetővé teszi, hogy minden partíció elkezdje a következő bemeneti adat feldolgozását, miközben a többi eszköz folytatja a kihelyezett adat feldolgozását, ezáltal javítva a következtetési átviteli sebességet, amint az az ábra 1-en látható. A cikk további részében a DNN-particionálást a valós idejű videófolyamok következtetésének példáján keresztül illusztráljuk. A. Kapcsolódó munkák A mobil él-felhő kihelyezésből származó DNN-particionálási módszerek különféle teljesítményjelzők optimalizálására törekednek, mint például a számítási késleltetés, energiafogyasztás, erőforrás-kihasználás, költség vagy átviteli sebesség. A DNN-particionálás egy vagy több ilyen metrika társítására támaszkodik egy optimalizálási cél meghatározásához, és egy olyan módszerre, amely ezt a metrikát használja a particionálási sémák megtalálásához. Például a Neurosurgeon egyetlen felosztási pontot keres, az első partíciót az élen tartva, és a második partíciót a felhőbe kihelyezve, a késleltetés és az energiafogyasztás minimalizálása érdekében. Az IoT alkalmazások szintén figyelembe vették több DNN együttes particionálását és kihelyezését az energia, a késleltetés és/vagy a költség optimalizálása érdekében, különféle megoldókkal, mint például az SPSO-GA , amely kombinálja a részecskeszarm-optimalizálást (PSO) és a genetikai algoritmust (GA), vagy a DDPQN , amely mély megerősítő tanulást használ a particionálási sémák megtalálásához. Más példák közé tartozik a DINA , amely egy egész szám nemlineáris programozási (INLP) problémát határoz meg, és egy illesztési elméleten alapuló megoldót használ a késleltetés és az erőforrás-kihasználás optimalizálására a ködhálózatokban. A következtetési átviteli sebességet optimalizáló módszerek közé tartozik a DNN surgery , amely a köztes DNN rétegkimenetek kisebb méretét használja fel a következtetési számítás felosztására az él és a felhő között. Mindkét algoritmus két partíciót hoz létre, az egyiket az élen, a másikat a felhőben. Más tanulmányok a mobil él-felhő területén szintén magukban foglalják a felhőben történő többszálú számítást az általános következtetési átviteli sebesség további gyorsítása érdekében. A második partíció következtetési számításához a felhőre támaszkodni jó hálózati kapcsolatot feltételez, ami bizonytalan lehet egyes elszigetelt éltelepítések gyenge csatlakozása esetén. Az Edgent kiterjeszti az előző módszertanát mobilkészülékekre és elérhető élkiszolgálókra, lazítva a felhőbe való kihelyezés korlátozását. Ez a módszer egy specifikus képzési és modellarchitektúrához kapcsolódik, és továbbra is csak két partícióra korlátozza a particionálást. Más módszerek több felosztási pontot is figyelembe vettek, például az IONN , amely a késleltetés és az energiafogyasztás minimalizálására szolgáló particionálási problémát írja le, figyelembe véve az élszolgáltatókra történő modellek feltöltésének idejét is. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ezek a módszerek vagy távoli felhőkkel lépnek kapcsolatba, vagy korlátozottak a particionálás jellegében, például pontosan két részre, többszálúsággal vagy anélkül kell felosztani őket. A felsorolt DNN-particionálási tanulmányok egyike sem veszi figyelembe egyszerre a több felosztási pontot és a többszálúságot. B. Hozzájárulások Ez a cikk egy elosztott következtetési keretrendszert mutat be a valós idejű DNN-számítások következtetési átviteli sebességének maximalizálására streamadatokon, több felosztási ponttal és többszálú particionálással. A cikk hozzájárulásai a következők: Egy modell az elosztott DNN számítási és továbbítási késleltetéseinek kiszámítására, amelyen keresztül becsülhető egy adott particionálási séma várható következtetési átviteli sebessége. Az DNN-particionálási optimalizálási probléma megfogalmazása, egy ág-és-határ megoldó implementálása ehhez a problémához, és annak összetettségének értékelése. Szimulációk a lehetséges teljesítményjavulások feltárására változó hálózati és DNN tulajdonságokkal. A hálózati és DNN tulajdonságokban található determinisztikus régiók azonosítása, amelyek optimális partíciók létezéséhez és az ilyen megoldások kiszámításának költségéhez vezetnek, azaz azoknak a feltételeknek a meghatározása, amelyek mellett a DNN-particionálás előnyös. Kísérleti eredmények, amelyek szemléltetik a szimulációkban definiált régiókat, valamint a predikció pontosságát és a végső következtetési átviteli sebesség gyorsítását homogén és heterogén környezetekben. A cikk további részében, a félreértések elkerülése érdekében, a particionált mély neurális hálózatot -nek, a szót pedig az alatta lévő fizikai kommunikációs hálózatnak nevezzük. DNN hálózat C. Cikk felépítése A cikk további része a következőképpen szerveződik. A bemutatja a Mélytanulás hátterét és azt, hogyan reprezentáljuk a DNN-eket ebben a tanulmányban. A részletezi a következtetési és továbbítási késleltetési predikciós módszereket, amelyek a szükségesek, amely meghatározza az optimalizálási problémát, valamint az ág-és-határ algoritmust a particionálási döntések meghozatalához. Az bemutatja a szimulációs eredményeket a B&B algoritmus teljesítményének és összetettségének kvantifikálására, valamint azokra a feltételekre, amelyek optimális partíció létezéséhez vezetnek, amely javítja a következtetési átviteli sebességet egy homogén hálózatban. A bemutatja a kísérleti eredményeket, amelyek megerősítik az szimulációit, és következtetési átviteli sebesség-javulást mutatnak egy heterogén kísérleti beállításon. Végül a megbeszéli az eredményeket, és kitér a módszer szélesebb körű alkalmazhatóságára. II. szekció III. szekció IV. szekcióhoz V. szekció VI. szekció V. szekció VII. szekció II. SZEKCIÓ. HÁTTÉR: MÉLYTANULÁS A gépi tanulás területén a Mélytanulás (DL) olyan módszereket foglal magában, amelyek DNN-eket, azaz több mint egy rejtett réteget tartalmazó mesterséges neurális hálózatokat (vagy kapcsolódó gépi tanulási módszereket) használnak. A mélytanulási architektúrákra való egyik legkorábbi hivatkozást 1967-ben publikálták , de csak a 2010-es években kezdett elterjedni a DL, először a beszédfelismerésben, majd az objektumdetektálásban a képekben, a nagy dimenziós adatokban rejlő komplex kapcsolatok rögzítésének képessége miatt. A mélytanulás becslések szerint a MI alkalmazások többségét teszi ki 2022-ben, a szervezetek több mint 75%-a használ DNN-eket olyan alkalmazásokban, amelyek klasszikus módszereket is használhatnának. A DL módszereket úgy definiálták, hogy „*olyan gépi tanulási technikák, amelyekben a hipotézisek összetett algebrai áramkörök formáját öltik, állítható kapcsolási erősségekkel*” . Ezek az algebrai áramkörök általában rétegekbe vannak rendezve, amelyek a számítás lépéseit alkotják. A kifejezés több mint egy réteget tartalmazó algoritmusokra utal. [](javascript:void()) 4 [](javascript:void()) mély Két fő DNN szerkezet létezik: a feed-forward neurális hálózatok és a rekurrens neurális hálózatok. Mindkét típusú DNN számítási gráfként reprezentálható, a fő különbség az, hogy a feed-forward hálózatok irányított ciklusmentes grafikonokként (DAG-okként) reprezentálhatók, míg a rekurrens neurális hálózatok ciklusokat tartalmazhatnak. A rekurrens neurális hálózatok adatsorozatokhoz készülnek, ahol minden adatpontnak potenciális függősége van a sorozat korábbi adatpontjaival, míg a feed-forward neurális hálózatok nem veszik figyelembe az interakciókat az adatsorozat pontjai között. A cikk további részében a feed-forward DNN-ek esetét vesszük figyelembe. 5 III. SZEKCIÓ. ELOSZTOTT KÖVETKEZTETÉSI MODELLALAKÍTÁS Ez a szekció egy modellt mutat be a DNN és a hálózati tulajdonságok reprezentálására annak érdekében, hogy előre jelezze a számítási késleltetéseket, a továbbítási késleltetéseket és egy adott particionálási megoldás végső következtetési átviteli sebességét. A. DNN és hálózat reprezentáció Egy N rétegű feed-forward DNN egy GA=(L,E) DAG-ként modellezhető, ahol L=(L1,...,LL) a DNN rétegei. Az élek (Li,Lj)∈E a rétegek Li és Lj közötti kapcsolatok. Minden Li réteghez tartozik egy ci számítási költség, amelyet a rétegen történő előre irányuló futás kiszámításához szükséges lebegőpontos műveletek számában mérünk. Az (Li,Lj) élekhez egy si,j súlyt rendelünk, amely megfelel a Li és Lj rétegek közötti, bájtokban mért átmenő adat méretének. A fizikai hálózat egy teljesen csatlakoztatott G=(N,V) grafikonként modellezhető, ahol N=(N1,...,NN) a számítási csomópontok halmaza, és V a csomópontok közötti kapcsolatok halmaza. Feltételezzük, hogy az N1,...,NN számítási csomópontok η1,...,ηN feldolgozási sebességgel rendelkeznek, másodpercenkénti lebegőpontos műveletekben mérve. Végül, két szomszédos csomópont Na és Nb közötti kapcsolat átviteli sebessége θa,b, másodpercenkénti bájtokban mérve. Minden Ni csomópont önmagához végtelen átviteli sebességgel csatlakozik az ismételt kapcsolat reprezentálására, és feltételezzük, hogy a kapcsolatok szimmetrikusak, azaz θa,b=θb,a. A partíciókat P:L→N leképezésekként definiáljuk, azaz egy partíció minden DNN réteghez hozzárendel egy csomópontszámot. Egy partíció leírható egy P (N×L) méretű mátrixként, ahol N a hálózaton lévő csomópontok száma, és L a DNN rétegek száma, és Pa,i=1, ha az Li réteg az Na csomóponton található, 0 egyébként. A 2. ábrán látható példával, ahol 7 réteg és 2 számítási csomópont van, a rétegek {L1,L2,L3,L6,L7} N1 csomóponton, és a {L4,L5} rétegek N2 csomóponton történő megjelenítése a következőképpen reprezentálható: Egy partíciót megadva egy a két felosztási pont közötti, azonos csomóponton futó, egymást követő rétegek csoportjaként van definiálva. A fenti példában az N1 csomópont két szálat futtat, az első a {L1,L2,L3} rétegeket tartalmazza, a második pedig a {L6,L7} rétegeket. szál Ezen jelölések definiálása után a szekció további része levezet egy zárt kifejezést az adott partíció által elért következtetési átviteli sebességre, a következtetési (III-B. szakasz) és a továbbítási (III-C. szakasz) késleltetések függvényében. B. Következtetési késleltetés előrejelzés Adott partíció esetén ez a szakasz egy izolált csomóponton történő következtetési késleltetés előrejelzését vizsgálja. Az Li réteg számításával okozott késleltetés, amelynek költsége ci, és amelyet az Na csomóponton kell kiszámítani, amelynek ηa feldolgozási sebessége van, Tc(Na)=ci/ηa kifejezéssel van megadva. Adott L'⊂L réteg halmaz esetén az Na csomóponton futó összes szálon, ηa feldolgozási sebességgel, a következtetési késleltetés a következőképpen fejezhető ki: Ez a kifejezés egy elsőrendű közelítés a következtetési késleltetés becslésére, amely a DNN feldolgozásához szükséges lebegőpontos műveletek (FLOPs) számán alapul, azaz a modellben lévő szorzás-addíció műveletek számán. Az élkészülékeken történő következtetési késleltetés becslését a futásidejű optimalizálások bonyolítják. A meglévő megoldások, mint például az nn-Meter , a FLOPs alapján becsülik a következtetési késleltetést. Más megoldások egy keresőtáblára támaszkodnak, előre kiszámított következtetési időkkel a késleltetés előrejelzéséhez. Például a BRP-NAS egy előre képzett grafikon konvolúciós hálózatot használ a következtetési késleltetések előrejelzésére, figyelembe véve a futásidejű modelloptimalizálásokat. [](javascript:void()) [](javascript:void()) Az továbbá feltételezzük, hogy a processzorok teljes kapacitásukat kihasználják, ami azt jelenti, hogy a többmagos processzorokat egyetlen magos processzorokként modellezzük, amelyek feldolgozási sebessége megegyezik a mag feldolgozási sebességük összegével. Azt is feltételezzük, hogy a számítási erőforrás egyenletesen oszlik meg a szálak között, azaz egy processzor idejének azonos arányát allokálja minden szálra. 1. egyenletben Az összes csomóponton a legnagyobb késleltetéssel rendelkező szál határozza meg a következtetési átviteli sebességet az elosztott DNN számára. A továbbítási késleltetések figyelmen kívül hagyásával ez azt jelenti, hogy miután ez a korlátozó szál befejezte egy adatkeret számítását, közvetlenül a következő feldolgozását kezdi meg. Más szálaknál üresjárat lesz az új adatkeret feldolgozása előtt, mert a következtetési késleltetésük alacsonyabb ennél a maximális késleltetésnél, amint az az ábra 1-en látható. Adott P partíciós mátrix esetén a következtetési késleltetések egyetlen Tc vektorrá fejezhetők ki, amelynek N a mérete, ahol az a-adik komponens a legnagyobb szál következtetési késleltetés az Na csomóponton, azaz Tca=Tc(Na): ahol H az inverz csomóponti feldolgozási sebességek átlós mátrixa diag(η−11,...,η−1N), és c az egyes rétegköltségek (c1,...,cL) oszlopvektora. C. Továbbítási késleltetés előrejelzés A továbbítási késleltetés a következőképpen becsülhető: az si,j adatmennyiség Li és Lj rétegek közötti továbbításának ideje az él (Na,Nb) felett egy θa,b átviteli sebességű kapcsolaton Tti,j(Na,Nb)=si,j/θa,b. Az E′⊂E továbbítási adatok átvitelének ideje a (Na,Nb) kapcsolaton: Hasonlóan a következtetési késleltetés előrejelzéséhez, ez azt jelenti, hogy a kapcsolatokat egyenletesen osztják meg az Na és Nb közötti adatátvitel között. A továbbítási késleltetés előrejelzése a csomópontok közötti kapcsolat átviteli sebességének becslésén alapul, pontosabban a (goodput), azaz másodpercenként továbbított hasznos adatmennyiségen. jó átviteli sebességen Hasonlóan a következtetési késleltetés becsléséhez, ez egy elsőrendű közelítés, amely hatékonyan jó predikciós eredményeket kínál, amint az a 3. ábrán látható c, 0.9998-as korrelációs együtthatóval. Ennek a módszernek a hátránya, hogy az átviteli sebesség becslés