Miért van az AI-nak nincs szüksége a Cloud-ra ahhoz, hogy gyorsabban fusson

Szerzők: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Összefoglalás: A mély neurális hálózatok (DNN-ek) streamelő adatokon történő következtetési képessége erőforrásigényes, hogy kielégítse a következtetési átviteli sebesség követelményeit. Azonban a késleltetésre és adatvédelemre érzékeny mélytanulási alkalmazások nem engedhetik meg maguknak a számítások távoli felhőkbe való kihelyezését a kapcsolódó átviteli költségek és a harmadik féltől származó felhőszolgáltatókba vetett bizalom hiánya miatt. A teljesítmény növelésére irányuló megoldások közül, miközben a számítást korlátozott környezetben tartjuk, a hardveres gyorsítás költséges lehet, a modelloptimalizálás pedig kiterjedt tervezési erőfeszítéseket igényel, miközben rontja a pontosságot. A DNN-particionálás egy harmadik kiegészítő megközelítés, amely az következtetési munka elosztását jelenti több rendelkezésre álló él-eszköz között, figyelembe véve az él-hálózat tulajdonságait és a DNN szerkezetét, azzal a céllal, hogy maximalizáljuk az következtetési átviteli sebességet (másodpercenkénti következtetések száma). Ez a cikk egy módszert mutat be a következtetési és átviteli késleltetések előrejelzésére több szálon futó elosztott DNN-telepítések esetén, és meghatároz egy optimalizálási folyamatot az következtetési átviteli sebesség maximalizálására. Ezt követően bemutatunk és elemezünk egy ág-és-határ (branch and bound) megoldót az elért teljesítmény és komplexitás kvantifikálására. Ez az elemzés azonosította a gyorsítási tartományt, amely meghatározott feltételeket ír le a DNN és a hálózati tulajdonságok tekintetében, amelyek esetén a DNN-particionálás előnyös. Végül a kísérleti eredmények megerősítik a szimulációkat, és következtetési átviteli sebesség javulást mutatnak mintavételi él-telepítések esetén. A DNN-particionálás az élen gyorsítja az következtetési átviteli sebességet, miközben csökkenti a sávszélesség-használatot és a központi szerverekhez, pl. a felhőhöz, képest a késleltetést. Bevezetés A csatlakoztatott eszközök naponta becslések szerint 2,5 trillió bájt adatot generáltak 2020-ban. Ebben a kontextusban a mesterséges intelligencia (MI) az egyik olyan technológia, amely a legjobban képes megbirkózni az egyre növekvő adatmennyiséggel, olyan területeken, mint az objektumfelismerés a számítógépes látásban, az arcfelismerés, a hangfelismerés, a természetes nyelvfeldolgozás vagy az önvezető járművek. Az MI, és különösen a mélytanulás (DL), nagy mennyiségű adaton túl jelentős feldolgozási teljesítményt és memóriakapacitást igényel, ami miatt a felhőalapú számítás válik az MI-feladatok alapértelmezett tárolási megoldásává. Következésképpen 2019-ben az MI feladatok 96%-a futott a felhőben. 1 2 Az MI-alkalmazások erős késleltetési korlátozásokkal rendelkezhetnek, pl. önvezető járművek, gyártásfelügyelet vagy bármilyen valós idejű következtetés, amely valós világbeli interakciót foglal magában. Például az önvezető járművek átlagos válaszidejének 100 milliszekundumnál rövidebbnek kell lennie , ami túl hosszú ahhoz, hogy a felhőhöz való oda-vissza utazási idő megfeleljen az ilyen alkalmazásoknak. Hasonlóképpen, egyes alkalmazások jelentős sávszélesség-használatot okozhatnak a hálózaton, pl. magas minőségű videófeldolgozás esetén a számítógépes látásban, ami megakadályozza a felhőben való futtatásukat. Az adatvédelmi szabályzatok vagy adatvédelmi előírások is megtilthatják az adatok elhagyását bizonyos környezetekből. Ez ösztönzi az MI-telepítéseket az él-számításban, amely a számítási feladatok adatközpontokból közelebb történő áthelyezését jelenti az él-eszközökhöz, azaz az adatforrásokhoz való közelségben. [](javascript:void()) A nyilvános felhőkkel összehasonlítva az él egy erőforrás-korlátozott környezet jelentős korlátokkal , ezért az MI fejlesztése az élen alapvetően különbözik az MI fejlesztésétől a felhőben. Az adatok forrásukhoz közeli elemzése kihívást jelenthet az alacsonyabb eszközkapacitások, a rendelkezésre álló erőforrások rugalmatlansága és az él-hálózatok heterogenitása miatt. Az alacsonyabb számítási kapacitás alacsonyabb elérhető következtetési átviteli sebességet jelent, ami tovább bonyolítja a nehéz feladatok felhőből az élre történő áthelyezését. Egyes alkalmazásokban az következtetési átviteli sebesség, azaz a DNN másodpercenkénti elérhető következtetéseinek száma összekapcsolható a DNN pontosságával, pl. objektumkövetés esetén videó stream-ekben, ahol az következtetési sebesség 15-ről 5 következtetésre csökkentése 10%-kal csökkentette az objektumdetektor F1-pontszámát . Más szóval, az alacsony következtetési átviteli sebességű telepítések kritikus információvesztést okozhatnak, pl. detektálások elvesztése videó megfigyelő alkalmazásokban. [](javascript:void()) __3__ [](javascript:void()) Két fő módszer áll rendelkezésre a teljesítménykövetelmények teljesítésére korlátozott él-hálózatokon: a modellkompresszió vagy a hardveres gyorsítás. A a neurális hálózatok csökkentését és optimalizálását jelenti egy könnyű, gyakran alulteljesítő modellverzióvá. A standard modellkompressziós módszerek közé tartozik a metszés , azaz a felesleges paraméterek eltávolítása a modellből, kvantálás , azaz a modell tárolására elkülönített memória csökkentése, és tudásdesztilláció , azaz egy kisebb neurális hálózat képzése egy nagyobb hálózatból kivont tudással. A modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, és akadályozhatja a modell pontosságát. A az él-eszközökön olyan hardver megtalálását jelenti, amely lehet energiatakarékos és könnyű, miközben továbbra is képes megfelelő teljesítménnyel futtatni az következtetést. Számos típusú hardver jelölt van a gyorsításra az élen, eltérő hatékonyság és specificitás mellett, de a standard feldolgozó egységek nem teljesítik az elvárásokat, és a dedikált hardverek, mint az ASIC-ok, nem praktikusnak és drágának bizonyultak . modellkompresszió [](javascript:void()) [](javascript:void()) [](javascript:void()) hardveres gyorsítás [](javascript:void()) A DNN-particionálás egy kiegészítő módszer az következtetési gyorsításra, amely kihasználja az él-hálózatokon található eszközök sokaságát az következtetési számítás elosztására – amely önmagában vagy a másik két módszerrel kombinálva használható. A DNN-particionálás egy neurális hálózatot egy pipeline-nak tekint, amelyet partíciókra szegmentálnak, és ezeket a partíciókat elosztják az él-eszközökön. Ezen partíciók elhelyezése mind a DNN-en, mind az alatta lévő hálózati jellemzőkön alapul. A DNN-particionálás a felosztási pontok azonosításán alapul, amelyek a modell gráfjában azok a pontok, ahol a modellt partíciókra osztják. Futásidőben a partíciók szekvenciálisan futnak, mindegyik köztes következtetési eredményt küld a következő partícióba. Ez lehetővé teszi az egyes partíciók számára, hogy elkezdjék feldolgozni a következő bemeneti adatot, miközben a többi eszköz folytatja a kihelyezett feldolgozását, ezáltal javítva az következtetési átviteli sebességet, ahogy az az látható. A cikk további részében a DNN-particionálást a valós idejű videó stream-eken történő következtetés példáján keresztül szemléltetjük. 1. ábrán A. Kapcsolódó munka A mobil él-felhő kihelyezésből származó DNN-particionálási módszerek változó teljesítménymutatókat igyekeznek optimalizálni, mint például a számítási késleltetés, az energiafogyasztás, az erőforrás-kihasználás, a költség vagy az átviteli sebesség. A DNN-particionálás az egyik vagy több ilyen mutató társítására támaszkodik egy optimalizálási cél meghatározásához, és egy olyan módszerre, amely ezt a mutatót kihasználva talál particionálási sémákat. Például a Neurosurgeon egyetlen felosztási pontot keres, az első partíciót az élen tartva, és a második partíciót a felhőbe kihelyezve, a késleltetés és az energiafogyasztás minimalizálása érdekében. Az IoT-alkalmazások is figyelembe vették több DNN együttes particionálását és kihelyezését az energia, a késleltetés és/vagy a költség optimalizálása érdekében, különböző megoldók használatával, mint például az SPSO-GA a Részecske-Svirág Optimalizálás (PSO) és a Genetikai Algoritmus (GA) kombinálásával, vagy a DDPQN , amely mély megerősítő tanulést használ a particionálási sémák megtalálásához. Más példák közé tartozik a DINA , amely egy egész számú nemlineáris programozási (INLP) problémát határoz meg, és egy illesztési elméleten alapuló megoldót használ a késleltetés és az erőforrás-kihasználás optimalizálására a ködhálózatokban. Az következtetési átviteli sebességet optimalizáló módszerek közé tartozik a DNN-sebészet , amely a köztes DNN réteg kimeneteinek kisebb méretét használja az következtetési számítás felosztására az él és a felhő között. Mindkét algoritmus két partíciót hoz létre, az egyiket az élen, a másikat a felhőben. Más tanulmányok a mobil él-felhő területén is magukban foglalják a felhőben történő több szálon futó számítást az összeges következtetési átviteli sebesség további gyorsítása érdekében. A második partíció következtetési számításához a felhőre támaszkodni a jó hálózati kapcsolatot feltételezi, amely bizonytalan lehet egyes elszigetelt él-telepítések gyenge kapcsolati képességeivel. Az Edgent a korábbi módszertant mobil eszközökre és elérhető él-szerverekre adaptálja, lazítva a felhőbe való kihelyezés követelményét. Ez a módszer egy specifikus képzési és modellarchitektúrához kapcsolódik, és továbbra is csak két partícióra korlátozza a particionálást. Más módszerek több felosztási pontot is figyelembe vettek, pl. az IONN , amely a késleltetés és az energiafogyasztás minimalizálására irányuló particionálás problémáját írja le, figyelembe véve a modellek él-szerverekre való feltöltésének idejét is. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ezek a módszerek vagy távoli felhőkkel lépnek kölcsönhatásba, vagy korlátozottak a particionálás természetében, pl. pontosan két részre kell felosztani, több szálon futással vagy anélkül. A felsorolt DNN-particionálási tanulmányok egyike sem veszi figyelembe egyszerre a több felosztási pontot és a több szálon futást. B. Hozzájárulások Ez a cikk egy elosztott következtetési keretrendszert mutat be a valós idejű DNN-számítások következtetési átviteli sebességének maximalizálására streamelő adatokon, több felosztási ponttal és több szálon futó particionálással. A cikk hozzájárulásai a következők: Egy modell az elosztott DNN számítási és átviteli késleltetéseinek kiszámítására, amelyen keresztül megbecsülhető egy adott particionálási séma várható következtetési átviteli sebessége. Az DNN-particionálás optimalizálási problémájának megfogalmazása, egy ág-és-határ megoldó implementálása ehhez a problémához, és annak komplexitásának értékelése. Szimulációk a lehetséges teljesítményjavulások feltárására változó hálózati és DNN tulajdonságokkal. Azonosított determinisztikus régiók a hálózat és a DNN tulajdonságokban, amelyek optimális partíciók létezéséhez és az ilyen megoldások kiszámításának költségéhez vezetnek, azaz azon feltételek, amelyek mellett a DNN-particionálás előnyös. Kísérleti eredmények, amelyek szemléltetik a szimulációkban meghatározott régiókat, valamint a predikciós pontosságot és a végső következtetési átviteli sebesség gyorsítását homogén és heterogén környezetekben. A cikk további részében, a félreértések elkerülése végett, a particionált mély neurális hálózatot -nek, a szót pedig az alatta lévő fizikai kommunikációs hálózatot jelöli. DNN hálózat C. A cikk vázlata A cikk további része a következőképpen szerveződik: a a mélytanulás hátterét és a DNN-ek jelen tanulmányban való ábrázolását mutatja be. A részletezi az következtetési és átviteli késleltetés előrejelzési módszereket, amelyek szükségesek a , amely meghatározza az optimalizálási problémát, valamint az ág-és-határ algoritmust a particionálási döntések meghozatalához. Az szimulációs eredményeket mutat be az ág-és-határ algoritmus teljesítményének és komplexitásának kvantifikálására, valamint azon feltételeket, amelyek optimális partícióhoz vezetnek, amely javítja az következtetési átviteli sebességet egy homogén hálózatban. A kísérleti eredményeket mutat be, amelyek megerősítik az szimulációit, és következtetési átviteli sebesség javulást mutatnak egy heterogén kísérleti összeállításban. Végül a megbeszéli az eredményeket és kitér a módszer szélesebb körű alkalmazhatóságára. II. szekció III. szekció IV. szekcióhoz V. szekció VI. szekció V. szekció VII. szekció II. SZEKCIÓ. Háttér: Mélytanulás A gépi tanulás területén a mélytanulás (DL) olyan módszereket jelöl, amelyek DNN-ek, azaz több mint egy rejtett réteget tartalmazó mesterséges neurális hálózatok (vagy kapcsolódó gépi tanulási módszerek) használatán alapulnak. A mélytanulási architektúrákra való egyik legkorábbi utalás 1967-ben jelent meg , de csak a 2010-es években kezdett elterjedni a DL, először a hangfelismerésben, majd a képek objektumfelismerésében, a magas dimenziójú adatokban lévő összetett összefüggések rögzítésének képessége miatt. A mélytanulás becslések szerint az MI-alkalmazások többségét teszi ki 2022-ben, több mint 75%-a a szervezeteket DNN-eket használ a klasszikus módszereket is használható alkalmazásokhoz. A DL módszereket úgy definiálták, mint „ gépi tanulási technikák, amelyekben a hipotézisek komplex algebrai áramkörök formájában öltenek, állítható kapcsolási erősséggel ” . Ezek az algebrai áramkörök általában rétegekbe vannak rendezve, amelyek a számítás lépéseit alkotják. A szó olyan algoritmusokat jelöl, amelyek több mint egy rétegből állnak. [](javascript:void()) [](javascript:void()) mély Két fő DNN-struktúra létezik: a feed-forward neurális hálózatok és a rekurrens neurális hálózatok. Mindkét típusú DNN számítási gráfnak tekinthető, a fő különbség az, hogy a feed-forward hálózatok közvetlen akácikus gráfnak (DAG) tekinthetők, míg a rekurrens neurális hálózatok ciklusokat tartalmazhatnak. A rekurrens neurális hálózatokat adatszekvenciákhoz tervezték, ahol minden adatpont potenciálisan függhet az előző adatpontoktól a szekvenciában, míg a feed-forward neurális hálózatok nem veszik figyelembe az adatszekvencián belüli pontok közötti interakciókat. A cikk további részében a feed-forward DNN-ek esetét vizsgáljuk. 5 III. SZEKCIÓ. Elosztott következtetés modellezése Ez a szekció egy modellt mutat be a DNN és a hálózati tulajdonságok reprezentálására annak érdekében, hogy előre jelezze a számítási késleltetéseket, az átviteli késleltetéseket és egy adott particionálási megoldás végső következtetési átviteli sebességét. A. DNN és hálózat reprezentáció Egy N rétegű feed-forward DNN egy GA=(L,E) DAG-nak modellezhető, ahol L=(L1,…,LL) a DNN rétegei. Az élek (Li,Lj)∈E a rétegek Li és Lj közötti kapcsolatok. Minden Li réteghez tartozik egy ci számítási költség, amelyet a rétegen keresztüli előrehaladó lépéshez szükséges lebegőpontos műveletek számában mérnek. Az (Li,Lj) élekhez egy si,j súlyt rendelnek, amely a rétegek Li és Lj közötti átvitt adat méretének felel meg bájtban. A fizikai hálózatot egy teljes kapcsolású G=(N,V) gráfnak modellezzük, ahol N=(N1,…,NN) a számítási csomópontok halmaza, V pedig a csomópontok közötti kapcsolatok halmaza. Feltételezzük, hogy az N1,…,NN számítási csomópontok η1,…,ηN feldolgozási sebességgel rendelkeznek, másodpercenkénti lebegőpontos műveletekben mérve. Végül, az Na és Nb csomópontok közötti kapcsolat átviteli sebességét θa,b jelöli, bájt/másodpercben mérve. Minden Ni csomópont önmagához végtelen átviteli sebességű kapcsolattal van összekötve az visszahívó kapcsolat reprezentálására, és a kapcsolatokat szimmetrikusnak feltételezzük, azaz θa,b=θb,a. A partíciókat P:L→N leképezéseknek definiáljuk, azaz egy partíció minden réteghez hozzárendel egy csomópontszámot a DNN-ben. Egy partíció egy P mátrixszal írható le, amelynek mérete (N×L), ahol N a hálózaton lévő csomópontok száma és L a DNN rétegeinek száma, és Pa,i=1, ha az Li réteg az Na csomóponton van elhelyezve, különben 0. A 2. ábrán bemutatott példában, ahol L=7 réteg és N=2 számítási csomópont van, az {L1,L2,L3,L6,L7} rétegeket az N1 csomóponton, a {L4,L5} rétegeket pedig az N2 csomóponton elhelyező partíció a következőképpen reprezentálható: Egy adott partíció alapján a a felosztási pontok közötti, azonos csomóponton szekvenciálisan futó rétegek csoportjaként van definiálva. A fenti példában az N1 csomópont két szálat futtat, az első a {L1,L2,L3} rétegeket tartalmazza, a második pedig a {L6,L7} rétegeket. szál Ezen jelölések definiálása után, e szekció további része levezet egy zárt kifejezést az következtetési átviteli sebességre, amelyet egy adott partíció ér el, az következtetési ( ) és átviteli ( ) késleltetések függvényében. III-B. szekció III-C. szekció B. Következtetési késleltetés előrejelzése Adott partíció esetén ez a szekció az következtetési késleltetéssel foglalkozik egy elkülönített csomóponton. Az Li réteg számításának késleltetése, amelynek költsége ci, és amelyet az Na csomóponton kell kiszámítani, amelynek ηa feldolgozási sebessége van, Tci(Na)=ci/ηa alakban kerül kifejezésre. Azonosított rétegek L'⊂L halmaza esetén, az Na csomóponton futó minden szálon a ηa feldolgozási sebességgel, az következtetési késleltetés a következőképpen fejezhető ki: Ez a kifejezés egy elsőrendű közelítés az következtetési késleltetés becslésére, amely a DNN feldolgozásához szükséges lebegőpontos műveletek (FLOP-ok) számán alapul, azaz a modellben lévő szorzás-összeadás műveletek számán. Az él-eszközökön történő következtetési késleltetés becslését a futásidejű optimalizálások bonyolítják. Meglévő megoldások, mint az nn-Meter a FLOP-ok alapján jósolják meg az következtetési késleltetést. Más megoldások egy keresőtáblára támaszkodnak előre kiszámított következtetési időkkel a késleltetési következtetéshez. Például a BRP-NAS egy előre képzett grafikus konvolúciós hálózatot használ az következtetési késleltetések előrejelzésére, miközben figyelembe veszi a futásidejű modelloptimalizálásokat. [](javascript:void()) [](javascript:void()) Az továbbá feltételezzük, hogy a processzorok teljes kapacitást használnak, ami azt jelenti, hogy a többmagos processzorokat egyetlen magos processzoroknak modellezzük, amelyek feldolgozási sebessége megegyezik a mag feldolgozási sebességének összegével. Azt is feltételezzük, hogy a számítási erőforrás egyenletesen van megosztva a szálak között, azaz egy processzor az idejének azonos arányát allokálja minden szálra. 1. egyenletben Minden csomóponton a legmagasabb késleltetésű szál határozza meg az elosztott DNN következtetési átviteli sebességét. Az átviteli késleltetések figyelmen kívül hagyása mellett ez azt jelenti, hogy amint ez a korlátozó szál befejezte egy adatkeret számítását, közvetlenül elkezdi a következő feldolgozását. Más szálaknak üresjárata lesz a következő adatkeret feldolgozása előtt, mert az következtetési késleltetésük alacsonyabb ennél a maximális késleltetésnél, ahogy az az látható. 1. ábrán Adott P partíciós mátrix esetén az következtetési késleltetések egyetlen Tc vektorral fejezhetők ki, amelynek mérete N, ahol az a-dik komponens az Na csomóponton futó legmagasabb szál következtetési késleltetése, azaz Tca=Tc(Na): ahol H a fordított csomópont feldolgozási sebességek H=diag(η−11,…,η−1N) diagonális mátrixa, és c az egyedi réteg költségek c=(c1,…,cL) oszlopvektora. C. Átviteli késleltetés előrejelzése Az átviteli késleltetés a következőképpen jelezhető előre: az adatok si,j méretének Li és Lj rétegek közötti (Na,Nb) él mentén történő átviteléhez szükséges idő egy θa,b átviteli sebességű kapcsolaton Tti,j(Na,Nb)=si,j/θa,b. Az adatáthelyezések si,j∈E′⊂E ideje (Na,Nb) kapcsolaton: Hasonlóan az következtetési késleltetés előrejelzéséhez, ez azt jelenti, hogy a kapcsolatok egyenletesen oszlanak meg az Na-ból Nb-be történő adatáthelyezések között. Az átviteli késleltetés előrejelzése a csomópontok közötti kapcsolat átviteli sebességének becslésén alapul, pontosabban a (goodput), azaz másodpercenként ténylegesen átvitt hasznos adat mennyiségén. jóváhagyott átviteli sebességen Hasonlóan az következtetési késleltetés becslés