Miért ne lenne szüksége a felhőre a mesterséges intelligenciájának a gyorsabb futtatásához

Szerzők: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Összefoglalás: A streaming adatokon végzett mély neurális hálózat (DNN) következtetés számítási erőforrásokat igényel a következtetési átviteli sebesség követelményeinek teljesítéséhez. A késleltetésre és adatvédelemre érzékeny mélytanulási alkalmazások azonban nem engedhetik meg maguknak a számítások távoli felhőkbe való kihelyezését a felmerülő átviteli költségek és a harmadik féltől származó felhőszolgáltatókban való bizalom hiánya miatt. A teljesítmény növelésének azon megoldásai közül, amelyek a számítást korlátozott környezetben tartják, a hardveres gyorsítás megterhelő lehet, és a modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, miközben akadályozza a pontosságot. A DNN particionálása egy harmadik kiegészítő megközelítés, amely magában foglalja a következtetési munkaterhelés több rendelkezésre álló peremhálózati eszközre való elosztását, figyelembe véve a peremhálózat tulajdonságait és a DNN szerkezetét, azzal a céllal, hogy maximalizálja a következtetési átviteli sebességet (másodpercenkénti következtetések száma). Ez a cikk egy módszert mutat be a következtetési és átviteli késleltetések előrejelzésére többmenetes, elosztott DNN telepítésekhez, és meghatároz egy optimalizálási folyamatot a következtetési átviteli sebesség maximalizálására. Ezt követően bemutatunk és elemezünk egy ágazat-határ (branch and bound) megoldót az elért teljesítmény és komplexitás kvantifikálására. Ez az elemzés azonosította a gyorsítási régiót, amely determinisztikus feltételeket ír le a DNN és a hálózati tulajdonságok tekintetében, amelyek mellett a DNN particionálása előnyös. Végül a kísérleti eredmények megerősítik a szimulációkat, és következtetési átviteli sebesség javulást mutatnak mintavételi peremszolgáltatási telepítéseknél. A peremhálózaton történő DNN particionálás felgyorsítja a következtetési átviteli sebességet, miközben csökkenti a sávszélesség-használatot és a központosított szerverekhez, pl. a felhőhöz képesti késleltetést. Bevezetés A csatlakoztatott eszközök 2020-ban naponta becslések szerint 2,5 trillió byte adatot generáltak. Ebben a kontextusban a mesterséges intelligencia (MI) az egyik olyan technológia, amely a legjobban képes megbirkózni az egyre növekvő adatmennyiséggel, olyan területeken, mint az objektumfelismerés a számítógépes látásban, az arcfelismerés, a beszédfelismerés, a természetes nyelvi feldolgozás vagy az autonóm vezetés. Az MI, és különösen a mélytanulás (DL), nagy mennyiségű adat mellett jelentős feldolgozási teljesítményt és memóriakapacitást igényel, ami a felhőkomputálást teszi az MI munkaterhelések *de facto* tárhelyévé. Következésképpen, 2019-ben az MI feladatok 96%-át a felhőben futtatták. 1 2 Az MI alkalmazásoknak erős késleltetési korlátaik lehetnek, *pl.*, az autonóm vezetésben, a gyártásfelügyeletben vagy bármilyen valós idejű következtetésben, amely valós világgal való interakciót foglal magában. Például az autonóm vezetésben az átlagos válaszidőknek 100 milliszekundum alatt kell lenniük , ami túl hosszúvá teszi a felhőhöz való oda-vissza utazási időt az ilyen alkalmazások számára. Hasonlóképpen, egyes alkalmazások jelentős sávszélesség-használatot okozhatnak a hálózaton, *pl.*, a magas minőségű videófeldolgozás esetében a számítógépes látásban, ami megakadályozza azok felhőben való futtatását. Az adatvédelmi irányelvek vagy az adatvédelmi szabályozások is tilthatják az adatok specifikus környezet elhagyását. Ez ösztönzi az MI-alkalmazások peremhálózati számítástechnikai környezetben való telepítését, amely a számítási feladatok adatközpontokból közelebb helyezését jelenti a peremhálózati eszközökhöz, *ti.*, az adatforrások közelébe. [](javascript:void()) A nyilvános felhőkkel szemben a peremhálózat egy erőforrás-korlátozott környezet, jelentős korlátozásokkal , és az MI fejlesztése a peremhálózaton ezért lényegesen eltér az MI fejlesztésétől a felhőn. Az adatok forrásuk közelében történő elemzése kihívást jelenthet az alacsonyabb eszközkapacitás, a rendelkezésre álló erőforrások rugalmatlansága és a peremhálózatok heterogenitása miatt. A számítási kapacitás csökkentése csökkenti az elérhető következtetési átviteli sebességet, tovább bonyolítva a nagy munkaterhelések felhőből a peremre való áthelyezését. Egyes alkalmazásokban a következtetési átviteli sebesség, *ti.*, egy DNN másodpercenkénti következtetési sebessége, összekapcsolható a DNN pontosságával, *pl.*, objektumkövetésnél videóstream-ekben, ahol a következtetési sebesség 15-ről 5 következtetésre/másodperc csökkentése 10%-kal csökkentette egy objektumdetektor F1 pontszámát__3__ . Más szavakkal, az alacsony következtetési átviteli sebességű telepítések kritikus információveszteséget okozhatnak, *pl.*, detektálási veszteség videó megfigyelő alkalmazásokban. [](javascript:void()) [](javascript:void()) Két fő módszer áll rendelkezésre a teljesítménykövetelmények teljesítésére a korlátozott peremhálózatokon: a modellkompresszió vagy a hardveres gyorsítás. A *modellkompresszió* magában foglalja a neurális hálózatok csökkentését és optimalizálását egy könnyű, gyakran alulteljesítő modellváltozattá. A standard modellkompressziós módszerek közé tartozik a metszés , *ti.*, a modell szükségtelen paramétereinek eltávolítása, a kvantálás , *ti.*, a modell tárolására szánt memória csökkentése, és a tudásdesztilláció , *ti.*, egy kisebb neurális hálózat betanítása egy nagyobb modellből kivont tudással. A modelloptimalizálás kiterjedt tervezési erőfeszítéseket igényel, és akadályozhatja a modell pontosságát. A *hardveres gyorsítás* a peremhálózati eszközökön olyan hardver megtalálását jelenti, amely lehet energiahatékony és könnyű, miközben továbbra is képes elegendő teljesítménnyel futtatni a következtetést. Többféle hardvertípus létezik a peremhálózati gyorsításhoz, amelyek hatékonyságukban és specifikusságukban eltérnek, de a standard feldolgozó egységek nem felelnek meg az elvárásoknak, és a dedikált hardverek, mint az ASIC-ok, nem praktikusnak és drágának bizonyultak . [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) A DNN particionálása egy kiegészítő módszer a következtetés gyorsítására, kihasználva a peremhálózatokon lévő eszközök sokféleségét a következtetési számítás elosztására – amely önmagában vagy a másik két módszerrel együtt is használható. A DNN particionálás egy neurális hálózatot szegmensekre bontott csővezetékként tekint, és ezeket a szegmenseket elosztja a peremhálózati eszközökön. Ezen szegmensek elhelyezése mind a DNN, mind az alapul szolgáló hálózati jellemzőktől függ. A DNN particionálása a felosztási pontok azonosítására támaszkodik, amelyek a modell gráfjában azok a pontok, ahol a modellt particiókra osztják. Futási idő alatt a particiók szekvenciálisan futnak, mindegyik köztes következtetési eredményt küldve a következő particiónak. Ez lehetővé teszi minden particiónak, hogy elkezdje feldolgozni a következő bemeneti adatot, miközben a többi eszköz folytatja a kiszervezett feldolgozását, ezáltal javítva a következtetési átviteli sebességet, amint az az látható. A cikk további részében a DNN particionálását a valós idejű következtetés példájával illusztráljuk videóstream-eken. 1. ábrán A. Kapcsolódó Munka A DNN particionálására szolgáló módszerek, amelyeket a mobil perem-felhő kihelyezésből származtatnak, különféle teljesítményjelzők optimalizálására törekednek, mint például a számítási késleltetés, az energiafogyasztás, az erőforrás-kihasználtság, a költség vagy az átviteli sebesség. A DNN particionálása ezen mutatók egy vagy több kombinációjának társításán alapul egy optimalizálási cél meghatározásához, és egy olyan módszeren, amely ezt a mutatót felhasználva talál particionálási sémákat. Például a Neurosurgeon egyetlen felosztási pontot keres, az első particiót a peremhálózaton tartva, és a második particiót a felhőbe kihelyezve, a késleltetés és az energiafogyasztás minimalizálása érdekében. Az IoT alkalmazások is figyelembe vették több DNN együttes particionálását és kihelyezését az energia, a késleltetés és/vagy a költség optimalizálása érdekében, különböző megoldókkal, mint pl. az SPSO-GA , amely a részecskeoptimizálást (PSO) és a genetikai algoritmust (GA) kombinálja, vagy a DDPQN , amely mély megerősítő tanulást használ particionálási sémák megtalálására. Más példák közé tartozik a DINA , amely egy egész számú nemlineáris programozási (INLP) problémát határoz meg, és egy illesztéselméleten alapuló megoldót használ a késleltetés és az erőforrás-kihasználtság optimalizálására a ködös hálózatokban. A következtetési átviteli sebességet optimalizáló módszerek közé tartozik a DNN sebészeti eljárás , amely a köztes DNN réteg kimeneteinek kisebb méretét használja a következtetési számítás peremhálózat és felhő közötti particionálására. Mindkét algoritmus két particiót hoz létre, az egyiket a peremhálózaton, a másikat a felhőben. Más, a mobil perem-felhő területén végzett tanulmányok többmenetes számítást is magukban foglalnak a felhőben az általános következtetési átviteli sebesség további gyorsítása érdekében. A második partició következtetési számításához a felhőre támaszkodni jó hálózati kapcsolatot feltételez, ami bizonytalan lehet egyes elszigetelt peremhálózati telepítések gyenge kapcsolati minősége miatt. Az Edgent alkalmazkodik az előző módszertanhoz mobil eszközökhöz és elérhető peremhálózati szerverekhez, lazítva a felhőbe való kihelyezés korlátozását. Ez a módszer egy specifikus betanítási és modellarchitektúrához kapcsolódik, és továbbra is csak két particióra korlátozza a particionálást. Más módszerek több felosztási pontot is figyelembe vettek, *pl.*, az IONN , amely a késleltetés és az energiafogyasztás minimalizálására szolgáló particionálási problémát írja le, figyelembe véve a modellek peremhálózati szerverekre történő feltöltésének idejét is. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ezek a módszerek vagy távoli felhőkkel lépnek kölcsönhatásba, vagy korlátozottak a particionálás jellegében, *pl.*, pontosan két részre kell osztani, többmenetes számítással vagy anélkül. A felsorolt DNN particionálási tanulmányok egyike sem veszi figyelembe egyszerre a több felosztási pontot és a többmenetes számítást. B. Hozzájárulások Ez a cikk egy elosztott következtetési keretrendszert mutat be, amely maximalizálja a valós idejű DNN számítások következtetési átviteli sebességét streaming adatokon, több felosztási ponttal és többmenetes particionálással. A cikk hozzájárulásai a következők: Egy modell az elosztott DNN számítási és átviteli késleltetéseinek kiszámítására, amelyen keresztül megbecsülhető egy adott particionálási séma várható következtetési átviteli sebessége. Az optimalizálási probléma megfogalmazása a DNN particionálására, egy ágazat-határ megoldó implementálása ehhez a problémához, és annak komplexitásának értékelése. Szimulációk a lehetséges teljesítményjavulások feltárására különböző hálózati és DNN tulajdonságok mellett. A determinisztikus régiók azonosítása a hálózati és DNN tulajdonságokban, amelyek optimális particionálások létezéséhez és az ilyen megoldások kiszámításának költségéhez vezetnek, *ti.*, amelyek mellett a DNN particionálása előnyös. Kísérleti eredmények, amelyek megvilágítják a szimulációkban definiált régiókat, valamint a predikciós pontosságot és a végső következtetési átviteli sebesség gyorsítását homogén és heterogén környezetben. A cikk további részében, a félreértések elkerülése érdekében, a particionált mély neurális hálózatot *DNN*-nek, a *hálózat* kifejezés pedig az alapul szolgáló fizikai kommunikációs hálózatot jelöli. C. Cikk Felépítése A cikk további része a következőképpen szerveződik. A bemutatja a mélytanulás hátterét és azt, hogyan ábrázoljuk a DNN-eket ebben a tanulmányban. A részletezi a következtetési és átviteli késleltetési predikciós módszereket, amelyek a szükségesek, amely definiálja az optimalizálási problémát, valamint az ágazat-határ algoritmust a particionálási döntések meghozatalához. Az szimulációs eredményeket mutat be az ágazat-határ algoritmus teljesítményének és komplexitásának kvantifikálására, valamint olyan feltételeket, amelyek a következtetési átviteli sebességet javító particionálás létezéséhez vezetnek egy homogén hálózatban. A kísérleti eredményeket mutat be, amelyek megerősítik az szimulációit, és következtetési átviteli sebesség javulást mutatnak egy heterogén kísérleti beállításon. Végül a megvitatja az eredményeket, és kitér a módszer szélesebb körű alkalmazhatóságára. II. szekció III. szekció IV. szekcióhoz V. szekció VI. szekció V. szekció VII. szekció II. SZEKCIÓ. Hátér: Mélytanulás A gépi tanulás területén a mélytanulás (DL) olyan módszereket jelöl, amelyek DNN-eket, *ti.*, egynél több rejtett réteget tartalmazó mesterséges neurális hálózatokat (vagy kapcsolódó gépi tanulási módszereket) használnak. A mélytanulási architektúrákra való egyik legkorábbi utalás 1967-ben jelent meg , de csak a 2010-es években kezdett a DL népszerűvé válni, először a beszédfelismerésben, majd az objektumfelismerésben a képekben, annak képessége miatt, hogy magas dimenziós adatokban képes komplex összefüggéseket rögzíteni. A mélytanulás becslések szerint a mesterséges intelligencia alkalmazások többségét teszi ki 2022-ben, ahol a szervezetek több mint 75%-a használ DNN-eket olyan alkalmazásokhoz, amelyek klasszikus módszereket is használhatnának. A DL módszereket „*gépi tanulási technikákként*” határozták meg, „*amelyekben a hipotézisek komplex algebrai áramkörök, hangolható kapcsolási erősségek formájában jelennek meg*” . Ezek az algebrai áramkörök általában rétegekbe vannak szervezve, amelyek a számítás lépéseit alkotják. A *mély* kifejezés egynél több réteget tartalmazó algoritmusokra vonatkozik. [](javascript:void()) 4 [](javascript:void()) Két fő DNN szerkezet létezik: az előrecsatolt neurális hálózatok és az ismétlődő neurális hálózatok. Mindkét típusú DNN számítási gráfnak tekinthető, a fő különbség az, hogy az előrecsatolt hálózatok közvetlen ciklusmentes gráfnak (DAG) tekinthetők, míg az ismétlődő neurális hálózatok ciklusokat tartalmazhatnak. Az ismétlődő neurális hálózatok adatsorozatokhoz készültek, ahol minden adatpont potenciálisan függhet az előző adatpontoktól a sorozatban, míg az előrecsatolt neurális hálózatok nem veszik figyelembe az adatsorozat pontjai közötti interakciókat. A cikk további részében az előrecsatolt DNN-ek esetét vizsgáljuk. 5 III. SZEKCIÓ. Elosztott Következtetés Modellje Ez a szekció egy modellt mutat be a DNN és a hálózati tulajdonságok reprezentálására a számítási késleltetések, átviteli késleltetések és egy adott particionálási megoldás végső következtetési átviteli sebességének előrejelzéséhez. A. DNN és Hálózat Reprezentáció Egy N rétegű előrecsatolt DNN egy DAG GA=(L,E) modell, ahol L=(L1,…,LL) a DNN rétegei. Az élek (Li,Lj)∈E a Li és Lj rétegek közötti kapcsolatok. Minden Li réteghez tartozik egy ci számítási fogyasztás, amelyet lebegőpontos műveletek számában mérnek egy előrecsatolt futás végrehajtásához a rétegen keresztül. Az (Li,Lj) élekhez egy si,j súly tartozik, amely a Li és Lj rétegek között áthaladó adatok méretének felel meg byte-okban. A fizikai hálózatot egy teljes kapcsolású G=(N,V) gráfnak modellezzük, ahol N=(N1,…,NN) a számítási csomópontok halmaza, és V az élek halmaza a csomópontok között. Feltételezzük, hogy az N1,…,NN számítási csomópontok η1,…,ηN feldolgozási sebességgel rendelkeznek, amelyeket lebegőpontos műveletek per másodpercben mérnek. Végül, két szomszédos csomópont Na és Nb közötti link átbocsátóképességét θa,b jelöli, amely byte/másodpercben van mérve. Minden Ni csomópont önmagához végtelen átbocsátóképességű kapcsolattal rendelkezik az adatvisszacsatoló link reprezentálására, és az élek szimmetrikusnak tekintendők, *ti.*, θa,b=θb,a. A particionálások P:L→N leképezésekként vannak definiálva, *ti.*, egy particionálás egy csomópontszámot rendel minden réteghez a DNN-ben. Egy particionálást egy P mátrix írhat le (N×L) dimenzióban, ahol N a hálózaton lévő csomópontok száma, és L a DNN rétegek száma, és Pa,i=1, ha az Li réteg az Na csomóponton van elhelyezve, egyébként 0. A bemutatott példában, ahol L=7 réteg és N=2 számítási csomópont, az ábrázolt particionálás a {L1,L2,L3,L6,L7} rétegekkel az N1 csomóponton, és a {L4,L5} rétegekkel az N2 csomóponton, így reprezentálódik: 2. ábrán Adott particionálás esetén egy *szál* (thread) két felosztási pont közötti egymást követő rétegek csoportjaként van definiálva, amelyek ugyanazon a csomóponton futnak szekvenciálisan. A fenti példában az N1 csomópont két szálat fog futtatni, az első a {L1,L2,L3} rétegeket tartalmazza, a második pedig a {L6,L7} rétegeket. Ezen jelölések definiálása után, a szekció további része levezet egy zárt kifejezést az adott particionálás által elért következtetési átviteli sebességre, a következtetési ( ) és átviteli ( ) késleltetések függvényeként. III-B. szakasz III-C. szakasz B. Következtetési Késleltetés Előrejelzése Adott particionálás esetén, ez a szakasz a következtetési késleltetést vizsgálja egy izolált csomóponton. Egy Li réteg számításából eredő késleltetés, amelynek fogyasztása ci, és amelyet az Na csomóponton, ηa feldolgozási sebességgel kell kiszámítani, Tci(Na)=ci/ηa kifejezéssel van kifejezve. Az Na csomóponton futó szálak minden halmazára, amelyek az L'⊆L rétegekből állnak, ηa feldolgozási sebességgel, a következtetési késleltetés kifejezhető a következőképpen: Ez a kifejezés egy elsőrendű közelítése a következtetési késleltetés becslésének, amely a DNN feldolgozásához szükséges lebegőpontos műveletek (FLOP) számán alapul, *ti.*, a modellben lévő szorzás-összeadás műveletek számán. A peremhálózati eszközökön történő következtetési késleltetés becslését a futásidejű optimalizálások bonyolítják. Meglévő megoldások, mint például az nn-Meter , a FLOP-ok alapján jósolják meg a következtetési késleltetést. Más megoldások egy előre kiszámított következtetési időkkel rendelkező lookup táblára támaszkodnak a késleltetés előrejelzéséhez. Például a BRP-NAS egy előre betanított gráfszerű neurális hálózatot használ a következtetési késleltetések előrejelzésére, miközben figyelembe veszi a futásidejű modelloptimalizálásokat. [](javascript:void()) [](javascript:void()) Az továbbá feltételezzük, hogy a processzorok teljes kapacitással működnek, ami azt jelenti, hogy a többmagos processzorokat egyetlen magos processzorokként modellezzük, amelyek feldolgozási sebessége megegyezik a magok feldolgozási sebességének összegével. Azt is feltételezzük, hogy a számítási erőforrást egyenletesen osztják meg a szálak között, *ti.*, egy processzor az idejének azonos arányát allokálja minden szálra. 1. egyenletben Minden csomóponton a legnagyobb késleltetéssel rendelkező szál határozza meg az elosztott DNN következtetési átviteli sebességét. Az átviteli késleltetések figyelmen kívül hagyása mellett ez azt jelenti, hogy amint ez a korlátozó szál befejezte egy adatkeret feldolgozását, azonnal elkezdheti a következő feldolgozását. Más szálaknak üresjárati ideje lesz a következő adatkeret feldolgozása előtt, mert következtetési késleltetésük alacsonyabb ennél a maximális késleltetésnél, amint az az látható. 1. ábrán Adott P particionálási mátrix esetén a következtetési késleltetések egyetlen Tc vektorral fejezhetők ki, amelynek mérete N, ahol az a-adik komponens az Na csomóponton futó maximális szál következtetési késleltetés, *ti.*, Tca=Tc(Na): ahol H a fordított csomóponti feldolgozási sebességek átlós mátrixa diag(η−11,…,η−1N), és c az egyedi réteg fogyasztások oszlopvektora (c1,…,cL). C. Átviteli Késleltetés Előrejelzése Az átviteli késleltetés a következőképpen jósolható meg: az adatok si,j méretének Li és Lj rétegek közötti elküldéséhez szükséges idő az (Na,Nb) peremen egy θa,b átbocsátóképességű linken keresztül Tti,j(Na,Nb)=si,j/θa,b. Az adatáttételek si,j∈E′⊂E eléréséhez szükséges idő az (Na,Nb) linken: Hasonlóan a következtetési késleltetés előrejelzéséhez, ez azt jelenti, hogy a linkeket egyenletesen osztják meg az Na-ról Nb-re történő adattovábbítások között. Az átviteli késleltetés előrejelzése a link átbocsátóképességének becslésén alapul, pontosabban a *jó áteresztőképességen* (*goodput*), *ti.*, az átvitt hasznos