Miksi tekoälysi ei enää tarvitse pilveä toimiakseen nopeammin

```html Tekijät: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Tiivistelmä: Syvähermoverkkojen (DNN) päättely suoratoistodatalle vaatii laskentaresursseja päättelyn läpimenovaatimusten täyttämiseksi. Latenssi- ja yksityisyysherkät syväoppimissovellukset eivät kuitenkaan voi ulkoistaa laskentaa etäpilveen siirtokustannusten ja kolmansien osapuolien pilvipalveluntarjoajiin luottamattomuuden vuoksi. Ratkaisuja suorituskyvyn parantamiseksi säilyttäen samalla laskennan rajoitetussa ympäristössä ovat laitteistokiihdytys, joka voi olla työlästä, ja mallin optimointi, joka vaatii laajoja suunnittelutoimia ja heikentää tarkkuutta. DNN-osiointi on kolmas täydentävä lähestymistapa, jossa päättelytyökuorma jaetaan useiden käytettävissä olevien reunalaitteiden kesken, ottaen huomioon reunateverkkojen ominaisuudet ja DNN-rakenteen, tavoitteena päättelyn läpimenon maksimointi (päättelyiden määrä sekunnissa). Tämä artikkeli esittelee menetelmän päättely- ja siirtoviiveiden ennustamiseksi monisäikeisissä hajautetuissa DNN-käyttöönotoissa ja määrittelee optimointiprosessin päättelyn läpimenon maksimointiin. Tämän jälkeen esitetään ja analysoidaan haara- ja raja-ratkaisija saavutetun suorituskyvyn ja monimutkaisuuden kvantifioimiseksi. Tämä analyysi johti kiihdytysalueen määrittelyyn, joka kuvaa deterministisiä ehtoja DNN- ja verkkoympäristön ominaisuuksille, joiden vallitessa DNN-osiointi on hyödyllistä. Lopuksi kokeelliset tulokset vahvistavat simulaatiot ja osoittavat päättelyn läpimenon parannuksia esimerkkireunakäyttöönotoissa. DNN-osiointi reunalla mahdollistaa päättelyn läpimenon kiihdyttämisen samalla kun vähennetään kaistanleveyden käyttöä ja latenssia keskitettyihin palvelimiin, esim. pilveen. Johdanto Yhdistetyt laitteet tuottivat arviolta 2,5 triljoonaa tavua dataa päivässä vuonna 2020. Tässä kontekstissa tekoäly (AI) on yksi teknologioista, joka pystyy parhaiten käsittelemään jatkuvasti kasvavaa datamäärää useilla aloilla, kuten kuvantunnistuksessa, kasvojentunnistuksessa, puheentunnistuksessa, luonnollisen kielen käsittelyssä tai autonomisessa ajamisessa. Tekoäly, ja erityisesti syväoppiminen (DL), vaatii suuren datamäärän lisäksi merkittävää prosessointitehoa ja muistia, mikä tekee pilvilaskennasta de facto -ratkaisun tekoälytyökuormien isännöintiin. Vastaavasti vuonna 2019 96 % tekoälytehtävistä suoritettiin pilvessä. 1 2 Tekoälysovelluksilla voi olla vahvat latenssivaatimukset, esim. autonomisessa ajamisessa, valmistuksen valvonnassa tai missä tahansa reaaliaikaisessa päättelyssä, joka sisältää vuorovaikutusta todellisen maailman kanssa. Esimerkiksi autonomisen ajamisen keskimääräisten vasteaikojen on oltava alle 100 millisekuntia , mikä tekee edestakaisista matkoista pilveen liian pitkiä tällaisiin sovelluksiin. Samoin jotkin sovellukset voivat aiheuttaa merkittävää linkin käyttöä verkossa, esim. korkealaatuisen videonkäsittelyn tapauksessa kuvantunnistuksessa, mikä estää niiden suorittamisen pilvessä. Tietosuojakäytännöt tai tietosuojamääräykset voivat myös kieltää datan poistumisen tietyistä ympäristöistä. Tämä kannustaa tekoälyn käyttöönottoon reunalaskennassa, joka tarkoittaa laskentatehtävien siirtämistä datakeskuksista lähemmäksi reunalaitteita, eli lähelle datalähteitä. [[1]](javascript:void()) Verrattuna julkisiin pilviin, reuna on resurssirajoitteinen ympäristö, jolla on merkittäviä rajoituksia , ja tekoälyn kehittäminen reunalle on siksi olennaisesti erilaista kuin tekoälyn kehittäminen pilvelle. Datan analysointi sen lähteen lähellä voi olla haastavaa alhaisempien laitekapasiteettien, käytettävissä olevien resurssien epäjoustavuuden ja reunateverkkojen heterogeenisyyden vuoksi. Laskentakapasiteetin alentaminen tarkoittaa saavutettavan päättelyn läpimenon alentamista, mikä entisestään vaikeuttaa raskaiden työkuormien siirtämistä pilvestä reunalle. Joissakin sovelluksissa päättelyn läpimeno, eli DNN:n saavutettava päättelyä sekunnissa, voi liittyä DNN-tarkkuuteen, esim. videovirtojen kohdetunnistuksessa, jossa päättelynopeuden lasku 15:stä 5:een päättelyyn sekunnissa on osoitettu alentavan kohdetunnistimen F1-pisteytystä__3__10 %:lla . Toisin sanoen, alhaisen päättelyn läpimenon käyttöönottotapaukset voivat aiheuttaa kriittistä tietohäviötä, esim. tunnistusten menetys videovalvontasovelluksissa. [[2]](javascript:void()) [[3]](javascript:void()) Rajoitetuilla reunateverkoilla suorituskykyvaatimusten täyttämiseksi on kaksi pääasiallista menetelmää: mallin pakkaus tai laitteistokiihdytys. Mallin pakkaus tarkoittaa neuroverkkojen pienentämistä ja optimointia kevyeksi, usein alisuoriutuvaksi, malliversioksi. Standardimallin pakkausmenetelmiin kuuluvat karsinta , eli tarpeettomien parametrien poistaminen mallista, kvantisointi , eli mallin tallentamiseen varatun muistin pienentäminen, ja tietoisuuden tislaus , eli pienemmän neuroverkon kouluttaminen suuremmasta uutetulla tietoisuudella. Mallin optimointi vaatii laajoja suunnittelutoimia ja voi haitata mallin tarkkuutta. Laitteistokiihdytys reunalaitteissa tarkoittaa laitteiston löytämistä, joka voi olla sekä energiatehokas että kevyt, mutta silti pystyy suorittamaan päättelyä riittävällä suorituskyvyllä. Reunakiihdytykseen on useita laitteistotyyppejä, jotka vaihtelevat tehokkuudeltaan ja spesifisyydeltään, mutta standardiprosessointiyksiköt eivät täytä odotuksia ja erikoistuneet laitteistot, kuten ASIC:t, ovat osoittautuneet epäkäytännöllisiksi ja kalliiksi . [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) [[7]](javascript:void()) DNN-osiointi on täydentävä menetelmä päättelyn kiihdyttämiseen hyödyntämällä reunateverkkojen olemassa olevien laitteiden moninaisuutta päättelyn laskennan jakamiseksi – jota voidaan käyttää yksinään tai yhdessä muiden kahden menetelmän kanssa. DNN-osiointi tarkoittaa neuroverkon käsittelyä putkilinjana, joka segmentoidaan osioihin, ja näiden osioiden jakamista reunalaitteisiin. Näiden osioiden sijoittelu perustuu sekä DNN:n että alla olevan verkon ominaisuuksiin. DNN-osiointi perustuu jakopisteiden tunnistamiseen, jotka ovat malligraafin pisteitä, joissa malli erotetaan osioihin. Suoritusajan aikana osiot suoritetaan peräkkäin, ja kukin lähettää välituloksia seuraavaan osioon. Tämä mahdollistaa sen, että kukin osio voi aloittaa seuraavan syötetiedon laskennan, kun muut laitteet jatkavat ulkoistetun datan prosessointia, parantaen siten päättelyn läpimenon, kuten kuvassa 1 on esitetty. Tässä artikkelissa DNN-osiointia havainnollistetaan reaaliaikaisen päättelyn esimerkillä videovirroista. A. Aiempia töitä DNN-osiointimenetelmät, jotka on johdettu mobiilireuna-pilvipuolesta, pyrkivät optimoimaan erilaisia suorituskykyindikaattoreita, kuten laskentaviiveen, energiankulutuksen, resurssien käytön, kustannukset tai läpimenon. DNN-osiointi perustuu yhden tai useamman näistä metriikoista yhdistämiseen optimointitavoitteen määrittämiseksi ja menetelmään, joka hyödyntää tätä metriikkaa osiointisuunnitelmien löytämiseksi. Esimerkiksi Neurosurgeon etsii yhtä jakopistettä, pitäen ensimmäisen osion reunalla ja ulkoistaen toisen osion pilveen, minimoidakseen latenssin ja energiankulutuksen. IoT-sovellukset ovat myös harkinneet useiden DNN:ien yhteistä osiointia ja ulkoistamista energian, viiveen ja/tai kustannusten optimoimiseksi käyttämällä erilaisia ratkaisijoita, kuten SPSO-GA yhdistämällä hiukkasparviooptimointia (PSO) ja geneettistä algoritmia (GA), tai DDPQN , joka käyttää syvää vahvistusoppimista osiointisuunnitelmien löytämiseksi. Muita esimerkkejä ovat DINA , joka määrittelee kokonaislukueräohjelmointiongelman (INLP) ja käyttää pariteoriapohjaista ratkaisijaa viiveen ja resurssien käytön optimointiin sumuverkoissa. Päättelyn läpimenoa optimoivat menetelmät sisältävät DNN-kirurgian , joka käyttää välillisten DNN-kerrosten ulostulojen pienempää kokoa päättelyn laskennan jakamiseen reunan ja pilven välillä. Molemmat algoritmit luovat kaksi osiota, toisen reunalla ja toisen pilvessä. Muut mobiilireuna-pilvi-alan tutkimukset sisältävät myös monisäikeistä laskentaa pilvessä kokonaispäättelyn läpimenon edelleen nopeuttamiseksi. Pilven käyttäminen toisen osion päättelyn laskentaan edellyttää hyvää verkkoyhteyttä, joka voi olla epävarma joidenkin eristettyjen reunakäyttöönottojen heikon yhteyden vuoksi. Edgent mukauttaa edellistä metodologiaa mobiililaitteisiin ja käytettävissä oleviin reunapalvelimiin, lieventäen pilveen ulkoistamisen rajoitusta. Tämä menetelmä liittyy tiettyyn koulutus- ja malliarkkitehtuuriin, ja se rajoittaa edelleen osioinnin kahteen osioon. Muut menetelmät ovat harkinneet useita jakopisteitä, esim. IONN , joka kuvaa osiointiongelmaa latenssin ja energiankulutuksen minimoimiseksi, ottaen huomioon myös mallien lataamisen reunapalvelimiin. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Nämä menetelmät joko ovat vuorovaikutuksessa etäpilvien kanssa tai ovat rajoitettuja osioinnin luonteeltaan, esim. vaaditaan jakamaan täsmälleen kahteen osaan, monisäikeisyyttä käyttäen tai ilman. Mikään listatuista DNN-osiointitutkimuksista ei ota huomioon sekä useita jakopisteitä että monisäikeisyyttä. B. Panokset Tämä artikkeli esittelee hajautetun päättelykehyksen reaaliaikaisen DNN-laskennan päättelyn läpimenon maksimoimiseksi suoratoistodatalle, useilla jakopisteillä ja monisäikeisellä osioinnilla. Tämän artikkelin panokset ovat seuraavat: Malli hajautetun DNN:n laskenta- ja siirtoviiveiden laskemiseksi, jonka avulla voidaan arvioida annetun osiointisuunnitelman odotettu päättelyn läpimeno. DNN-osioinnin optimointiongelman muotoilu, haara- ja raja-ratkaisijan toteutus tähän ongelmaan ja sen monimutkaisuuden arviointi. Simulaatiot mahdollisten suorituskykyparannusten tutkimiseksi vaihtelevilla verkko- ja DNN-ominaisuuksilla. Determinististen alueiden tunnistaminen verkko- ja DNN-ominaisuuksissa, jotka johtavat optimaalisiin osiointeihin ja tällaisten ratkaisujen laskentakustannuksiin, eli ehtoja, joiden vallitessa DNN-osiointi on hyödyllistä. Kokeelliset tulokset, jotka havainnollistavat simulaatioissa määriteltyjä alueita, sekä ennustustarkkuus ja lopullinen päättelyn läpimenon kiihdytys homogeenisissa ja heterogeenisissä ympäristöissä. Jäljempänä tässä artikkelissa, sekaannusten välttämiseksi, osioitu syvähermoverkko viitataan nimellä *DNN*, ja termi *verkko* viittaa alla olevaan fyysiseen viestintäverkkoon. C. Artikkelin jäsentely Loppuosa tästä artikkelista on järjestetty seuraavasti. Jakso II esittelee syväoppimisen taustaa ja miten DNN:t esitetään tässä tutkimuksessa. Jakso III yksityiskohtaisesti päättely- ja siirtoviiveiden ennustusmenetelmät, joita tarvitaan Jaksoon IV, jossa määritellään optimointiongelma, sekä haara- ja raja-algoritmi osiointipäätösten tekemiseksi. Jakso V esittelee simulaatiotulokset haara- ja raja-algoritmin suorituskyvyn ja monimutkaisuuden kvantifioimiseksi, sekä ehdot, jotka johtavat osiointiin, joka parantaa päättelyn läpimenoa homogeenisessa verkossa. Jakso VI esittelee kokeelliset tulokset, jotka vahvistavat Jakson V simulaatiot, ja osoittavat päättelyn läpimenon parannuksia heterogeenisessä kokeellisessa kokoonpanossa. Lopuksi Jakso VII käsittelee tuloksia ja laajentaa tämän menetelmän laajempaa sovellettavuutta. JAKSO II. Tausta: Syväoppiminen Koneoppimisen alalla syväoppiminen (DL) viittaa menetelmiin, jotka perustuvat DNN:ien, eli yli yhden piilokerroksen sisältävien keinotekoisten neuroverkkojen (tai niihin liittyvien koneoppimismenetelmien), käyttöön. Yksi varhaisimmista viittauksista syväoppimisarkkitehtuureihin julkaistiin vuonna 1967 , mutta vasta 2010-luvulla DL sai vauhtia, ensin puheentunnistuksessa, sitten kuvien kohdetunnistuksessa, kyvyn vangita monimutkaisia suhteita korkeaulotteisessa datassa. Syväoppimisen arvioidaan muodostavan suurimman osan tekoälysovelluksista vuonna 2022, yli 75 % organisaatioista käyttää DNN:iä sovelluksissa, jotka voisivat käyttää klassisia menetelmiä. DL-menetelmät on määritelty " " . Nämä algebralliset piirit on yleensä järjestetty kerroksiin, jotka muodostavat laskennan vaiheita. Termi *syvä* viittaa algoritmeihin, jotka koostuvat useammasta kuin yhdestä kerroksesta. [[16]](javascript:void()) 4 koneoppimisen tekniikoiksi, joissa hypoteesit muodostavat monimutkaisia algebrallisia piirejä säädettävillä kytkentävoimakkuuksilla [[17]](javascript:void()) On olemassa kaksi pääasiallista DNN-rakennetta: eteenpäin suuntautuvat neuroverkot ja rekurrentit neuroverkot. Molemmat DNN-tyypit voidaan esittää laskentagraafeina, pääasiallisen eron ollessa se, että eteenpäin suuntautuvat verkot voidaan esittää suorina syklittöminä graafeina (DAG), kun taas rekurrentit neuroverkot voivat sisältää syklejä. Rekurrentit neuroverkot on rakennettu datajonojen käsittelyyn, jossa jokaisella datapisteellä voi olla riippuvuus aiempien datapisteiden kanssa jonossa, kun taas eteenpäin suuntautuvat neuroverkot eivät ota huomioon vuorovaikutusta datapisteiden välillä datajonossa. Loppuosa tästä artikkelista käsittelee eteenpäin suuntautuvia DNN:iä. 5 JAKSO III. Hajautetun päättelyn mallintaminen Tässä jaksossa esitellään malli DNN- ja verkkoympäristön ominaisuuksien esittämiseksi laskentaviiveiden, siirtoviiveiden ja annetun osiointiratkaisun lopullisen päättelyn läpimenon ennustamiseksi. A. DNN:n ja verkon esitys N-kerroksinen eteenpäin suuntautuva DNN mallinnetaan DAG GA=(L,E) graafina, jossa L=(L1,…,LL) ovat DNN:n kerrokset. Kaaret (Li,Lj)∈E ovat yhteyksiä kerrosten Li ja Lj välillä. Jokaisella kerroksella Li on siihen liittyvä laskentakustannus ci , mitattuna liukulukuoperaatioiden määränä, joka tarvitaan eteenpäin suuntautuvan ajon suorittamiseksi kerroksen läpi. Kaaret (Li,Lj) saa painoarvon si,j , joka vastaa kerrosten Li ja Lj välillä kulkevan datan kokoa tavuina. Fyysinen verkko mallinnetaan täysin kytkettynä graafina G=(N,V) , jossa N=(N1,…,NN) on laskentasolmujen joukko ja V on solmujen välisten linkkien joukko. Oletetaan, että laskentasolmuilla N1,…,NN on prosessointinopeudet η1,…,ηN , mitattuna liukulukuoperaatioina sekunnissa. Lopuksi kahden vierekkäisen solmun Na ja Nb välinen linkkinopeus on merkitty θa,b , mitattuna tavuina sekunnissa. Jokainen solmu Ni on yhteydessä itseensä äärettömällä nopeudella silmukkaliitännän mallintamiseksi, ja linkkien oletetaan olevan symmetrisiä, eli θa,b=θb,a . Osioinnit määritellään kuvauksina P:L→N , eli osiointi määrää solmunumeron jokaiselle DNN:n kerrokselle. Osiointi voidaan kuvata (N×L) -kokoisena matriisina P , N on solmujen määrä verkossa ja L on DNN-kerrosten määrä, ja Pa,i=1 , jos kerros Li sijaitsee solmussa Na , muuten 0. Kuvassa 2 annetussa esimerkissä, L=7 kerrosta ja N=2 laskentasolmua, esitetty osiointi kerroksilla {L1,L2,L3,L6,L7} solmussa N1 , ja kerroksilla {L4,L5} solmussa N2 , esitetään: Annetulla osioinnilla *säie* määritellään peräkkäisten kerrosten ryhmäksi kahden jakopisteen välillä, jotka suoritetaan peräkkäin samalla solmulla. Yllä olevassa esimerkissä solmu N1 suorittaa kaksi säiettä, ensimmäinen sisältää kerrokset {L1,L2,L3} ja toinen {L6,L7} . Näiden merkintöjen määritettyä, tämän jakson loppuosa johtaa suljetun lausekkeen saavutetulle päättelyn läpimenolle, joka on annettu osiointi, toimintona päättely- ( ) ja siirtoviiveisiin ( ). jakso III-B jakso III-C B. Päättelyviiveen ennustaminen Annetulla osioinnilla tarkastellaan tässä jaksossa päättelyviiveen ennustamista erillisessä solmussa. Kerroksen Li laskennasta aiheutuva viive, jonka kulutus on ci , suoritetaan solmussa Na , jonka prosessointinopeus on ηa , ilmaistaan Tci(Na)=ci/ηa . Ottaen huomioon kerrosten joukon L′⊂L kaikissa solmussa Na suoritettavissa säikeissä, joiden prosessointinopeus on ηa , päättelyviive voidaan ilmaista: Tämä lauseke on ensimmäisen asteen likiarvo päättelyviiveen arvioinnille, joka perustuu liukulukuoperaatioiden (FLOPs) määrään, joka tarvitaan DNN:n käsittelyyn, eli mallin kertolasku-lisäysoperaatioiden määrään. Päättelyviiveen arviointia reunalaitteissa vaikeuttavat suoritusajan optimoinnit. Olemassa olevat ratkaisut, kuten nn-Meter , ennustavat päättelyviiveen FLOPs-määrän perusteella. Muut ratkaisut perustuvat hakutauluun, jossa on ennalta lasketut päättelyajat viiveen ennustamiseksi. Esimerkiksi BRP-NAS käyttää esikoulutettua graafikonvoluutioneuroverkkoa päättelyviiveiden ennustamiseen, ottaen huomioon suoritusajan mallin optimoinnit. [[18]](javascript:void()) [[19]](javascript:void()) Yhdenvertaisuudessa 1 oletetaan lisäksi, että prosessorit käyttävät täyttä kapasiteettiaan, mikä tarkoittaa, että moniydinprosessorit mallinnetaan yksisydämisiksi prosessoreiksi, joiden prosessointinopeus on ytimien prosessointinopeuksien summa. Oletetaan myös, että laskentaresurssi jaetaan tasaisesti säikeiden kesken, eli prosessori allokoi saman osuuden ajastaan kullekin säikeelle. [[1]](javascript:void()) Kaikkien solmujen kesken suurin viiveen aiheuttava säie määrää hajautetun DNN:n päättelyn läpimenon. Siirtoviiveitä pois lukien tämä tarkoittaa, että kun tämä rajoittava säie on suorittanut datakehyksen laskennan, se aloittaa suoraan seuraavan käsittelyn. Muilla säikeillä on tyhjäkäyntiaikaa ennen seuraavan datakehyksen käsittelyn aloittamista, koska niiden päättelyviive on pienempi kuin tämä suurin viive, kuten kuvassa 1 näkyy. Annetulla osiointimatriisilla P , päättelyviiveet voidaan ilmaista yhtenä vektorina Tc kokoisena N , jossa a -komponentti on suurin säikeen päättelyviive solmussa Na , eli Tca=Tc(Na) : missä H on käänteisten solmun prosessointinopeuksien diagonaalimatriisi diag(η−11,…,η−1N) ja c on yksittäisten kerroskulutusten sarakevektori (c1,…,cL) . C. Siirtoviiveen ennustaminen Siirtoviive voidaan ennustaa seuraavasti: aika, joka kuluu datamäärän si,j lähettämiseen kerrosten Li ja Lj välillä reunalla (Na,Nb) linkin yli, jonka mitattu nopeus on θa,b , on Tti,j(Na,Nb)=si,j/θa,b . Tiedonsiirtojen si,j∈E′⊂E saavuttamiseen linkin (Na,Nb) yli kuluva aika on: Samankaltaisesti päättelyviiveen ennustamisen kanssa tämä tarkoittaa, että linkit jaetaan tasaisesti datasiirtoihin Na :sta Nb :hen. Samankaltaisesti päättelyviiveen ennustamisen kanssa tämä on ensimmäisen asteen likiarvo, joka tarjoaa tehokkaasti hyviä ennustustuloksia, kuten kuvassa 3c näkyy, korrelaatiokertoimella R2=0.9998 . Tämän menetelmän haittapuoli on sen vaatimus linkkien saturoimisesta nopeuden arvioimiseksi. Annetulla osiointimatriisilla P , siirtoviivematriisi Tt voidaan määritellä neliömatriisina L -kokoisena, jossa Tta,b=Tt(Na,Nb) : missä ° on termi-termiltä -tulo, eli Hadamard-tulo, Θ on käänteisen nopeusmatriisi, eli N -kokoinen neliömatriisi, jossa Θa,b=θ−1a,b , ja S on siirtokoko-matriisi, eli L -kokoinen neliömatriisi, jossa Si,j=si,j , jos Li lähettää dataa Lj :lle, muuten 0. JAKSO IV. DNN-osiointi DNN-osioinnin tavoite tässä tutkimuksessa on maksimoida päättelyn läpimeno, merkitty C&