Bakit Hindi Na Kailangan ng Cloud ng Iyong AI para Mas Mabilis na Tumatakbo

```html Mga May-akda: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakto: Ang pag-infer ng Deep neural network (DNN) sa streaming data ay nangangailangan ng mga computing resource upang matugunan ang mga kinakailangan sa inference throughput. Gayunpaman, ang mga aplikasyon ng deep learning na sensitibo sa latency at privacy ay hindi kayang i-offload ang computing sa remote clouds dahil sa implied transmission cost at kawalan ng tiwala sa mga third-party cloud providers. Kabilang sa mga solusyon upang mapataas ang performance habang pinapanatili ang computing sa isang constrained na kapaligiran, ang hardware acceleration ay maaaring maging mahirap, at ang model optimization ay nangangailangan ng malawak na pagsisikap sa disenyo habang humahadlang sa accuracy. Ang DNN partitioning ay isang pangatlong komplementaryong pamamaraan, at binubuo ng pamamahagi ng inference workload sa ilang available na edge devices, isinasaalang-alang ang mga katangian ng edge network at ang istraktura ng DNN, na may layuning i-maximize ang inference throughput (bilang ng mga inference bawat segundo). Ipinapakilala ng papel na ito ang isang paraan upang mahulaan ang mga inference at transmission latencies para sa multi-threaded distributed DNN deployments, at nagtatakda ng isang optimization process upang i-maximize ang inference throughput. Ang isang branch and bound solver ay pagkatapos ay ipinakilala at sinuri upang masukat ang nakamit na performance at complexity. Ang pagsusuring ito ay humantong sa pagtukoy ng acceleration region, na naglalarawan ng mga deterministic na kondisyon sa mga katangian ng DNN at network kung saan ang DNN partitioning ay kapaki-pakinabang. Sa wakas, kinukumpirma ng mga experimental result ang mga simulation at nagpapakita ng mga pagpapabuti sa inference throughput sa mga sample edge deployments. Ang DNN partitioning sa edge ay nagbibigay-daan sa acceleration ng inference throughput habang binabawasan ang paggamit ng bandwidth at latency sa mga centralized server, hal., sa cloud. Introduksyon Ang mga konektadong device ay bumuo ng tinatayang 2.5 quintillion bytes ng data bawat araw noong 2020. Sa kontekstong ito, ang Artificial Intelligence (AI) ay isa sa mga teknolohiya na pinakamahusay na makakasabay sa patuloy na lumalaking dami ng nalilikhang data, sa iba't ibang larangan tulad ng object detection sa computer vision, facial recognition, speech recognition, natural language processing, o autonomous driving. Ang AI, at partikular ang Deep Learning (DL), ay nangangailangan, bilang karagdagan sa malaking dami ng data, ng makabuluhang kakayahan sa processing power at memory, na ginagawang ang cloud computing ang hosting solution para sa AI workloads. Dahil dito, noong 2019, 96% ng mga AI tasks ay tumakbo sa cloud. 1 de facto 2 Ang mga AI application ay maaaring magkaroon ng malakas na latency constraints, , sa autonomous driving, manufacturing monitoring, o anumang real-time inference na kinabibilangan ng interaksyon sa tunay na mundo. Halimbawa, ang average response times sa autonomous driving ay kinakailangan na mas mababa sa 100 milliseconds , na ginagawang masyadong mahaba ang round trip times sa cloud para sa mga ganitong aplikasyon. Gayundin, ang ilang mga aplikasyon ay maaaring magpakilala ng makabuluhang paggamit ng link sa network, , sa kaso ng high quality video processing sa computer vision, na pumipigil sa mga ito na tumakbo sa cloud. Ang mga polisiya sa data privacy o mga regulasyon sa proteksyon ng data ay maaari ding ipagbawal ang pag-alis ng data sa mga partikular na kapaligiran. Ito ay naghihikayat ng mga AI deployments sa edge computing, na binubuo ng paglipat ng mga computation tasks mula sa mga data center papalapit sa mga edge device, , malapit sa mga data sources. halimbawa [[1]](javascript:void()) halimbawa ibig sabihin Kumpara sa mga public clouds, ang edge ay isang kapaligiran na limitado ang resources na may mahalagang limitasyon , at ang pag-develop ng AI para sa edge ay samakatuwid ay likas na naiiba sa pag-develop ng AI para sa cloud. Ang pag-analisa ng data malapit sa pinagmulan nito ay maaaring maging mapaghamong dahil sa mas mababang kapasidad ng device, inelasticity ng mga available na resources, at heterogeneity ng mga edge network. Ang pagpapababa ng computing capacity ay nangangahulugang pagpapababa ng nakakamit na inference throughput, na lalong nagpapahirap sa paglipat ng mabibigat na workloads mula sa cloud patungo sa edge. Sa ilang mga aplikasyon, ang inference throughput, , ang nakakamit na inferences bawat segundo ng isang DNN, ay maaaring maiugnay sa DNN accuracy, , sa object tracking sa mga video stream, kung saan ang pagbaba ng inference rate mula 15 patungong 5 inferences bawat segundo ay nagpakita ng pagbaba ng F1 score__3__ ng isang object detector ng 10% . Sa madaling salita, ang mga deployment na may mababang inference throughput ay maaaring maging sanhi ng kritikal na pagkawala ng impormasyon, , pagkawala ng mga detection sa mga video surveillance application. [[2]](javascript:void()) ibig sabihin halimbawa [[3]](javascript:void()) halimbawa Mayroong dalawang pangunahing magagamit na paraan upang matugunan ang mga kinakailangan sa performance sa mga constrained edge network: model compression o hardware acceleration. ay binubuo ng pagbabawas at pag-optimize ng mga neural network sa isang light-weight, madalas ay under-performing, bersyon ng modelo. Ang mga standard na paraan ng model compression ay kinabibilangan ng pruning , , pag-aalis ng mga hindi kinakailangang parameter sa modelo, quantization , , pagbabawas ng nakalaang memorya upang itabi ang modelo, at knowledge distillation , , pag-train ng isang mas maliit na neural network na may kaalaman na nakuha mula sa isang mas malaki. Ang model optimization ay nangangailangan ng malawak na pagsisikap sa disenyo at maaaring maging hadlang sa model accuracy. sa mga edge device ay nangangahulugang paghahanap ng hardware na maaaring maging parehong power efficient at light-weight, habang nakakayanan pa ring magpatakbo ng inference na may sapat na performance. Mayroong ilang uri ng candidate hardware para sa acceleration sa edge, iba-iba sa efficiency at specificity, ngunit ang mga standard na processing units ay hindi nakakatugon sa mga inaasahan at ang mga dedicated hardware tulad ng ASICs ay napatunayang hindi praktikal at mahal . Model compression [[4]](javascript:void()) ibig sabihin [[5]](javascript:void()) ibig sabihin [[6]](javascript:void()) ibig sabihin Hardware acceleration [[7]](javascript:void()) Ang DNN partitioning ay isang komplementaryong pamamaraan para sa pag-accelerate ng inference sa pamamagitan ng paggamit ng multiplicity ng mga umiiral na device sa mga edge network upang ipamahagi ang inference computation– na maaaring gamitin nang mag-isa, o kasama ng dalawang iba pang pamamaraan. Ang DNN partitioning ay binubuo ng pagtingin sa isang neural network bilang isang pipeline upang hatiin sa mga partition, at ipamahagi ang mga partition na ito sa mga edge device. Ang placement ng mga partition na ito ay batay sa parehong DNN at sa ilalim na mga katangian ng network. Ang DNN partitioning ay nakasalalay sa pagkilala ng mga split points, na mga punto sa model graph kung saan ang modelo ay nahahati sa mga partition. Sa panahon ng run-time, ang mga partition ay tumatakbo nang sunud-sunod, bawat isa ay nagpapadala ng mga intermediary inference result sa susunod na partition. Ito ay nagpapahintulot sa bawat partition na simulan ang pag-compute ng susunod na input data habang ang iba pang mga device ay patuloy na nagpoproseso ng offloaded na data, sa gayon ay pinapabuti ang inference throughput, tulad ng ipinakita sa . Sa natitirang bahagi ng papel na ito, ang DNN partitioning ay inilalarawan sa pamamagitan ng halimbawa ng real-time inference sa mga video stream. figure 1 A. Kaugnay na Gawain Ang mga pamamaraan para sa DNN partitioning, na nagmula sa mobile edge-cloud offloading, ay naglalayong i-optimize ang iba't ibang performance indicators, tulad ng computing latency, energy consumption, resource utilization, cost, o throughput. Ang DNN partitioning ay nakasalalay sa asosasyon ng isa o higit pa sa mga metrikong ito upang tukuyin ang isang optimization goal, at isang pamamaraan na sinasamantala ang metrikong ito upang mahanap ang mga partitioning scheme. Halimbawa, ang Neurosurgeon ay naghahanap ng isang split point, pinapanatili ang unang partition sa edge at inoo-offload ang pangalawang partition sa cloud, upang mabawasan ang latency at energy consumption. Ang mga aplikasyon sa IoT ay isinasaalang-alang din ang pinagsamang partitioning at offloading ng ilang DNN upang i-optimize ang energy, delay, at/o cost, gamit ang iba't ibang solver tulad ng SPSO-GA na pinagsasama ang Particle Swarm Optimization (PSO) at Genetics Algorithm (GA), o DDPQN na gumagamit ng Deep Reinforcement Learning upang mahanap ang mga partitioning scheme. Ang iba pang mga halimbawa ay kinabibilangan ng DINA , na nagtatakda ng isang Integer Non Linear Programming (INLP) problem, at gumagamit ng isang solver na nakabatay sa matching theory, upang i-optimize ang delay at resource utilization sa fog networks. Ang mga pamamaraan na nag-o-optimize ng inference throughput ay kinabibilangan ng DNN surgery , na gumagamit ng mas maliit na sukat ng mga intermediary DNN layer outputs upang hatiin ang inference computation sa pagitan ng edge at ng cloud. Parehong algorithm ay lumilikha ng dalawang partition, isa sa edge at ang isa sa cloud. Ang iba pang mga pag-aaral sa larangan ng mobile edge-cloud ay kinabibilangan din ng multi-threaded computation sa cloud upang lalo pang mapabilis ang kabuuang inference throughput. Ang pag-asa sa cloud para sa pangalawang partition inference computation ay ipinapalagay ang magandang network connectivity, na maaaring hindi tiyak sa mahinang koneksyon ng ilang isolated edge deployments. Ang Edgent ay inaangkop ang naunang methodology sa mga mobile device at available na edge server, binabawasan ang constraint ng offloading sa cloud. Ang pamamaraang ito ay nauugnay sa isang partikular na training at model architecture, at nililimitahan pa rin ang partitioning sa dalawang partition. Ang iba pang mga pamamaraan ay isinasaalang-alang ang maraming split points, , IONN , na naglalarawan ng problema ng partitioning upang mabawasan ang latency at energy consumption, isinasaalang-alang din ang oras upang i-upload ang mga modelo sa mga edge server. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) halimbawa [[15]](javascript:void()) Ang mga pamamaraang ito ay alinman sa nakikipag-ugnayan sa mga remote cloud, o limitado sa kalikasan ng partitioning, , kinakailangang hatiin sa eksaktong dalawang bahagi, na may o walang multi-threading. Wala sa mga nakalistang DNN partitioning studies ang isinasaalang-alang ang parehong maraming split points at multi-threading. halimbawa B. Mga Kontribusyon Ang papel na ito ay nagpapakita ng isang distributed inference framework upang i-maximize ang inference throughput ng real-time DNN computation sa streaming data, na may maraming split points at multi-threaded partitioning. Ang mga kontribusyon ng papel na ito ay ang mga sumusunod: Isang modelo para sa computing at transmission latencies ng isang distributed DNN, kung saan ang inaasahang inference throughput ng isang partikular na partitioning scheme ay maaaring matantya. Pormulasyon ng optimization problem para sa DNN partitioning, implementasyon ng isang branch and bound solver para sa problemang ito, at pagsusuri ng complexity nito. Mga simulation upang tuklasin ang mga posibleng pagpapabuti sa performance na may iba't ibang network at DNN properties. Ang pagtukoy ng mga deterministic regions sa mga properties ng network at DNN na nagreresulta sa pagkakaroon ng optimal partitionings at ang cost upang kalkulahin ang mga solusyon na ito, , ang mga kondisyon kung saan ang DNN partitioning ay kapaki-pakinabang. ibig sabihin Mga experimental result na naglalarawan ng mga rehiyon na tinukoy sa mga simulation, pati na rin ang prediction accuracy at final inference throughput acceleration para sa homogeneous at heterogeneous environments. Para sa natitirang bahagi ng papel na ito, upang maiwasan ang kalituhan, ang partitioned deep neural network ay tutukuyin bilang , at ang termino na ay tutukoy sa ilalim na physical communications network. DNN network C. Balangkas ng Papel Ang natitirang bahagi ng papel na ito ay nakaayos tulad ng sumusunod. ay nagpapakita ng background ng Deep Learning at kung paano kinakatawan ang mga DNN sa pag-aaral na ito. ay nagdedetalye ng mga pamamaraan ng inference at transmission latency prediction na kinakailangan para sa na nagtatakda ng optimization problem, pati na rin ang branch and bound algorithm upang gumawa ng mga desisyon sa partitioning. ay nagpapakita ng mga resulta ng simulation upang masukat ang performance at complexity ng branch and bound algorithm, pati na rin ang mga kondisyon na humahantong sa pagkakaroon ng partitioning na nagpapabuti sa inference throughput sa isang homogeneous network. ay nagpapakita ng mga experimental result na nagkukumpirma sa mga simulation ng , at nagpapakita ng mga pagpapabuti sa inference throughput sa isang heterogeneous experimental set-up. Sa wakas, ay tinatalakay ang mga resulta at pinalalawak ang mas malawak na applicability ng pamamaraang ito. Seksyon II Seksyon III Seksyon IV Seksyon V Seksyon VI Seksyon V Seksyon VII SEKSYON II. Background: Deep Learning Sa loob ng larangan ng Machine Learning, ang Deep Learning (DL) ay tumutukoy sa mga pamamaraan na nakasalalay sa paggamit ng mga DNN, , mga artificial neural network (o mga kaugnay na machine learning methods) na naglalaman ng higit sa isang hidden layer. Isa sa mga pinakaunang reference sa mga deep learning architectures ay nailathala noong 1967 , ngunit hindi hanggang sa 2010s lamang nagkaroon ng traksyon ang DL, una sa speech recognition, pagkatapos ay sa object detection sa mga imahe, dahil sa kakayahang makuha ang mga kumplikadong relasyon sa high dimensional na data. Tinatayang ang Deep Learning ay bumubuo ng karamihan ng mga AI application noong 2022, na may mahigit 75% ng mga organisasyon na gumagamit ng mga DNN para sa mga aplikasyon na maaaring gumamit ng mga klasikong pamamaraan. Ang mga DL methods ay tinukoy bilang “ ” . Ang mga algebraic circuits na ito ay karaniwang nakaayos sa mga layer, na bumubuo ng mga hakbang sa computation. Ang termino na ay tumutukoy sa mga algorithm na binubuo ng higit sa isang layer. ibig sabihin [[16]](javascript:void()) 4 techniques for machine learning in which hypotheses take the form of complex algebraic circuits with tunable connection strengths [[17]](javascript:void()) deep Mayroong dalawang pangunahing DNN structures: feed-forward neural networks at recurrent neural networks. Parehong uri ng DNNs ay maaaring katawanin bilang computation graphs, kung saan ang pangunahing pagkakaiba ay ang feed-forward networks ay maaaring katawanin bilang direct acyclic graphs (DAGs), habang ang recurrent neural networks ay maaaring maglaman ng cycles. Ang recurrent neural networks ay ginawa para sa mga sequence ng data, kung saan ang bawat data point ay may potensyal na dependency sa mga naunang data point sa sequence, habang ang feed-forward neural networks ay hindi isinasaalang-alang ang mga interaksyon sa pagitan ng mga punto sa isang data sequence. Ang natitirang bahagi ng papel na ito ay isasaalang-alang ang kaso ng feed-forward DNNs. 5 SEKSYON III. Distributed Inference Modeling Ang Seksyon na ito ay nagpapakilala ng isang modelo upang katawanin ang mga katangian ng DNN at network upang mahulaan ang mga computation latencies, transmission latencies, at ang panghuling inference throughput ng isang partikular na partitioning solution. A. DNN at Network Representation Ang isang feed-forward DNN na may N layers ay minomodelo bilang isang DAG GA=(L,E) na may L=(L1,…,LL) ang mga layer ng DNN. Ang mga edges (Li,Lj)∈E ay ang mga koneksyon sa pagitan ng mga layer Li at Lj . Ang bawat layer Li ay may kaugnay na compute consumption ci , sinusukat sa bilang ng floating-point operations na kinakailangan upang i-compute ang isang forward pass sa layer. Ang mga edges (Li,Lj) ay binibigyan ng weight si,j na tumutugma sa laki ng data na dumadaloy sa pagitan ng mga layer Li at Lj sa bytes. Ang physical network ay minomodelo bilang isang fully connected graph G=(N,V) kung saan N=(N1,…,NN) ay ang set ng compute nodes at V ay ang set ng mga link sa pagitan ng mga nodes. Ipinapalagay na ang mga compute nodes N1,…,NN ay may processing rates η1,…,ηN , ayon sa pagkakabanggit, sinusukat sa floating-point operations bawat segundo. Sa wakas, ang link throughput sa pagitan ng dalawang magkadugtong na nodes Na at Nb ay tinutukoy bilang θa,b , sinusukat sa bytes bawat segundo. Bawat node Ni ay konektado sa sarili nito na may infinite throughput upang katawanin ang loopback link, at ang mga link ay ipinapalagay na symmetrical, , θa,b=θb,a . ibig sabihin Ang mga partition ay tinutukoy bilang mga maps P:L→N , , ang isang partitioning ay nagtatalaga ng node number sa bawat layer sa DNN. Ang isang partitioning ay maaaring ilarawan bilang isang matrix P ng dimension (N×L) , N ang bilang ng mga nodes sa network at L ang bilang ng mga DNN layers at, kasama ang Pa,i=1 kung ang layer Li ay nakalagay sa node Na , 0 kung hindi. Sa halimbawang ibinigay sa , L=7 layers at N=2 compute nodes, ang ipinakitang partitioning na may mga layer {L1,L2,L3,L6,L7} sa node N1 , at mga layer {L4,L5} sa node N2 , ay kinakatawan bilang: ibig sabihin figure 2 Dahil sa isang partitioning, ang ay tinutukoy bilang isang grupo ng mga sunud-sunod na layer sa pagitan ng dalawang split points, na tumatakbo nang sunud-sunod sa parehong node. Sa halimbawa sa itaas, ang node N1 ay magpapatakbo ng dalawang threads, ang una ay naglalaman ng mga layer {L1,L2,L3} at ang pangalawa ay naglalaman ng {L6,L7} . thread Gamit ang mga notasyong ito na natukoy, ang natitirang bahagi ng Seksyon na ito ay bumubuo ng isang closed expression ng inference throughput na nakakamit ng isang partikular na partitioning, bilang isang function ng inference ( ) at transmission ( ) latencies. seksyon III-B seksyon III-C B. Prediksyon ng Inference Latency Dahil sa isang partitioning, ang Seksyon na ito ay tumitingin sa prediksyon ng inference latency sa isang isolated node. Ang latency na dulot ng computation ng isang layer Li na may consumption ci , na iko-compute sa node Na , na may processing rate na ηa ay ipinapahayag bilang Tci(Na)=ci/ηa . Dahil sa isang set ng mga layer L′⊂L sa lahat ng threads na tumatakbo sa node Na na may processing rate na ηa , ang inference latency ay maaaring ipahayag bilang: Ang expression na ito ay isang first order approximation ng isang estimation ng inference latency batay sa bilang ng floating-point operations (FLOPs) na kinakailangan upang iproseso ang DNN, , ang bilang ng multiply-add operations sa modelo. ibig sabihin Ang estimation ng inference latency sa mga edge device ay pinapahirapan ng mga run-time optimizations. Ang mga umiiral na solusyon tulad ng nn-Meter ay hinuhulaan ang inference latency batay sa FLOPs. Ang iba pang mga solusyon ay nakasalalay sa isang look-up table na may mga pre-computed na inference times para sa latency inference. Halimbawa, ang BRP-NAS ay gumagamit ng isang pre-trained graph convolutional network upang mahulaan ang mga inference latencies, habang isinasaalang-alang ang mga run-time model optimizations. [[18]](javascript:void()) [[19]](javascript:void()) Sa , ipinapalagay din na ang mga processor ay gumagamit ng kanilang buong kapasidad, na nangangahulugang ang mga multi-core processor ay minomodelo bilang single-core processor na may processing rate na katumbas ng kabuuan ng kanilang core processing rates. Ipinapalagay din na ang computing resource ay pantay na ibinabahagi sa pagitan ng mga threads, , ang isang processor ay naglalaan ng parehong proporsyon ng oras nito sa bawat thread. equation 1 ibig sabihin Sa lahat ng nodes, ang thread na may pinakamataas na latency ang nagtatakda ng inference throughput para sa distributed DNN. Kung hindi isasama ang mga transmission latencies, ito ay nangangahulugang kapag ang limiting thread na ito ay tapos na sa pag-compute ng isang data frame, agad itong magsisimula ng pagproseso ng susunod. Ang iba pang mga threads ay magkakaroon ng idle time bago iproseso ang susunod na data frame dahil ang kanilang inference latency ay mas mababa kaysa sa maximum latency na ito, tulad ng ipinakita sa . figure 1 Dahil sa isang partitioning matrix P , ang mga inference latencies ay maaaring ipahayag bilang isang solong vector Tc na may sukat na N kung saan ang a -th component ay ang pinakamataas na thread inference latency sa node Na , , Tca=Tc(Na) : ibig sabihin kung saan ang H ay ang diagonal matrix ng inverse node processing rates diag(η−11,…,η−1N) at ang c ay ang column vector ng mga indibidwal na layer consumptions (c1,…,cL) . C. Prediksyon ng Transmission Latency Ang transmission latency ay maaaring mahulaan tulad ng sumusunod: ang oras na kinakailangan upang ipadala ang dami ng data si,j sa pagitan ng mga layer Li at Lj sa edge (Na,Nb) sa isang link na may sinusukat na throughput na θa,b ay Tti,j(Na,Nb)=si,j/θa,b . Ang oras upang makamit ang mga data transfer si,j∈E′⊂E sa link (Na,Nb) ay: Katulad ng prediksyon ng inference latency, ito ay nangangahulugan na ang mga link ay pantay na ibinabahagi sa pagitan ng mga data transfer mula Na patungong Nb . Ang prediksyon ng transmission latency ay nakasalalay sa estimation ng link throughput sa pagitan ng mga nodes, mas partikular ang , , ang dami ng kapaki-pakinabang na data na naipapadala bawat segundo. goodput ibig sabihin Katulad ng estimation ng inference latency, ito ay isang first order approximation, na mahusay na nagbibigay ng magandang resulta ng prediksyon, tulad ng ipinakita sa c, na may correlation coefficient na R2=0.9998 . Ang disbentaha ng pamamaraang ito ay ang pangangailangan nito na i-saturate ang mga link upang makakuha ng throughput estimation. figure 3 Dahil sa isang partitioning matrix P , ang transmission latency matrix Tt ay maaaring tukuyin bilang isang square matrix na may sukat na L , na may Tta,b=Tt(Na,Nb) : kung saan ang ° ay ang term by term product, o Hadamard product, Θ ay ang inverse throughput matrix, , isang square matrix na may sukat na N na may Θa,b=θ−1a,b at ang S ay ang transmission size matrix, , isang square matrix na may sukat na L na may Si,j=si,j kung ang Li ay nagpapadala ng data sa Lj , 0 kung hindi. ibig sabihin ibig sabihin SEKSYON IV. DNN Partitioning Ang layunin ng DNN partitioning sa pag-aaral na ito ay upang i-maximize ang inference throughput, na tinutukoy bilang C , na tumutugma sa inverse ng maximum latency sa pagitan ng lahat ng iba't ibang computation at transmission latencies. Dahil sa isang partitioning P , ang inference throughput ay tinutukoy bilang: Ang pag-maximize ng inference throughput ay katumbas ng paghahanap ng joint min-max sa pagitan ng lahat ng mga termino ng Tc at Tt . Ito ay maaaring tukuyin bilang isang discrete optimization problem: