Bakit Hindi Mo Kailangan ang Cloud para Mas Mabilis na Patakbuhin ang Iyong AI

Mga May-akda: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Buod: Ang paggamit ng Deep Neural Network (DNN) sa streaming data ay nangangailangan ng mga computing resource upang matugunan ang mga kinakailangan sa throughput ng inference. Gayunpaman, ang mga latency at privacy-sensitive deep learning applications ay hindi kayang i-offload ang computation sa malalayong cloud dahil sa implied transmission cost at kakulangan ng tiwala sa mga third-party cloud provider. Sa mga solusyon upang mapataas ang performance habang pinapanatili ang computation sa isang constrained environment, ang hardware acceleration ay maaaring maging mabigat, at ang model optimization ay nangangailangan ng malawak na design efforts habang hinahadlangan ang accuracy. Ang DNN partitioning ay isang pangatlong komplementaryong approach, at binubuo ng pamamahagi ng inference workload sa ilang available na edge device, isinasaalang-alang ang mga katangian ng edge network at ang istraktura ng DNN, na may layuning i-maximize ang inference throughput (bilang ng inferences per second). Ipinapakilala ng papel na ito ang isang paraan upang mahulaan ang mga inference at transmission latencies para sa multi-threaded distributed DNN deployments, at tinutukoy ang isang proseso ng optimisasyon upang ma-maximize ang inference throughput. Pagkatapos ay ipinakikilala at sinusuri ang isang branch and bound solver upang masukat ang nakamit na performance at complexity. Ang pagsusuring ito ay humantong sa pagtukoy ng acceleration region, na naglalarawan ng mga deterministic na kondisyon sa mga katangian ng DNN at network kung saan ang DNN partitioning ay kapaki-pakinabang. Sa huli, kinukumpirma ng mga experimental result ang mga simulation at nagpapakita ng mga pagpapabuti sa inference throughput sa mga sample edge deployments. Ang DNN partitioning sa edge ay nagbibigay-daan sa acceleration ng inference throughput habang binabawasan ang paggamit ng bandwidth at latency sa mga centralized server, hal., sa cloud. Introduksyon Ang mga konektadong device ay bumuo ng tinatayang 2.5 quintillion bytes ng data araw-araw noong 2020. Sa kontekstong ito, ang Artificial Intelligence (AI) ay isa sa mga teknolohiya na pinakamahusay na makakayanan ang palaging lumalaking dami ng nalilikhang data, sa iba't ibang larangan tulad ng object detection sa computer vision, facial recognition, speech recognition, natural language processing, o autonomous driving. Ang AI, at lalo na ang Deep Learning (DL), ay nangangailangan, bukod sa malaking dami ng data, ng malaking kakayahan sa processing power at memory, na ginagawang cloud computing ang solusyon sa pagho-host ng mga AI workload. Dahil dito, noong 2019, 96% ng mga AI task ay tumatakbo sa cloud. 1 de facto 2 Ang mga AI application ay maaaring magkaroon ng malakas na mga paghihigpit sa latency, , sa autonomous driving, manufacturing monitoring, o anumang real-time inference na may kinalaman sa interaksyon sa totoong mundo. Halimbawa, ang average response times sa autonomous driving ay kinakailangang mas mababa sa 100 milliseconds , na ginagawang masyadong mahaba ang round trip times sa cloud para sa mga ganitong aplikasyon. Gayundin, ang ilang aplikasyon ay maaaring magdulot ng malaking paggamit ng link sa network, , sa kaso ng high quality video processing sa computer vision, na pumipigil sa pagpapatakbo nito sa cloud. Ang mga patakaran sa privacy ng data o mga regulasyon sa proteksyon ng data ay maaari ding maglarawan sa data na umalis sa mga partikular na kapaligiran. Ito ay naghihikayat ng mga AI deployment sa edge computing, na binubuo ng paglipat ng mga computation task mula sa mga data center papalapit sa mga edge device, , malapit sa mga pinagmumulan ng data. halimbawa [](javascript:void()) halimbawa ibig sabihin Kumpara sa mga public cloud, ang edge ay isang kapaligiran na limitado ang resources na may malalaking limitasyon , at ang pag-develop ng AI para sa edge ay samakatuwid ay likas na iba sa pag-develop ng AI para sa cloud. Ang pagsusuri ng data malapit sa pinagmulan nito ay maaaring maging mahirap dahil sa mas mababang kapasidad ng device, inelasticity ng mga available na resources, at heterogeneity ng mga edge network. Ang pagpapababa ng computing capacity ay nangangahulugang pagpapababa ng nakakamit na inference throughput, na lalong nagpapahirap sa paglipat ng mabibigat na workload mula sa cloud patungo sa edge. Sa ilang mga aplikasyon, ang inference throughput, , ang nakakamit na inferences per second ng isang DNN, ay maaaring maiugnay sa DNN accuracy, , sa object tracking sa mga video stream, kung saan ang pagbaba ng inference rate mula 15 hanggang 5 inferences per segundo ay nagpakita ng pagbaba ng F1 score__3__ ng isang object detector ng 10% . Sa ibang salita, ang mga deployment na may mababang inference throughput ay maaaring magdulot ng kritikal na pagkawala ng impormasyon, , pagkawala ng mga detection sa mga video surveillance application. [](javascript:void()) ibig sabihin halimbawa [](javascript:void()) halimbawa May dalawang pangunahing paraan upang matugunan ang mga kinakailangan sa performance sa mga constrained edge network: model compression o hardware acceleration. ay binubuo ng pagbabawas at pag-optimize ng mga neural network sa isang light-weight, kadalasang hindi masyadong nagpe-perform, na bersyon ng modelo. Ang mga karaniwang paraan ng model compression ay kinabibilangan ng pruning , , pag-aalis ng mga hindi kinakailangang parameter sa modelo, quantization , , pagbabawas ng nakalaang memory upang i-store ang modelo, at knowledge distillation , , pag-train ng mas maliit na neural network na may kaalamang nakuha mula sa mas malaki. Ang model optimization ay nangangailangan ng malawak na design efforts at maaaring maging hadlang sa model accuracy. sa mga edge device ay nangangahulugan ng paghahanap ng hardware na maaaring maging power efficient at light-weight, habang kaya pa ring magpatakbo ng inference na may sapat na performance. Mayroong ilang uri ng candidate hardware para sa acceleration sa edge, na nag-iiba sa efficiency at specificity, ngunit ang mga standard processing unit ay hindi nakakamit ang mga inaasahan at ang mga dedicated hardware tulad ng ASIC ay natagpuang hindi praktikal at mahal . Model compression [](javascript:void()) ibig sabihin [](javascript:void()) ibig sabihin [](javascript:void()) ibig sabihin Hardware acceleration [](javascript:void()) Ang DNN partitioning ay isang komplementaryong paraan para sa pag-accelerate ng inference sa pamamagitan ng paggamit sa dami ng mga umiiral na device sa mga edge network upang ipamahagi ang inference computation– na maaaring gamitin nang mag-isa, o kasama ng dalawang iba pang paraan. Ang DNN partitioning ay binubuo ng pagtingin sa isang neural network bilang isang pipeline na nahahati sa mga partition, at ipinamamahagi ang mga partition na ito sa mga edge device. Ang placement ng mga partition na ito ay batay sa parehong DNN at sa mga katangian ng underlying network. Ang DNN partitioning ay umaasa sa pagkilala ng mga split point, na mga punto sa model graph kung saan ang modelo ay nahahati sa mga partition. Sa panahon ng run-time, ang mga partition ay pinapatakbo nang sunud-sunod, bawat isa ay nagpapadala ng mga intermediary inference result sa susunod na partition. Ito ay nagpapahintulot sa bawat partition na simulan ang pag-compute ng susunod na input data habang ang iba pang mga device ay patuloy na nagpoproseso ng offloaded data, sa gayon ay nagpapabuti sa inference throughput, gaya ng ipinakikita sa . Sa natitirang bahagi ng papel na ito, ang DNN partitioning ay inilalarawan sa pamamagitan ng halimbawa ng real-time inference sa mga video stream. figure 1 A. Kaugnay na Trabaho Ang mga pamamaraan para sa DNN partitioning, na nagmula sa mobile edge-cloud offloading, ay naglalayong i-optimize ang iba't ibang performance indicator, tulad ng computing latency, energy consumption, resource utilization, cost, o throughput. Ang DNN partitioning ay umaasa sa asosasyon ng isa o higit pa sa mga metrikong ito upang tukuyin ang isang optimization goal, at isang pamamaraan na gumagamit ng metrikong ito upang makahanap ng mga partitioning scheme. Halimbawa, ang Neurosurgeon ay naghahanap ng isang split point, pinapanatili ang unang partition sa edge at offloading ang ikalawang partition sa cloud, upang mabawasan ang latency at energy consumption. Ang mga aplikasyon sa IoT ay isinasaalang-alang din ang pinagsamang partitioning at offloading ng ilang DNN upang i-optimize ang energy, delay, at/o cost, gamit ang iba't ibang solver tulad ng SPSO-GA na pinagsasama ang Particle Swarm Optimization (PSO) at Genetics Algorithm (GA), o DDPQN na gumagamit ng Deep Reinforcement Learning upang makahanap ng mga partitioning scheme. Ang iba pang mga halimbawa ay kinabibilangan ng DINA , na tumutukoy sa isang Integer Non Linear Programming (INLP) problem, at gumagamit ng solver na batay sa matching theory, upang i-optimize ang delay at resource utilization sa fog network. Ang mga pamamaraan na nag-o-optimize ng inference throughput ay kinabibilangan ng DNN surgery , na gumagamit ng mas maliit na laki ng mga intermediary DNN layer output upang hatiin ang inference computation sa pagitan ng edge at ng cloud. Parehong algorithm ay lumilikha ng dalawang partition, isa sa edge at ang isa sa cloud. Ang iba pang mga pag-aaral sa larangan ng mobile edge-cloud ay kasama rin ang multi-threaded computation sa cloud upang higit na mapabilis ang kabuuang inference throughput. Ang pag-asa sa cloud para sa pangalawang partition ng inference computation ay nagpapalagay ng magandang koneksyon sa network, na maaaring hindi sigurado sa mahinang koneksyon ng ilang isolated edge deployment. Ang Edgent ay inaangkop ang nakaraang methodology sa mga mobile device at available na edge server, na pinapalambot ang paghihigpit ng offloading sa cloud. Ang pamamaraang ito ay nauugnay sa isang partikular na training at model architecture, at naglilimita pa rin sa partitioning sa dalawang partition. Ang iba pang mga pamamaraan ay isinasaalang-alang ang maraming split point, , IONN , na naglalarawan sa problema ng partitioning upang mabawasan ang latency at energy consumption, habang isinasaalang-alang din ang oras upang i-upload ang mga modelo sa mga edge server. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) halimbawa [](javascript:void()) Ang mga pamamaraang ito ay nakikipag-ugnayan sa mga malalayong cloud, o limitado sa kalikasan ng partitioning, , kinakailangang hatiin sa eksaktong dalawang bahagi, na mayroon o walang multi-threading. Wala sa mga nakalistang DNN partitioning studies ang isinasaalang-alang ang parehong maraming split point at multi-threading. halimbawa B. Mga Kontribusyon Ang papel na ito ay nagpapakita ng isang distributed inference framework upang ma-maximize ang inference throughput ng real-time DNN computation sa streaming data, na may maraming split point at multi-threaded partitioning. Ang mga kontribusyon ng papel na ito ay ang mga sumusunod: Isang modelo para sa pag-compute at transmission latencies ng isang distributed DNN, kung saan ang inaasahang inference throughput ng isang partikular na partitioning scheme ay maaaring tantyahin. Pagbabalangkas ng optimization problem para sa DNN partitioning, pagpapatupad ng branch and bound solver para sa problemang ito, at pagsusuri ng complexity nito. Mga simulation upang suriin ang mga posibleng pagpapabuti sa performance na may iba't ibang katangian ng network at DNN. Ang pagtukoy ng mga deterministic na rehiyon sa mga katangian ng network at DNN na humahantong sa pagkakaroon ng mga optimal na partitioning at ang halaga upang i-compute ang mga solusyon na iyon, , ang mga kondisyon kung saan ang DNN partitioning ay kapaki-pakinabang. ibig sabihin Ang mga experimental result na naglalarawan sa mga rehiyong tinukoy sa mga simulation, pati na rin ang prediction accuracy at ang huling inference throughput acceleration para sa homogeneous at heterogeneous na mga kapaligiran. Para sa natitirang bahagi ng papel na ito, upang maiwasan ang kalituhan, ang partitioned deep neural network ay tutukuyin bilang , at ang termino na ay tutukoy sa underlying physical communications network. DNN network C. Balangkas ng Papel Ang natitirang bahagi ng papel na ito ay nakaayos bilang sumusunod. ay naglalahad ng background ng Deep Learning at kung paano kinakatawan ang mga DNN sa pag-aaral na ito. ay nagdedetalye ng mga inference at transmission latency prediction method na kinakailangan para sa na tumutukoy sa optimization problem, pati na rin ang branch and bound algorithm upang gumawa ng mga desisyon sa partitioning. ay naglalahad ng simulation results upang masukat ang performance at complexity ng branch and bound algorithm, pati na rin ang mga kondisyon na humahantong sa pagkakaroon ng isang partitioning na nagpapabuti sa inference throughput sa isang homogeneous network. ay naglalahad ng mga experimental result na kumukumpirma sa mga simulation ng , at nagpapakita ng mga pagpapabuti sa inference throughput sa isang heterogeneous experimental set-up. Sa huli, ay tatalakay sa mga resulta at magpapalawak sa mas malawak na applicability ng pamamaraang ito. Seksyon II Seksyon III Seksyon IV Seksyon V Seksyon VI Seksyon V Seksyon VII SEKSYON II. Background: Deep Learning Sa larangan ng Machine Learning, ang Deep Learning (DL) ay tumutukoy sa mga pamamaraan na umaasa sa paggamit ng mga DNN, , mga artificial neural network (o mga kaugnay na machine learning method) na naglalaman ng higit sa isang hidden layer. Isa sa mga pinakaunang reference sa deep learning architectures ay inilathala noong 1967 , ngunit hindi hanggang sa 2010s lamang naging popular ang DL, una sa speech recognition, pagkatapos ay sa object detection sa mga imahe, dahil sa kakayahang makuha ang mga kumplikadong relasyon sa high dimensional na data. Tinatayang ang Deep Learning ay bumubuo sa karamihan ng mga AI application noong 2022, na may higit sa 75% ng mga organisasyon na gumagamit ng mga DNN para sa mga aplikasyon na maaaring gumamit ng mga klasikong pamamaraan. Ang mga DL method ay tinukoy bilang “ ” . Ang mga algebraic circuit na ito ay karaniwang nakaayos sa mga layer, na bumubuo ng mga hakbang sa computation. Ang terminong ay tumutukoy sa mga algorithm na binubuo ng higit sa isang layer. ibig sabihin [](javascript:void()) 4 techniques for machine learning in which hypotheses take the form of complex algebraic circuits with tunable connection strengths [](javascript:void()) deep Mayroong dalawang pangunahing istraktura ng DNN: feed-forward neural networks at recurrent neural networks. Ang parehong uri ng DNN ay maaaring katawanin bilang computation graphs, na ang pangunahing pagkakaiba ay ang feed-forward networks ay maaaring katawanin bilang direct acyclic graphs (DAGs), habang ang recurrent neural networks ay maaaring maglaman ng mga cycle. Ang recurrent neural networks ay binuo para sa mga sequence ng data, kung saan ang bawat data point ay may potensyal na dependency sa mga nakaraang data point sa sequence, habang ang feed-forward neural networks ay hindi isinasaalang-alang ang mga interaksyon sa pagitan ng mga punto sa isang data sequence. Sa natitirang bahagi ng papel na ito ay isasaalang-alang ang kaso ng feed-forward DNNs. 5 SEKSYON III. Distributed Inference Modeling Ang Seksyon na ito ay naglalahad ng isang modelo upang katawanin ang mga katangian ng DNN at network upang mahulaan ang mga computation latencies, transmission latencies, at ang huling inference throughput ng isang partikular na partitioning solution. A. DNN at Network Representation Ang isang feed-forward DNN na may N layers ay minodelo bilang isang DAG GA=(L,E) kung saan ang L=(L1,…,LL) ay ang mga layer ng DNN. Ang mga edge (Li,Lj)∈E ay ang mga koneksyon sa pagitan ng mga layer Li at Lj . Ang bawat layer Li ay may kaugnay na compute consumption ci , na sinusukat sa bilang ng floating-point operations na kinakailangan upang mag-compute ng forward pass sa layer. Ang mga edge (Li,Lj) ay binibigyan ng weight si,j na tumutugma sa laki ng data na dumadaan sa pagitan ng mga layer Li at Lj sa bytes. Ang pisikal na network ay minodelo bilang isang fully connected graph G=(N,V) kung saan ang N=(N1,…,NN) ay ang set ng mga compute node at ang V ay ang set ng mga link sa pagitan ng mga node. Ipinapalagay na ang mga compute node N1,…,NN ay may mga processing rate η1,…,ηN , ayon sa pagkakabanggit, na sinusukat sa floating-point operations per second. Sa wakas, ang link throughput sa pagitan ng dalawang magkadikit na node Na at Nb ay tinutukoy bilang θa,b , sinusukat sa bytes per second. Bawat node Ni ay konektado sa sarili nito na may infinite throughput upang katawanin ang loopback link, at ang mga link ay ipinapalagay na symmetrical, , θa,b=θb,a . ibig sabihin Ang mga partitioning ay tinutukoy bilang mga map P:L→N , , ang isang partitioning ay nag-a-assign ng isang node number sa bawat layer sa DNN. Ang isang partitioning ay maaaring ilarawan bilang isang matrix P na may dimension na (N×L) , N ang bilang ng mga node sa network at L ang bilang ng mga DNN layer at, kasama ang Pa,i=1 kung ang layer Li ay nakalagay sa node Na , 0 kung hindi. Sa halimbawang ibinigay sa , L=7 layers at N=2 compute nodes, ang ipinakitang partitioning na may mga layer {L1,L2,L3,L6,L7} sa node N1 , at mga layer {L4,L5} sa node N2 , ay kinakatawan bilang: ibig sabihin figure 2 Isinasaalang-alang ang isang partitioning, ang ay tinutukoy bilang isang grupo ng mga magkakasunod na layer sa pagitan ng dalawang split point, na tumatakbo nang sunud-sunod sa parehong node. Sa halimbawa sa itaas, ang node N1 ay magpapatakbo ng dalawang thread, ang una ay naglalaman ng mga layer {L1,L2,L3} at ang pangalawa ay naglalaman ng {L6,L7} . thread Sa mga notasyong ito na natukoy, ang natitirang bahagi ng Seksyon na ito ay nagbubuo ng isang closed expression ng inference throughput na nakamit ng isang partikular na partitioning, bilang isang function ng inference ( ) at transmission ( ) latencies. seksyon III-B seksyon III-C B. Pagtataya ng Inference Latency Isinasaalang-alang ang isang partitioning, ang Seksyon na ito ay tumitingin sa pagtataya ng inference latency sa isang isolated node. Ang latency na dulot ng pag-compute ng isang layer Li na may consumption na ci , na iko-compute sa node Na , na may processing rate na ηa ay ipinapahayag bilang Tci(Na)=ci/ηa . Isinasaalang-alang ang isang set ng mga layer L′⊂L sa lahat ng thread na tumatakbo sa node Na na may processing rate na ηa , ang inference latency ay maaaring ipahayag bilang: Ang expression na ito ay isang first order approximation ng isang inference latency estimation batay sa bilang ng floating-point operations (FLOPs) na kinakailangan upang iproseso ang DNN, , ang bilang ng multiply-add operations sa modelo. ibig sabihin Ang pagtataya ng inference latency sa mga edge device ay pinapahirapan ng mga run-time optimization. Ang mga umiiral na solusyon tulad ng nn-Meter ay humuhula ng inference latency batay sa FLOPs. Ang iba pang mga solusyon ay umaasa sa isang look-up table na may mga pre-computed inference times para sa latency inference. Halimbawa, ang BRP-NAS ay gumagamit ng isang pre-trained graph convolutional network upang mahulaan ang mga inference latency, habang isinasaalang-alang ang mga run-time model optimization. [](javascript:void()) [](javascript:void()) Sa , karagdagang ipinapalagay na ang mga processor ay gumagamit ng kanilang buong kapasidad, na nangangahulugan na ang mga multi-core processor ay minodelo bilang mga single-core processor na may processing rate na katumbas ng kabuuan ng kanilang mga core processing rate. Ipinapalagay din na ang computing resource ay pantay na pinaghahatian sa pagitan ng mga thread, , ang isang processor ay naglalaan ng parehong proporsyon ng oras nito sa bawat thread. equation 1 ibig sabihin Sa lahat ng mga node, ang thread na may pinakamataas na latency ang nagtatakda ng inference throughput para sa distributed DNN. Kung hindi isasama ang mga transmission latency, nangangahulugan ito na kapag ang limiting thread na ito ay tapos na sa pag-compute ng isang data frame, ito ay direktang magsisimula sa pagproseso ng susunod. Ang iba pang mga thread ay magkakaroon ng idle time bago iproseso ang susunod na data frame dahil ang kanilang inference latency ay mas mababa kaysa sa maximum latency na ito, gaya ng ipinakikita sa . figure 1 Isinasaalang-alang ang isang partitioning matrix P , ang mga inference latency ay maaaring ipahayag bilang isang solong vector Tc na may laki na N kung saan ang a -th component ay ang pinakamataas na thread inference latency sa node Na , , Tca=Tc(Na) : ibig sabihin kung saan ang H ay ang diagonal matrix ng inverse node processing rates diag(η−11,…,η−1N) at ang c ay ang column vector ng mga individual layer consumption (c1,…,cL) . C. Pagtataya ng Transmission Latency Ang transmission latency ay maaaring mahulaan tulad ng sumusunod: ang oras na kinakailangan upang ipadala ang dami ng data na si,j sa pagitan ng mga layer Li at Lj sa edge (Na,Nb) sa isang link na may nasukat na throughput na θa,b ay Tti,j(Na,Nb)=si,j/θa,b . Ang oras upang makumpleto ang mga data transfer na si,j∈E′⊂E sa link na (Na,Nb) ay: Katulad ng pagtataya ng inference latency, ito ay nangangahulugan na ang mga link ay pantay na pinaghahatian sa pagitan ng mga data transfer mula Na hanggang Nb . Ang pagtataya ng transmission latency ay umaasa sa pagtataya ng link throughput sa pagitan ng mga node, mas partikular ang , , ang dami ng kapaki-pakinabang na data na nai-transmit bawat segundo. goodput ibig sabihin Katulad ng pagtataya ng inference latency, ito ay isang first order approximation, na mahusay na nagbibigay ng magagandang resulta ng pagtataya, gaya ng ipinakikita sa c, na may correlation coefficient na R2=0.9998 . Ang kawalan ng pamamaraang ito ay ang pangangailangan nito na i-saturate ang mga link upang makakuha ng throughput estimation. figure 3 Isinasaalang-alang ang isang partitioning matrix P , ang transmission latency matrix Tt ay maaaring tukuyin bilang isang square matrix na may laki na L , kung saan ang Tta,b=Tt(Na,Nb) : kung saan ang ° ay ang term by term product, o Hadamard product, Θ ay ang inverse throughput matrix, , isang square matrix na may laki na N kung saan Θa,b=θ−1a,b at ang S ay ang transmission size matrix, , isang square matrix na may laki na L kung saan Si,j=si,j kung Li ay nagpapadala ng data sa Lj , 0 kung hindi. ibig sabihin ibig sabihin SEKSYON IV. DNN Partitioning Ang layunin ng DNN partitioning sa pag-aaral na ito ay ang ma-maximize ang inference throughput, na tinukoy bilang C , na tumutugma sa inverse ng maximum latency sa pagitan ng lahat ng iba't ibang computation at transmission latencies. Isinasaalang-alang ang isang partitioning P , ang inference throughput ay tinukoy bilang: Ang pag-maximize ng inference throughput ay katumbas ng paghahanap ng joint min-max sa pagitan ng lahat ng mga termino ng Tc at Tt . Ito ay maaaring tukuyin bilang isang discrete optimization problem: kung saan ang Ji,j