Nə üçün Süni Zəkanızın Artıq Daha Sürətli İşləmək üçün Buluda Ehtiyacı Yoxdur

```html Müəlliflər: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Axan verilənlər üzərində dərin neyron şəbəkəsinin (DNN) nəticələrini çıxarmaq üçün nəticənin çıxarılma tələblərini ödəmək üçün hesablama resursları tələb olunur. Bununla belə, təsir və gizlilik həssas dərin təlim tətbiqləri, nəticədə yaranan ötürmə xərcləri və üçüncü tərəf bulud tədarükçülərinə etimadsızlıq səbəbindən hesablamaı uzaq buludlara boşaltmağa imkan verə bilməz. Məhdudlaşdırılmış bir mühitdə hesablamaı saxlayarkən performansı artırmaq üçün həllər arasında, aparat sürətləndirilməsi çətin ola bilər və model optimallaşdırması geniş dizayn səyləri tələb edir, eyni zamanda dəqiqliyi maneə törədir. DNN partiyalara bölməsi üçüncü tamamlayıcı bir yanaşmadır və inferens iş yükünü bir neçə mövcud kənar cihazlara bölüşdürməkdən ibarətdir, kənar şəbəkə xüsusiyyətlərini və DNN strukturunu nəzərə alır, inferens sürətini (saniyədə inferens sayı) maksimallaşdırmaq məqsədi ilə. Bu məqalə çox mövzulu paylanmış DNN yerləşdirmələri üçün inferens və ötürmə gecikmələrini proqnozlaşdırmaq üçün bir üsul təqdim edir və inferens sürətini maksimallaşdırmaq üçün optimallaşdırma prosesini təyin edir. Sonra budaq və məhdud həll edici təqdim edilir və əldə edilmiş performansı və mürəkkəbliyi kəmiyyətləndirmək üçün təhlil edilir. Bu təhlil, DNN xüsusiyyətləri və şəbəkə xüsusiyyətləri altında DNN partiyalara bölməsinin faydalı olduğu müəyyən şərtləri təsvir edən sürətləndirmə bölgəsinin təyin edilməsinə səbəb oldu. Nəhayət, eksperimental nəticələr simulyasiyaları təsdiqləyir və nümunə kənar yerləşdirmələrində inferens sürətinin artımını göstərir. Kənar mühitdə DNN partiyalara bölməsi, mərkəzi serverlərə, məsələn, buluda bant genişliyindən istifadəni və gecikməni azaldarkən, inferens sürətini sürətləndirməyə imkan verir. Giriş 2020-ci ildə qoşulmuş cihazlar hər gün təxminən 2,5 quintilyon bayt məlumat istehsal etdi. Bu kontekstdə, Süni Zəka (AI) obyektlərin aşkarlanması, üz tanıma, səs tanıma, təbii dil emalı və ya avtonom sürücülük kimi sahələrdə istehsal olunan daim artan məlumat həcmi ilə ən yaxşı şəkildə öhdəsindən gələ bilən texnologiyalardan biridir. AI, və xüsusilə Dərin Təlim (DL), böyük miqdarda məlumata əlavə olaraq, əhəmiyyətli emal gücü və yaddaş qabiliyyətləri tələb edir, bu da bulud hesablamasını AI iş yüklərini yerləşdirmək üçün "de facto" həlli halına gətirir. Nəticədə, 2019-cu ildə AI tapşırıqlarının 96%-i buludda yerinə yetirilmişdir. 1 2 AI tətbiqləri, məsələn, avtonom sürücülükdə, istehsal monitorinqində və ya real vaxt rejimində nəticə çıxaran hər hansı bir tətbiqdə güclü gecikmə məhdudiyyətlərinə malik ola bilər. Məsələn, avtonom sürücülükdə orta cavab müddətləri 100 millisaniyədən az olmalıdır , bu da buluda gedən və gələn vaxtları bu cür tətbiqlər üçün çox uzun edir. Eyni şəkildə, bəzi tətbiqlər, məsələn, kompüter görməsində yüksək keyfiyyətli video emalı zamanı, şəbəkədə əhəmiyyətli bir əlaqə istifadəsi yarada bilər, bu da onların buludda işləməsinə mane olur. Məlumatların gizliliyi siyasətləri və ya məlumatların qorunması qaydaları, məlumatların müəyyən mühitləri tərk etməsinə qadağa qoya bilər. Bu, hesablama tapşırıqlarını məlumat mərkəzlərindən kənar cihazlara, yəni məlumat mənbələrinə yaxınlaşdıran kənar hesablama sahəsində AI yerləşdirmələrini təşviq edir. [[1]](javascript:void()) Buludlarla müqayisədə, kənar mühit məhdud resurslara malikdir və vacib məhdudiyyətlərə malikdir , buna görə də kənar mühit üçün AI inkişaf etdirmək bulud üçün AI inkişaf etdirməkdən əsaslı şəkildə fərqlidir. Məlumatı mənbəyə yaxın təhlil etmək, aşağı cihaz tutumları, mövcud resursların qeyri-elastikliyi və kənar şəbəkələrin heterojenliyi səbəbindən çətin ola bilər. Hesablama tutumunu azaltmaq, əldə olunan nəticə sürətini azaltmaq deməkdir, bu da ağır iş yüklərini buluddan kənara köçürməyi daha da çətinləşdirir. Bəzi tətbiqlərdə, nəticə sürəti, yəni DNN-in saniyədə əldə olunan nəticələr sayı, video axınlarında obyekt izləmə kimi DNN dəqiqliyi ilə əlaqələndirilə bilər, burada nəticə sürətini saniyədə 15-dən 5-ə endirmək, obyekt detektorunun F1 balını 10% aşağı saldığı göstərilmişdir__3__ . Başqa sözlə, aşağı nəticə sürətinə malik yerləşdirmələr kritik məlumat itkisinə səbəb ola bilər, məsələn, video müşahidə tətbiqlərində aşkarlanmaların itkisi. [[2]](javascript:void()) [[3]](javascript:void()) Məhdud kənar şəbəkələrdə performans tələblərini ödəmək üçün iki əsas üsul mövcuddur: model sıxılma və ya aparat sürətləndirməsi. *Model sıxılması* neyron şəbəkələrini yüngül, tez-tez az performanslı bir model versiyasına azaltmaq və optimallaşdırmaqdan ibarətdir. Standart model sıxılma üsulları, modeldə lazımsız parametrləri çıxarmaq, yəni kənarlaşdırmanı , modeli saxlamaq üçün ayrılmış yaddaşı azaltmaq, yəni kəmiyyətləşdirməni , və daha böyük bir modeldən çıxarılan biliklə kiçik bir neyron şəbəkəsini təlim etmək, yəni bilik distillasiyasını əhatə edir. Model optimallaşdırması geniş dizayn səyləri tələb edir və model dəqiqliyinə mane ola bilər. *Kənar cihazlarda aparat sürətləndirməsi*, eyni zamanda kifayət qədər performansla nəticə çıxarmağa qadir olarkən, həm gücə qənaət edən, həm də yüngül olan aparat tapmaq deməkdir. Kənar mühitdə sürətləndirmə üçün bir sıra namizəd aparat növləri mövcuddur, səmərəlilik və spesifiklik baxımından fərqlənir, lakin standart emal vahidləri gözləntiləri qarşılaya bilmir və ASIC kimi xüsusi aparatlar qeyri-praktik və bahalı hesab edilmişdir . [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) [[7]](javascript:void()) DNN partiyalara bölməsi, inferens sürətini sürətləndirmək üçün tamamlayıcı bir üsuldur, bu da inferens hesablamaını bölüşdürmək üçün kənar şəbəkələrdə mövcud cihazların çoxluğundan istifadə edir - bu, tək başına və ya digər iki üsulla birlikdə istifadə edilə bilər. DNN partiyalara bölməsi, bir neyron şəbəkəsini hissələrə ayırmaq üçün bir boru kəməri kimi qəbul etməkdən və bu hissələri kənar cihazlara paylamaqdan ibarətdir. Bu hissələrin yerləşdirilməsi həm DNN, həm də əsas şəbəkə xüsusiyyətlərinə əsaslanır. DNN partiyalara bölməsi, modelin hissələrə ayrıldığı model qrafikasındakı nöqtələri müəyyənləşdirməyə əsaslanır. İş vaxtı ərzində, hissələr ardıcıl işləyir, hər biri aralıq nəticələri növbəti hissəyə göndərir. Bu, hər hissəyə növbəti giriş məlumatını hesablamağa başlamağa imkan verir, digər cihazlar isə boşaldılmış olanı emal etməyə davam edir, bununla da inferens sürətini artırır, Şəkil 1-də göstərildiyi kimi. Bu məqalənin qalan hissəsində, DNN partiyalara bölməsi video axınlarında real vaxt rejimində nəticə çıxarma nümunəsi vasitəsilə təsvir edilir. A. Əlaqəli İşlər Mobil kənar-bulud boşaltma üsullarından əldə edilmiş DNN partiyalara bölmə üsulları, hesablama gecikməsi, enerji istehlakı, resurs istifadəsi, xərc və ya sürət kimi müxtəlif performans göstəricilərini optimallaşdırmağa çalışır. DNN partiyalara bölməsi, bir optimallaşdırma məqsədini təyin etmək üçün bu göstəricilərdən birini və ya bir neçəsini birləşdirməyə əsaslanır və bu göstəricidən istifadə edərək partiyalara bölmə sxemlərini tapmaq üçün bir üsuldan istifadə edir. Məsələn, Neurosurgeon gecikməni və enerji istehlakını minimuma endirmək üçün tək bir bölmə nöqtəsi axtarır, ilk hissəni kənarda saxlayır və ikinci hissəni buluda boşaldır. IoT tətbiqləri də enerji, gecikmə və/yaxud xərcləri optimallaşdırmaq üçün bir neçə DNN-in birləşmiş partiyalara bölməsi və boşaltılmasını nəzərdən keçirmişdir, SPSO-GA Particle Swarm Optimization (PSO) və Genetics Algorithm (GA) birləşdirən və ya DDPQN partiyalara bölmə sxemlərini tapmaq üçün Deep Reinforcement Learning istifadə edən müxtəlif həll edicilərdən istifadə edir. Digər nümunələrə DINA daxildir, bu da prosessinq gecikməsini və resurs istifadəsini optimallaşdırmaq üçün Integer Non Linear Programming (INLP) problemini təyin edir və uyğun nəzəriyyə əsaslı həll edicidən istifadə edir. Inferens sürətini optimallaşdıran üsullara DNN cərrahiyyəsi daxildir, bu da aralıq DNN qat çıxışlarının kiçik ölçüsündən istifadə edərək kənar və bulud arasında inferens hesablamaını bölüşdürür. Hər iki alqoritm iki hissə yaradır, biri kənarda, digəri isə buluddadır. Mobil kənar-bulud sahəsindəki digər tədqiqatlar ümumi inferens sürətini daha da sürətləndirmək üçün buluddakı çox mövzulu hesablamaı da əhatə edir. İkinci hissə inferens hesablamaı üçün buluddan istifadə etmək, bəzi izolyasiya edilmiş kənar yerləşdirmələrin zəif bağlantısı ilə qeyri-müəyyən ola bilən yaxşı şəbəkə bağlantısını güman edir. Edgent əvvəlki metodologiyanı mobil cihazlara və mövcud kənar serverlərə uyğunlaşdırır, buluda boşaltma məhdudiyyətini yumşaldır. Bu üsul müəyyən bir təlim və model arxitekturası ilə əlaqəlidir və hələ də partiyalara bölməni iki hissə ilə məhdudlaşdırır. Digər üsullar bir neçə bölmə nöqtəsi nəzərdən keçirmişdir, məsələn, IONN , bu da gecikməni və enerji istehlakını minimuma endirmək üçün partiyalara bölmə problemini təsvir edir, həmçinin modellərin kənar serverlərə yüklənmə vaxtını nəzərə alır. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Bu üsullar ya uzaq buludlarla qarşılıqlı əlaqədədir, ya da partiyalara bölmənin təbiəti ilə məhdudlaşır, məsələn, dəqiq iki hissəyə, çox mövzulu və ya onsuz bölmək tələb olunur. Qeyd olunan DNN partiyalara bölmə tədqiqatlarının heç biri həm çoxsaylı bölmə nöqtələrini, həm də çox mövzulu işləməni nəzərdən keçirmir. B. Töhfələr Bu məqalə, çoxsaylı bölmə nöqtələri və çox mövzulu partiyalara bölmə ilə axan verilənlərin real vaxt DNN hesablamaının inferens sürətini maksimallaşdırmaq üçün paylanmış bir inferens çərçivəsini təqdim edir. Bu məqalənin töhfələri bunlardır: Verilmiş partiyalara bölmə sxeminin gözlənilən inferens sürətini qiymətləndirmək mümkün olan paylanmış bir DNN-in hesablama və ötürmə gecikmələrini hesablamaq üçün bir model. DNN partiyalara bölməsi üçün optimallaşdırma probleminin formalaşdırılması, bu problem üçün budaq və məhdud həll edicinin həyata keçirilməsi və onun mürəkkəbliyinin qiymətləndirilməsi. Müxtəlif şəbəkə və DNN xüsusiyyətləri ilə mümkün performans artımlarını araşdırmaq üçün simulyasiyalar. Optimal partiyalara bölmələrin mövcudluğuna və bu həlləri hesablamaq üçün lazım olan xərclərə səbəb olan müəyyən bölgələri müəyyən etmək, yəni DNN partiyalara bölməsinin faydalı olduğu şərtlər. Simulyasiyalarda müəyyən edilmiş bölgələri, həmçinin proqnoz dəqiqliyini və bircinsli və heterojen mühitlərdə son inferens sürətinin artımını göstərən eksperimental nəticələr. Bu məqalənin qalan hissəsində, qarışıqlığı önləmək üçün, paylanmış dərin neyron şəbəkəsi *DNN* olaraq, fiziki rabitə şəbəkəsini isə *şəbəkə* olaraq xarakterizə edəcəyik. C. Məqalənin Planı Bu məqalənin qalan hissəsi aşağıdakı kimi təşkil edilmişdir. *Bölüm II* Dərin Təlimin əsaslarını və DNN-lərin bu tədqiqatda necə təmsil olunduğunu təsvir edir. *Bölüm III* DNN partiyalara bölmə qərarlarını qəbul etmək üçün *Bölüm IV* üçün tələb olunan inferens və ötürmə gecikmə proqnoz üsullarını, həmçinin optimallaşdırma problemini təfərrüatlandırır, həmçinin budaq və məhdud alqoritmini təsvir edir. *Bölüm V* bərabər şəbəkədə inferens sürətini artıran bir partiyalara bölmənin mövcudluğu üçün şərtləri, həmçinin budaq və məhdud alqoritminin performans və mürəkkəbliyini qiymətləndirmək üçün simulyasiya nəticələrini təqdim edir. *Bölüm VI* Bölüm V-in simulyasiyalarını təsdiqləyən və heterojen eksperimental bir qurğuya nümunə olaraq inferens sürətinin artımını göstərən eksperimental nəticələri təqdim edir. Nəhayət, *Bölüm VII* nəticələri müzakirə edir və bu üsulun daha geniş tətbiq imkanlarını genişləndirir. BÖLÜM II. Əsas: Dərin Təlim Maşın Öyrənməsi sahəsində, Dərin Təlim (DL) bir çox gizli təbəqəyə malik olan DNN-lərdən, yəni süni neyron şəbəkələrindən (və ya müvafiq maşın öyrənmə üsullarından) istifadə edən metodları ifadə edir. Dərin təlim arxitekturlarına dair ən erkən istinadlardan biri 1967-ci ildə nəşr edilmişdir , lakin DL-in ilk növbədə səs tanıma, sonra isə yüksək ölçülü məlumatlardakı mürəkkəb əlaqələri tutma qabiliyyətinə görə şəkillərdə obyekt aşkarlanmasında populyarlıq qazanması 2010-cu illərə qədər davam etmədi. Dərin Təlimin 2022-ci ildə AI tətbiqlərinin əksəriyyətini təşkil etdiyi təxmin edilir, təşkilatların 75%-dən çoxu klassik üsullardan istifadə edilə biləcək tətbiqlər üçün DNN-lərdən istifadə edir. DL metodları "maşın öyrənmə texnikalarıdır ki, hipotezlər tənzimlənən əlaqə güclərinə malik mürəkkəb cəbr düsturları şəklindədir" kimi təyin edilmişdir . Bu cəbr düsturları adətən təlimləri təşkil edən qatlara təşkil olunur, bu da hesablamaın addımlarıdır. *Dərin* termini bir qatdan çox olan alqoritmləri ifadə edir. [[16]](javascript:void()) 4 [[17]](javascript:void()) İki əsas DNN strukturu var: ötürücü neyron şəbəkələri və təkrarlanan neyron şəbəkələri. Hər iki DNN növü hesablama qrafikləri kimi təmsil oluna bilər, əsas fərq isə ötürücü şəbəkələr birbaşa asiklik qrafiklər (DAG) kimi təmsil oluna bilər, təkrarlanan neyron şəbəkələri isə döngülər ehtiva edə bilər. Təkrarlanan neyron şəbəkələri verilənlər ardıcıllıqları üçün tikilmişdir, burada hər bir məlumat nöqtəsi ardıcıllıqdakı əvvəlki məlumat nöqtələri ilə potensial bir əlaqəyə malikdir, ötürücü neyron şəbəkələri isə məlumat ardıcıllığı arasındakı qarşılıqlı əlaqələri nəzərə almır. Bu məqalənin qalan hissəsində ötürücü DNN-lərin istifadəsi nəzərdə tutulur. 5 BÖLÜM III. Paylanmış İnferens Modelləşdirməsi Bu Bölüm, DNN və şəbəkə xüsusiyyətlərini təmsil etmək, hesablama gecikmələrini, ötürmə gecikmələrini və verilmiş partiyalara bölmə həllinin son inferens sürətini proqnozlaşdırmaq üçün bir model təqdim edir. A. DNN və Şəbəkə Təmsili N qatdan ibarət ötürücü DNN, L=(L1,…,LL) DNN qatları ilə bir DAG GA=(L,E) kimi modelləşdirilir. Qatlar (Li,Lj)∈E, Li və Lj qatları arasındakı əlaqələrdir. Hər bir qat Li, birbaşa irəliləmə qatından keçmək üçün tələb olunan kəsr nöqtəsi əməliyyatlarının sayı miqdarında ölçülən cı hesablama xərci ilə əlaqələndirilir. (Li,Lj) kənar qatları, Li və Lj qatları arasında köçürülən məlumatın ölçüsünə uyğun gələn s i,j çəkisi ilə təyin edilir. Fiziki şəbəkə N=(N1,…,NN) hesablama düyünləri dəsti və düyünlər arasındakı əlaqələr dəsti V kimi tam əlaqəli bir qraf G=(N,V) kimi modelləşdirilir. Hesablama düyünləri N1,…,NN-nin müvafiq olaraq saniyədə kəsr nöqtəsi əməliyyatları miqdarında ölçülən η1,…,ηN işləmə dərəcələrinə malik olduğu güman edilir. Nəhayət, iki qonşu düyün Na və Nb arasındakı əlaqənin ötürmə qabiliyyəti θa,b, saniyədə bayt miqdarında ölçülən θa,b kimi qeyd edilir. Hər bir düyün Ni, özünə sonsuz ötürmə qabiliyyəti ilə qoşulmuşdur, bu da geri keçid əlaqəsini təmsil edir və əlaqələrin simmetrik olduğu güman edilir, yəni θa,b=θb,a. Partiyalara bölmələr, yəni P:L→N kimi təyin edilir, yəni bir partiyalara bölmə hər bir DNN qatına bir düyün nömrəsini təyin edir. Bir partiyalara bölmə, düyünlərin sayı N və DNN qatlarının sayı L olan (N×L) ölçülü bir P matrisi kimi təsvir edilə bilər və Pa,i=1, əgər qat Li düyün Na-da yerləşibsə, 0 əks halda. Şəkil 2-də verilən nümunə ilə, L=7 qat və N=2 hesablama düyünü, {L1,L2,L3,L6,L7} qatları ilə N1 düyünündə və {L4,L5} qatları ilə N2 düyünündə yerləşdirilmiş təsvir olunan partiyalara bölmə: Bu qeydlər müəyyən edildikdən sonra, bu Bölümün qalan hissəsində, inferens (Bölüm III-B) və ötürmə (Bölüm III-C) gecikmələrinin bir funksiyası olaraq verilmiş partiyalara bölmə tərəfindən əldə olunan inferens sürətinin qapalı ifadəsi tərtib ediləcəkdir. B. İnferens Gecikməsinin Proqnozu Verilmiş bir partiyalara bölmə üçün, bu Bölüm tək bir düyündəki inferens gecikməsini nəzərdən keçirir. Bir düyün Na-da, işləmə dərəcəsi ηa ilə hesablamaı lazım olan ci xərci olan Li qatının hesablamaı tərəfindən yaranan gecikmə Tci(Na)=ci/ηa kimi ifadə edilir. Na düyünündə işləmə dərəcəsi ηa ilə işləyən bütün mövzular üzrə qatların bir dəsti L′⊂L verilmişdirsə, inferens gecikməsi belə ifadə oluna bilər: Bu ifadə, DNN-in emalı üçün tələb olunan kəsr nöqtəsi əməliyyatlarının sayı, yəni modeldəki toplama-vurma əməliyyatları sayına əsaslanan inferens gecikməsinin ilk tərtib yaxınlaşmasıdır. Kənar cihazlarda inferens gecikməsinin qiymətləndirilməsi, iş vaxtı optimallaşdırmaları ilə çətinləşir. nn-Meter kimi mövcud həllər FLOP-lara əsaslanaraq inferens gecikməsini proqnozlaşdırır. Digər həllər, gecikmə proqnozu üçün əvvəlcədən hesablanmış inferens vaxtları olan bir axtarış cədvəlinə əsaslanır. Məsələn, BRP-NAS iş vaxtı model optimallaşdırmalarını nəzərə alaraq inferens gecikmələrini proqnozlaşdırmaq üçün əvvəlcədən təlim edilmiş bir qrafik convolyusional şəbəkədən istifadə edir. [[18]](javascript:void()) [[19]](javascript:void()) 1-ci tənlikdə, prosessorların tam tutumlarından istifadə etdiyi güman edilir, bu da çox nüvəli prosessorların onların nüvə işləmə dərəcələrinin cəminə bərabər işləmə dərəcəsi olan tək nüvəli prosessorlar kimi modelləşdirilməsini tələb edir. Həmçinin, hesablama resursunun mövzular arasında bərabər şəkildə bölündüyü güman edilir, yəni bir prosessor vaxtının müəyyən bir hissəsini hər mövzuya ayırır. Bütün düyünlər arasında, ən yüksək gecikməyə malik mövzu paylanmış DNN üçün inferens sürətini müəyyən edir. Ötürmə gecikmələrini nəzərə almasaq, bu o deməkdir ki, bu məhdudlaşdırıcı mövzu bir məlumat çərçivəsini hesablamaı bitirdikdən sonra, növbəti birini dərhal emal etməyə başlayır. Digər mövzular, onların inferens gecikməsi bu maksimum gecikmədən aşağı olduğu üçün növbəti məlumat çərçivəsini emal etməzdən əvvəl boş vaxta sahib olacaqlar, Şəkil 1-də göstərildiyi kimi. Verilmiş partiyalara bölmə matrisi P üçün, inferens gecikmələri N ölçülü bir vahid vektor Tc kimi ifadə edilə bilər, burada a-cı komponent Na düyünündəki ən yüksək mövzunun inferens gecikməsidir, yəni Tca=Tc(Na): burada H tərs düyün işləmə dərəcələrinin diaqonal matrisi diag(η−11,…,η−1N) və c fərdi qat xərclərinin sütun vektoru (c1,…,cL)-dir. C. Ötürmə Gecikməsinin Proqnozu Ötürmə gecikməsi aşağıdakı kimi proqnozlaşdırıla bilər: qatlar Li və Lj arasında Na və Nb əlaqəsində ölçülmüş