Niyə süni intellektinizə daha sürətli işləmək üçün artıq bulud lazım deyil

```html Müəlliflər: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Axan məlumatlar üzərində dərin neyron şəbəkə (DNN) nəticəsi çıxarmaq üçün nəticənin hasilat tələblərini ödəmək üçün hesablama resursları tələb olunur. Lakin, gecikmə və gizlilik həssas dərin öyrənmə tətbiqləri nəticəsində yaranan ötürmə xərcləri və üçüncü tərəf bulud provayderlərinə etibarsızlıq səbəbindən hesablama işlərini uzaq buludlara həvalə edə bilməzlər. Məhdud bir mühitdə hesablama işini saxlayarkən performansı artırmaq üçün həllər arasında, aparat sürətləndirilməsi çətin ola bilər və model optimallaşdırması geniş dizayn səyləri tələb edir və dəqiqliyi maneə törədir. DNN partiyalaşdırması üçüncü bir əlavə yanaşmadır və bu, nəticə hasilatını (saniyədə nəticə sayı) artırmaq məqsədi ilə, kənar şəbəkənin xüsusiyyətlərini və DNN strukturunu nəzərə alaraq, nəticə iş yükünü bir neçə mövcud kənar cihaz arasında bölmək deməkdir. Bu məqalə, çox mövzulu paylanmış DNN yerləşdirmələri üçün nəticə çıxarma və ötürmə gecikmələrini proqnozlaşdırmaq üçün bir üsul təqdim edir və nəticə hasilatını artırmaq üçün bir optimallaşdırma prosesini müəyyənləşdirir. Sonra qol və sərhəd həll edici təqdim olunur və əldə edilmiş performansı və mürəkkəbliyi ölçmək üçün təhlil edilir. Bu təhlil, sürətləndirmə bölgəsinin müəyyənləşdirilməsinə səbəb oldu, bu da DNN partiyalaşdırmasının faydalı olduğu DNN və şəbəkə xüsusiyyətlərində deterministik şəraitləri təsvir edir. Nəhayət, təcrübi nəticələr simulyasiyaları təsdiqləyir və nümunə kənar yerləşdirmələrdə nəticə hasilatı artımlarını göstərir. KənarDNN partiyalaşdırması, nəticə hasilatının sürətləndirilməsinə imkan verir, eyni zamanda bant genişliyindən istifadəni və mərkəzləşdirilmiş serverlərə, məsələn, buludlara olan gecikməni azaldır. Giriş 2020-ci ildə qoşulmuş cihazlar gündə təxminən 2.5 quintilyon bayt məlumat istehsal edirdi. Bu kontekstdə, Süni İntellekt (AI) kompüter viziyasında obyektin aşkarlanması, üz tanıma, danışığın tanınması, təbii dilin emalı və ya avtonom idarəetmə kimi müxtəlif sahələrdə daim artan məlumat axınına ən yaxşı şəkildə cavab verə bilən texnologiyalardan biridir. AI və xüsusilə Dərin Öyrənmə (DL), böyük həcmdə məlumatlara əlavə olaraq, emal gücü və yaddaşda əhəmiyyətli imkanlar tələb edir ki, bu da bulud hesablama AI iş yükünü yerləşdirmək üçün faktiki həlldir. Nəticədə, 2019-cu ildə AI işlərinin 96% -i buludda icra olunub. 1 2 AI tətbiqləri, məsələn, avtonom idarəetmə, istehsalın monitorinqi və ya real vaxtda nəticə çıxarma kimi ətraf mühitlə real təmas tələb edən tətbiqlərdə güclü gecikmə məhdudiyyətlərinə malik ola bilər. Məsələn, avtonom idarəetmədə orta cavab müddətləri 100 millisekunddan az olmalıdır , bu da buludlara gedən və qayıdan vaxtları bu cür tətbiqlər üçün çox uzun edir. Eyni şəkildə, bəzi tətbiqlər şəbəkədə əhəmiyyətli bağlantı istifadəsi yarada bilər, məsələn, kompüter viziyasında yüksək keyfiyyətli video emalı hallarında, bu da onların buludda işləməsini maneə törədir. Məlumatların gizliliyi siyasətləri və ya məlumatların qorunması qaydaları da məlumatların müəyyən mühitləri tərk etməsini qadağan edə bilər. Bu, AI-nin kənar hesablama cihazlarında yerləşdirilməsini təşviq edir, bu da hesablama işlərini məlumat mərkəzlərindən kənar cihazlara, yəni məlumat mənbələrinə yaxın yerləşdirməyi əhatə edir. [[1]](javascript:void()) İctimai buludlarla müqayisədə, kənar hesablama cihazları resurs baxımından məhdudlaşdırılmış bir mühitdir və əhəmiyyətli məhdudiyyətlərə malikdir , buna görə də kənar cihazlar üçün AI-nin inkişafı bulud üçün AI-nin inkişafından fərqlidir. Məlumata yaxın məlumatları təhlil etmək, cihazların aşağı tutumu, mövcud resursların qeyri-elastikliyə malik olması və kənar şəbəkələrin qeyri-bircinsliyinə görə çətin ola bilər. Hesablama gücünü azaltmaq, nail oluna bilən nəticə hasilatını azaltmaq deməkdir, bu da buluddan kənar hesablama cihazlarına ağır iş yükünün köçürülməsini daha da çətinləşdirir. Bəzi tətbiqlərdə, nəticə hasilatı, yəni DNN-nin saniyədə nail oluna bilən nəticə sayı, DNN dəqiqliyi ilə əlaqələndirilə bilər, məsələn, video axınlarında obyektlərin izlənməsi zamanı, nəticə sürətinin saniyədə 15-dən 5 nəticəyə qədər azaldılması obyekt detektorunun F1 balını 10% aşağı saldığı göstərilmişdir__3__ . Başqa sözlə, aşağı nəticə hasilatına malik yerləşdirmələr kritik məlumat itkisinə səbəb ola bilər, məsələn, video müşahidə tətbiqlərində aşkarlama itkisi. [[2]](javascript:void()) [[3]](javascript:void()) Məhdud kənar şəbəkələrdə performans tələblərini ödəmək üçün iki əsas üsul mövcuddur: model sıxılması və ya aparat sürətləndirilməsi. *Model sıxılması* neyron şəbəkələrini modelin yüngül, çox vaxt az performanslı bir versiyasına qədər azaltmaq və optimallaşdırmaqdan ibarətdir. Standart model sıxılma metodlarına kəsmə , yəni modeldə lazımsız parametrləri çıxarmaq, kəmiyyətləşdirmə , yəni modeli saxlamaq üçün ayrılmış yaddaşı azaltmaq və bilik distilasiyası , yəni daha böyük bir modeldən çıxarılmış biliklə daha kiçik bir neyron şəbəkəsini təlim etmək daxildir. Model optimallaşdırması geniş dizayn səyləri tələb edir və model dəqiqliyinə maneə ola bilər. *Aparat sürətləndirilməsi* kənar cihazlarda enerjiyə qənaət edən və yüngül, eyni zamanda kifayət qədər performansla nəticə çıxarmağı bacaran aparat tapmağı əhatə edir. Kənar cihazlarda sürətləndirmə üçün namizəd aparatların bir neçə növü var, səmərəliliyi və xüsusiyyətləri dəyişir, lakin standart emal vahidləri gözləntiləri qarşılaya bilmir və ASIC-lər kimi xüsusi aparatlar qeyri-praktik və bahalı hesab edilmişdir . [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) [[7]](javascript:void()) DNN partiyalaşdırması, nəticə çıxarma işlərini kənar şəbəkələrin mövcud cihazlarının çoxluğundan istifadə edərək sürətləndirmək üçün əlavə bir üsuldur, bu da digər iki üsul ilə birlikdə və ya təkbaşına istifadə edilə bilər. DNN partiyalaşdırması, bir neyron şəbəkəsini hissələrə ayırmaq üçün bir boru kəməri kimi nəzərdən keçirməyi və bu hissələri kənar cihazlarda bölməyi əhatə edir. Bu hissələrin yerləşdirilməsi həm DNN, həm də altındakı şəbəkə xüsusiyyətlərinə əsaslanır. DNN partiyalaşdırması, model qrafikində modelin hissələrə ayrıldığı nöqtələri müəyyənləşdirməyə əsaslanır. İcra vaxtı ərzində, hissələr ardıcıl olaraq işləyir, hər biri aralıq nəticə nəticələrini növbəti hissəyə göndərir. Bu, hər bir hissənin növbəti giriş məlumatlarını hesablamağa başlaya bilməsinə imkan verir, digər cihazlar isə yüklənmiş birini emal etməyə davam edir, bununla da nəticə hasilatını yaxşılaşdırır, 'də göstərildiyi kimi. Bu məqalənin qalan hissəsində, DNN partiyalaşdırması video axınlarında real vaxt nəticəsinin nümunəsi ilə izah olunur. şəkil 1 A. Əlaqəli İşlər DNN partiyalaşdırması üçün metodlar, mobil kənar-bulud yükləməsindən əldə edilmiş, hesablama gecikməsi, enerji istehlakı, resurs istifadəsi, xərclər və ya hasilat kimi müxtəlif performans göstəricilərini optimallaşdırmağa çalışır. DNN partiyalaşdırması, bir optimallaşdırma məqsədi müəyyən etmək üçün bu göstəricilərdən birini və ya bir neçəsini birləşdirməyə və hissə-hissə sxemləri tapmaq üçün bu göstəricidən istifadə edən bir metod axtarmağa əsaslanır. Məsələn, Neurosurgeon gecikmə və enerji istehlakını azaltmaq üçün tək bir ayırma nöqtəsi axtarır, ilk hissəni kənarda saxlayır və ikinci hissəni buluda yükləyir. IoT tətbiqləri də enerji, gecikmə və/yaxud xərcləri optimallaşdırmaq üçün bir neçə DNN-nin birləşmiş hissə-hissə bölünməsini və yüklənməsini nəzərə almışdır, SPSO-GA Partikül Sürü Optimizasiyası (PSO) və Genetik Alqoritm (GA) birləşdirən, və ya DDPQN hissə-hissə sxemlərini tapmaq üçün Dərin Tənzimləmə Öyrənməsindən istifadə edən müxtəlif həll edicilər istifadə olunur. Digər nümunələr DINA , bir Integer Non-Linear Programming (INLP) problemi təyin edir və dumanlı şəbəkələrdə gecikmə və resurs istifadəsinin optimallaşdırılması üçün, uyğunlaşma nəzəriyyəsinə əsaslanan həll edici istifadə edir. Nəticə hasilatını optimallaşdıran metodlar arasında DNN cərrahiyyəsi , aralıq DNN təbəqəsinin çıxışlarının aşağı ölçüsünü istifadə edərək kənar və bulud arasında nəticə hesablamağını hissə-hissə bölür. Hər iki alqoritm iki hissə yaradır, biri kənarda, digəri isə buluddadır. Mobil kənar-bulud sahəsindəki digər tədqiqatlar ümumi nəticə hasilatını sürətləndirmək üçün buluddakı çox mövzulu hesablama da daxildir. İkinci hissənin nəticə hesablamağında buluddan istifadə etmək, bəzi təcrid olunmuş kənar yerləşdirmələrdəki zəif şəbəkə bağlantısı ilə qeyri-müəyyən ola bilən yaxşı şəbəkə bağlantısına etibar edir. Edgent əvvəlki metodologiyanı mobil cihazlara və mövcud kənar serverlərə uyğunlaşdırır, buluda yükləmə məhdudiyyətini yumşaldır. Bu metod müəyyən bir təlim və model arxitekturası ilə əlaqələndirilir və hələ də hissə-hissə bölünməni iki hissə ilə məhdudlaşdırır. Digər metodlar bir neçə ayırma nöqtəsini nəzərə almışdır, məsələn, IONN , gecikmə və enerji istehlakını azaltmaq üçün hissə-hissə bölünmə problemini təsvir edir, həmçinin modellərin kənar serverlərə yüklənmə vaxtını da nəzərə alır. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Bu metodlar ya uzaq buludlarla qarşılıqlı əlaqə qurur, ya da hissə-hissə bölünmənin təbiətinə görə məhdudlaşır, məsələn, dəqiq iki hissəyə bölünmək tələb olunur, çox mövzulu və ya onsuz. Qeyd olunan DNN partiyalaşdırma tədqiqatlarından heç biri həm çox sayda ayırma nöqtələrini, həm də çox mövzulu işləri nəzərə almır. B. Töhfələr Bu məqalə, çox sayda ayırma nöqtələri və çox mövzulu partiyalaşdırma ilə real vaxt DNN hesablamağının axan məlumatlar üzərində nəticə hasilatını artırmaq üçün paylanmış bir nəticə çərçivəsi təqdim edir. Bu məqalənin töhfələri bunlardır: Verilən hissə-hissə planının gözlənilən nəticə hasilatının qiymətləndirilə biləcəyi paylanmış bir DNN-nin hesablama və ötürmə gecikmələrini hesablamaq üçün bir model. DNN hissə-hissə planlaşdırması üçün optimallaşdırma probleminin formullaşdırılması, bu problem üçün qol və sərhəd həll edicinin tətbiqi və onun mürəkkəbliyinin qiymətləndirilməsi. Şəbəkə və DNN xüsusiyyətlərinin dəyişməsi ilə mümkün performans artımlarını araşdırmaq üçün simulyasiyalar. Optimal hissə-hissə planlaşdırmaların mövcudluğuna səbəb olan şəbəkə və DNN xüsusiyyətlərində deterministik bölgələrin müəyyənləşdirilməsi və belə həllərin hesablanması xərci, yəni DNN partiyalaşdırmasının faydalı olduğu şərtlər. Simulyasiyaları təsdiqləyən və bircins və qeyri-bircins mühitlərdə nümunə kənar yerləşdirmələrdə nəticə hasilatı artımlarını göstərən təcrübi nəticələr. Bu məqalənin qalan hissəsində qarışıqlığı önləmək üçün, hissə-hissə bölünmüş dərin neyron şəbəkəsi DNN kimi istinad ediləcək və "şəbəkə" termini altındakı fiziki rabitə şəbəkəsini ifadə edəcək. C. Məqalənin Xülasəsi Bu məqalənin qalan hissəsi belə təşkil olunur. Dərin Öyrənmənin fonu və bu tədqiqatda DNN-lərin necə təmsil olunduğu təsvir olunur. optimallaşdırma problemi üçün tələb olunan nəticə və ötürmə gecikməsi proqnozlaşdırma metodları, həmçinin hissə-hissə planlaşdırma qərarları vermək üçün qol və sərhəd alqoritmi təfərrüatlı şəkildə təsvir olunur. qol və sərhəd alqoritminin performansı və mürəkkəbliyini ölçmək üçün simulyasiya nəticələri, həmçinin bircins şəbəkədə nəticə hasilatını yaxşılaşdıran bir hissə-hissə planlaşdırmanın mövcudluğuna səbəb olan şərtlər təqdim olunur. təcrübi nəticələr simulyasiyaları təsdiqləyir və qeyri-bircins təcrübi quraşdırmada nəticə hasilatı artımlarını göstərir. Nəhayət, nəticələr müzakirə olunur və bu metodun daha geniş tətbiq olunması müzakirə olunur. II Bölümdə III Bölümdə IV Bölümdə V Bölümdə VI Bölümdə V Bölümdəki VII Bölümdə II BÖLÜM. Fon: Dərin Öyrənmə Maşın Öyrənməsi sahəsində, Dərin Öyrənmə (DL) DNN-lərdən, yəni bir neçə gizli qatdan ibarət olan süni neyron şəbəkələrindən (və ya əlaqəli maşın öyrənmə metodlarından) istifadə edən metodlara istinad edir. Dərin öyrənmə arxitekturalarına ilk istinadlardan biri 1967-ci ildə dərc edilmişdir , lakin DL-nin populyarlıq qazanması yalnız 2010-cu illərdə, əvvəlcə nitqin tanınması, sonra isə şəkillərdə obyektlərin aşkarlanması sahəsində, yüksək ölçülü məlumatlardakı mürəkkəb əlaqələri tutma qabiliyyəti səbəbindən olmuşdur. Dərin Öyrənmənin 2022-ci ildə AI tətbiqlərinin əksəriyyətini təşkil etdiyi təxmin edilir, təşkilatların 75% -dən çoxu klassik metodları istifadə edə biləcək tətbiqlər üçün DNN-lərdən istifadə edir. DL metodları “*tənzimlənən əlaqə gücünə malik mürəkkəb cəbr xəritələrini təklif edən maşın öyrənmə üsulları*” olaraq təyin edilmişdir. Bu cəbr xəritələri adətən qatlara təşkil olunur, bunlar hesablamağda addımlar təşkil edir. *Dərin* termini bir neçə qatdan ibarət olan alqoritmlərə istinad edir. [[16]](javascript:void()) 4 [[17]](javascript:void()) İki əsas DNN strukturu var: geriyə-yönələn neyron şəbəkələri və təkrarlanan neyron şəbəkələri. Hər iki DNN növü hesablama xəritələri kimi təmsil oluna bilər, əsas fərq isə geriyə-yönələn şəbəkələr birbaşa döngüsüz qrafikləri (DAGs) kimi təmsil oluna bilərkən, təkrarlanan neyron şəbəkələri döngüləri ehtiva edə bilər. Təkrarlanan neyron şəbəkələri, hər məlumat nöqtəsinin ardıcıllıqdakı əvvəlki məlumat nöqtələri ilə potensial asılılığı olduğu məlumat ardıcıllıqları üçün qurulur, geriyə-yönələn neyron şəbəkələri isə məlumat ardıcıllığında nöqtələr arasındakı qarşılıqlı əlaqələri nəzərə almır. Bu məqalənin qalan hissəsində geriyə-yönələn DNN-lər nəzərdən keçiriləcək. 5 III BÖLÜM. Paylanmış Nəticə Modelləşdirilməsi Bu Bölüm, müəyyən bir hissə-hissə planlaşdırma həllinin hesablama gecikmələrini, ötürmə gecikmələrini və son nəticə hasilatını proqnozlaşdırmaq üçün DNN və şəbəkə xüsusiyyətlərini təmsil etmək üçün bir model təqdim edir. A. DNN və Şəbəkə Təmsili N qatdan ibarət geriyə-yönələn bir DNN, LL = (L1, ..., LL) DNN qatları ilə bir DAG GA=(L,E) kimi modelləşdirilir. Qatlar (Li,Lj)∈E arasındakı əlaqələrdir. Hər qat Li, qat Li və Lj arasındakı irəliləyən keçid üçün tələb olunan kəsrli əməliyyatların sayı ilə ölçülən bir hesablama istehlakı ci ilə əlaqələndirilir. Qatlar (Li,Lj) arasındakı ötürülən məlumatların ölçüsünə uyğun gələn si,j çəkisi verilir. Fiziki şəbəkə, N = (N1, ..., NN) hesablama düyümləri dəsti və düyümlər arasındakı əlaqələr V olan tam qoşulmuş bir qraf G=(N,V) kimi modelləşdirilir. Hesablama düyümləri N1, ..., NN-nin müvafiq olaraq saniyədə kəsrli əməliyyatlar ilə ölçülən η1, ..., ηN prosessinq sürətlərinə malik olduğu fərz edilir. Nəhayət, iki qonşu düym Na və Nb arasındakı əlaqə sürəti θa,b, bayt/saniyə ölçüsü ilə θa,b olaraq işarələnir. Hər bir düym Ni, özünə sonsuz sürətlə qoşulmuşdur, loopback bağlantısını təmsil etmək üçün, və əlaqələr simmetrik olduğu fərz edilir, yəni θa,b=θb,a . Partiyalaşdırmalar, P: L → N xəritələri olaraq təyin edilir, yəni bir partiyalaşdırma DNN-dəki hər bir qata bir düym nömrəsini təyin edir. Bir partiyalaşdırma, N x L ölçülü bir matris P olaraq təsvir edilə bilər, burada N şəbəkədəki düyümlərin sayı və L DNN qatlarının sayı, və Pa,i=1 əgər qat Li düym Na-da yerləşdirilibsə, 0 əks halda. 'də verilmiş nümunədə, L=7 qat və N=2 hesablama düyümü, qatlar {L1,L2,L3,L6,L7} düym N1-də, və qatlar {L4,L5} düym N2-də yerləşdirilmiş nümayiş olunan partiyalaşdırma belə təmsil olunur: Şəkil 2 Verilmiş bir partiyalaşdırma, *mövzu* iki ayırma nöqtəsi arasında eyni düyümdə ardıcıl işlənən qruplar olaraq təyin edilir. Yuxarıdakı nümunədə, N1 düyümü iki mövzu işlədəcək, birincisi {L1,L2,L3} qatlarını, ikincisi isə {L6,L7} qatlarını əhatə edəcək. Bu notasiyalar müəyyən edildikdə, bu Bölümün qalan hissəsi nəticə çıxarma ( ) və ötürmə ( ) gecikmələrinin bir funksiyası olaraq verilmiş bir hissə-hissə planlaşdırması ilə əldə edilən nəticə hasilatının qapalı ifadəsini çıxarır. III-B Bölüm III-C Bölüm B. Nəticə Gecikməsinin Proqnozlaşdırılması Verilən bir hissə-hissə planlaşdırması, bu Bölüm izolyasiya edilmiş bir düyümdə nəticə gecikməsinin proqnozlaşdırılmasına baxır. Bir qat Li-nin istehlakı ci ilə hesablamaq üçün səbəb olduğu gecikmə, prosessinq sürəti ηa olan Na düyümündə hesablamaq üçün Tci(Na)=ci/ηa olaraq ifadə olunur. Prosessinq sürəti ηa olan Na düyümündə işləyən bütün mövzular üzərindəki qatlar L′⊂L dəsti verildikdə, nəticə gecikməsi belə ifadə oluna bilər: Bu ifadə, DNN-nin işlənməsi üçün tələb olunan kəsrli əməliyyatların sayı (FLOPs) əsasında nəticə gecikməsinin qiymətləndirilməsinin birinci dərəcəli yaxınlaşmasıdır, yəni modeldəki çoxaltma-əlavə əməliyyatlarının sayı. Kənar cihazlarda nəticə gecikməsinin qiymətləndirilməsi, icra vaxtı optimallaşdırmaları ilə çətinləşir. nn-Meter kimi mövcud həllər FLOPs əsasında nəticə gecikməsini proqnozlaşdırır. Digər həllər gecikmə proqnozlaşdırması üçün əvvəlcədən hesablanmış nəticə vaxtları olan axtarış cədvəlinə əsaslanır. Məsələn, BRP-NAS icra vaxtı model optimallaşdırmalarını nəzərə alaraq nəticə gecikmələrini proqnozlaşdırmaq üçün əvvəlcədən təlim edilmiş qrafik konvolyusiyalı şəbəkədən istifadə edir. [[18]](javascript:void()) [[19]](javascript:void()) 'də, prosessorların tam tutumundan istifadə etdiyi də fərz edilir, bu da çox nüvəli prosessorların nüvə prosessinq sürətlərinin cəminə bərabər prosessinq sürətinə malik tək nüvəli prosessorlar kimi modelləşdirildiyini göstərir. Həmçinin hesablama resursunun mövzular arasında bərabər paylandığı fərz edilir, yəni bir prosessor vaxtının hər bir mövzuya eyni nisbətdə ayırır. Tənlik 1 Bütün düyümlər arasında, ən yüksək gecikməyə malik mövzu paylanmış DNN üçün nəticə hasilatını müəyyənləşdirir. Ötürmə gecikmələrini nəzərə almasaq, bu o deməkdir ki, bu məhdudlaşdırıcı mövzu bir məlumat çərçivəsini hesablamağı bit