Niyə Süni Zəkanızın Daha Sürətli İşləmək üçün Artıq Bulud Hesablamaya Ehtiyacı Yoxdur

Müəlliflər: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Xülasə: Axan məlumatlar üzərində dərin neyron şəbəkə (DNN) təhlili, təhlil hasilini təmin etmək üçün hesablama resursları tələb edir. Lakin, təhlil gecikməsi və məxviyyət həssas dərin öyrənmə tətbiqləri, nəticəsində yaranan ötürmə xərci və üçüncü tərəf bulud provayderlərinə etimadsızlıq səbəbindən hesablamağı uzaq buludlara həvalə edə bilməzlər. Məhdudlaşdırılmış bir mühitdə hesablamağı saxlayarkən performansı artırmaq üçün həllər arasında, aparat sürətləndirilməsi çətin ola bilər və model optimallaşdırması geniş dizayn səyləri tələb edir, eyni zamanda dəqiqliyi pozur. DNN ayırması üçüncü bir əlavə yanaşmadır və DNN strukturu və kənar şəbəkə xüsusiyyətlərini nəzərə alaraq, təhlil hasilini (saniyədə təhlillərin sayı) maksimallaşdırmaq məqsədi ilə mövcud kənar cihazlar arasında təhlil iş yükünü bölüşdürməkdən ibarətdir. Bu məqalə, çox mövzulu paylanmış DNN tətbiqləri üçün təhlil və ötürmə gecikmələrini proqnozlaşdırmaq üçün bir üsul təqdim edir və təhlil hasilini maksimallaşdırmaq üçün bir optimallaşdırma prosesi müəyyən edir. Sonra bir qol və sərhəd həll edici təqdim olunur və əldə edilmiş performans və mürəkkəblik miqdarını təhlil edir. Bu təhlil, DNN ayırmasının faydalı olduğu deterministik şərtlər təsvir edən sürətləndirmə bölgəsinin təsvirinə gətirdi. Nəhayət, təcrübi nəticələr simulyasiyaları təsdiqləyir və nümunə kənar tətbiqlərdə təhlil hasilində irəliləyişləri göstərir. Kənarda DNN ayırması, ötürmə istifadəsi və mərkəzləşdirilmiş serverlərə, məsələn, buluda olan gecikməni azaldarkən, təhlil hasilinin sürətləndirilməsinə imkan verir. Giriş 2020-ci ildə qoşulmuş cihazlar hər gün təxminən 2,5 quintillion bayt məlumat istehsal etdi. Bu kontekstdə, Süni İntellekt (AI) kompüter görməsində obyekt aşkarlama, üz tanıma, danışıq tanıma, təbii dil işlənməsi və ya avtonom sürücülük kimi sahələrdə artan məlumat miqdarına ən yaxşı şəkildə cavab verə bilən texnologiyalardan biridir. AI, xüsusilə Dərin Öyrənmə (DL), böyük miqdarda məlumata əlavə olaraq, emal gücü və yaddaşda əhəmiyyətli qabiliyyətlər tələb edir, bu da bulud hesablama sistemini AI iş yüklərini yerləşdirmək üçün "de-fakto" həll edir. Nəticə olaraq, 2019-cu ildə AI tapşırıqlarının 96%-i buludda yerinə yetirilmişdir. 1 2 AI tətbiqləri, məsələn, avtonom sürücülük, istehsal izləmə və ya real vaxt təhlili ilə bağlı hər hansı bir real dünya qarşılıqlı təsiri ilə bağlı güclü gecikmə məhdudiyyətlərinə malik ola bilər. Məsələn, avtonom sürücülükdə orta cavab müddətləri 100 millisekunddan az olmalıdır , bu da buluda gedən gediş-gəliş müddətlərini belə tətbiqlər üçün çox uzun edir. Eynilə, bəzi tətbiqlər, məsələn, kompüter görməsində yüksək keyfiyyətli video emalı hallarında, şəbəkədə əhəmiyyətli bir bağlantı istifadəsi yarada bilər ki, bu da onların buludda yerinə yetirilməsini maneə törədir. Məlumat məxfiliyi siyasətləri və ya məlumat qoruma qaydaları, məlumatların müəyyən mühitləri tərk etməsini qadağan edə bilər. Bu, hesablama tapşırıqlarını verilənlər mərkəzlərindən kənar cihazlara yaxınlaşdıran, yəni məlumat mənbələrinə yaxınlaşdıran kənar hesablama sistemlərində AI tətbiqlərini təşviq edir. [](javascript:void()) İctimai buludlarla müqayisədə, kənar hesablama resursları məhdudlaşdırılmış bir mühitdir və əhəmiyyətli məhdudiyyətlərə malikdir , buna görə də kənar hesablama üçün AI inkişafı bulud üçün AI inkişafından əsaslı şəkildə fərqlənir. Məlumatları mənbəsinə yaxın analiz etmək, daha aşağı cihaz imkanları, mövcud resursların elastik olmaması və kənar şəbəkələrin heterojenliyi səbəbindən çətin ola bilər. Hesablama gücünü azaltmaq, əldə edilə bilən təhlil nəticəsini azaltmaq deməkdir, bu da ağır iş yüklərinin buluddan kənara köçürülməsini daha da çətinləşdirir. Bəzi tətbiqlərdə, təhlil nəticəsi, yəni bir DNN-nin saniyədə əldə edilə bilən təhlilləri, DNN dəqiqliyi ilə əlaqəli ola bilər, məsələn, video axınlarında obyekt izləməsi ilə, burada təhlil dərəcəsini saniyədə 15-dən 5-ə endirmək obyekt aşkarlayıcısının F1 skorini 10% azaltdığı göstərilmişdir . Başqa sözlə, aşağı təhlil nəticəsi olan tətbiqlər, məsələn, video müşahidə tətbiqlərində aşkarlamaların itirilməsi kimi kritik məlumat itkisinə səbəb ola bilər. [](javascript:void()) [](javascript:void()) Məhdudlaşdırılmış kənar şəbəkələrdə performans tələblərini ödəmək üçün iki əsas üsul mövcuddur: model sıxılması və ya aparat sürətləndirilməsi. *Model sıxılması*, yüngül, çox vaxt az performanslı, modelin bir versiyasına neyron şəbəkələrini azaltmağı və optimallaşdırmağı əhatə edir. Standart model sıxılma üsulları arasında budama , yəni modeldə lazımsız parametrləri çıxarmaq, kəmiyyətləşdirmə , yəni modeli saxlamaq üçün ayrılmış yaddaşı azaltmaq və məlumat damıtma , yəni daha böyük bir modeldən çıxarılan məlumatla daha kiçik bir neyron şəbəkəsini təlim etmək daxildir. Model optimallaşdırması geniş dizayn səyləri tələb edir və model dəqiqliyi üçün bir maneə ola bilər. *Aparat sürətləndirilməsi* kənar cihazlarda, güc baxımından səmərəli və yüngül olan, eyni zamanda kifayət qədər performansla təhlil yerinə yetirməyə qadir olan aparat tapmaq deməkdir. Kənar hesablama sürətləndirilməsi üçün bir çox növ aparat namizədləri mövcuddur, səmərəlilik və özəllik baxımından fərqlənir, lakin standart emal vahidləri gözləntiləri doğrultmur və ASIC kimi xüsusi aparatlar qeyri-praktik və bahalı hesab edilmişdir . [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) DNN ayırması, mövcud cihazların çoxluğundan istifadə edərək təhlili sürətləndirmək üçün bir tamamlayıcı üsuldur. Bu, təhlil hesablamasını bölüşdürmək üçün istifadə edilə bilər - tək başına və ya digər iki üsulla birlikdə istifadə edilə bilər. DNN ayırması, bir neyron şəbəkəsini bölmələrə ayırmaq üçün bir boru kəməri kimi qəbul etmək və bu bölmələri kənar cihazlara paylamaq deməkdir. Bu bölmələrin yerləşdirilməsi DNN və altındakı şəbəkə xüsusiyyətlərinə əsaslanır. DNN ayırması, model qrafikində modelin bölmələrə ayrıldığı nöqtələri müəyyən edən ayırma nöqtələrinin müəyyən edilməsinə əsaslanır. İş vaxtı ərzində, bölmələr ardıcıl olaraq işləyir, hər biri növbəti bölməyə aralıq təhlil nəticələrini göndərir. Bu, hər bir bölmənin növbəti giriş məlumatlarını hesablamağa başlamağa imkan verir, digər cihazlar isə yüklənmiş məlumatları emal etməyə davam edir, bununla da təhlil nəticəsini yaxşılaşdırır, bu da Şəkil 1-də göstərilmişdir. Bu məqalənin qalan hissəsində, DNN ayırması video axınlarında real vaxt təhlili nümunəsi vasitəsilə təsvir olunur. A. Əlaqədar İşlər Mobil kənar-bulud həvalə etmədən törəmələri olan DNN ayırması üçün üsullar, hesablama gecikməsi, enerji istehlakı, resurs istifadəsi, xərc və ya nəticə kimi müxtəlif performans göstəricilərini optimallaşdırmaq üçün axtarılır. DNN ayırması, bir optimallaşdırma məqsədi müəyyən etmək üçün bu göstəricilərdən birini və ya bir neçəsini birləşdirməyə əsaslanır və bu göstəricidən istifadə edərək ayırma sxemlərini tapmaq üçün bir üsuldan istifadə edir. Məsələn, Neurosurgeon gecikməni və enerji istehlakını minimuma endirmək üçün ilk bölməni kənarda saxlayaraq ikinci bölməni buluda həvalə edən tək bir ayırma nöqtəsi axtarır. IoT-dəki tətbiqlər də müxtəlif həll edicilərdən istifadə edərək enerji, gecikmə və/yaxud xərci optimallaşdırmaq üçün bir neçə DNN-nin birlikdə ayrılmasını və həvalə edilməsini nəzərdən keçirmişdir, məsələn, SPSO-GA Partikül Sürü Optimizasiyasını (PSO) və Genetika Algoritmini (GA) birləşdirir və ya DDPQN ayrıca sxemlərini tapmaq üçün Dərin Tənzimləmə Öyrənməsindən istifadə edir. Digər nümunələr arasında DINA , bir Tam Sayı Qeyri-Xətti Proqramlaşdırma (INLP) problemi təsvir edir və dumanlı şəbəkələrdə gecikməni və resurs istifadəsini optimallaşdırmaq üçün uyğun nəzəriyyə əsaslı həll edicidən istifadə edir. Təhlil nəticəsini optimallaşdıran üsullar arasında DNN cərrahiyyəsi , aralıq DNN qat çıxışlarının aşağı ölçüsünü istifadə edərək hesablama kənar və bulud arasında bölüşdürmək üçün istifadə edir. Hər iki alqoritm iki bölmə yaradır, biri kənarda, digəri buludda. Mobil kənar-bulud sahəsindəki digər tədqiqatlar ümumi təhlil nəticəsini daha da sürətləndirmək üçün buludda çox mövzulu hesablama daxildir. İkinci bölmə təhlil hesablaması üçün buluddan istifadə etmək, bəzi izolyasiya edilmiş kənar tətbiqlərin zəif bağlantı şəraitində qeyri-müəyyən ola bilən yaxşı şəbəkə bağlantısını tələb edir. Edgent əvvəlki metodologiyanı mobil cihazlara və mövcud kənar serverlərə uyğunlaşdırır, buluda həvalə etmə məhdudiyyətini yüngülləşdirir. Bu üsul xüsusi təlim və model arxitekturasına bağlıdır və hələ də ayırmanı iki bölmə ilə məhdudlaşdırır. Digər üsullar birdən çox ayırma nöqtəsini nəzərdən keçirmişdir, məsələn, IONN , gecikməni və enerji istehlakını minimuma endirmək üçün ayırma problemini təsvir edir, həm də modelləri kənar serverlərə yükləmə vaxtını nəzərə alır. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Bu üsullar ya uzaq buludlarla qarşılıqlı əlaqədədir, ya da ayırmanın təbiəti ilə məhdudlaşır, məsələn, dəqiq iki hissəyə, çox mövzulu və ya onsuz ayırma tələb olunur. Siyahılanan DNN ayırma tədqiqatlarının heç biri həm çoxsaylı ayırma nöqtələrini, həm də çox mövzulu işləməni nəzərdən keçirmir. B. Töhfələr Bu məqalə, çoxsaylı ayırma nöqtələri və çox mövzulu ayırma ilə real vaxt DNN hesablamasının axan məlumatlar üzərində təhlil nəticəsini maksimallaşdırmaq üçün paylanmış bir təhlil çərçivəsini təqdim edir. Bu məqalənin tövhələri bunlardır: Verilmiş ayırma sxeminin gözlənilən təhlil nəticəsini qiymətləndirmək üçün paylanmış bir DNN-nin hesablama və ötürmə gecikmələrini hesablamaq üçün bir model. DNN ayırması üçün optimallaşdırma probleminin formalaşdırılması, bu problem üçün bir qol və sərhəd həll edicisinin tətbiqi və onun mürəkkəbliyinin qiymətləndirilməsi. Müxtəlif şəbəkə və DNN xüsusiyyətləri ilə mümkün performans artımlarını araşdırmaq üçün simulyasiyalar. Optimal ayırmaların mövcud olduğu və belə həlləri hesablamaq üçün lazım olan xərcləri təsvir edən şəbəkə və DNN xüsusiyyətlərində deterministik bölgələrin müəyyənləşdirilməsi, yəni DNN ayırmasının faydalı olduğu şərtlər. Simulyasiyada təsvir edilən bölgələri, eləcə də proqnoz dəqiqliyini və homojen və heterojen mühitlərdə son təhlil nəticəsi sürətlənməsini təsvir edən təcrübi nəticələr. Bu məqalənin qalan hissəsi üçün, qarışıqlığı qarşısını almaq üçün, ayrılmış dərin neyron şəbəkəsi *DNN* olaraq istinad ediləcək və *şəbəkə* termini altındakı fiziki kommunikasiya şəbəkəsini göstərəcək. C. Məqalənin Qaydası Bu məqalənin qalan hissəsi aşağıdakı kimi təşkil edilmişdir. Dərin Öyrənmənin əsaslarını və bu tədqiqatda DNN-lərin necə təsvir edildiyini təqdim edir. təhlil və ötürmə gecikməsi proqnozlaşdırma üsullarını təsvir edir, bu da optimizasiya problemini müəyyən edir, eləcə də ayırma qərarlarını qəbul etmək üçün qol və sərhəd alqoritmini təsvir edir. qol və sərhəd alqoritminin performansını və mürəkkəbliyini miqdarına çevirmək üçün simulyasiya nəticələrini təqdim edir, eləcə də təhlil nəticəsini yaxşılaşdıran bir ayırmanın mövcudluğuna səbəb olan şəraitləri təsvir edir. təcrübi nəticələr təqdim edir ki, bu da simulyasiyalarını təsdiqləyir və heterojen təcrübi qurğuda təhlil nəticəsi irəliləyişlərini göstərir. Nəhayət, nəticələri müzakirə edir və bu üsulun daha geniş tətbiqini genişləndirir. Bölüm II Bölüm III Bölüm IV Bölüm V Bölüm VI Bölüm V Bölüm VII BÖLÜM II. Əsaslar: Dərin Öyrənmə Maşın Öyrənməsi sahəsində, Dərin Öyrənmə (DL) DNN-lərdən, yəni birdən çox gizli qatı olan süni neyron şəbəkələrindən (və ya əlaqəli maşın öyrənmə üsullarından) istifadəyə əsaslanan üsulları ifadə edir. Dərin öyrənmə memarlarının ilk istinadlarından biri 1967-ci ildə dərc edilmişdir , lakin 2010-cu illərə qədər DL populyarlıq qazanmadı, əvvəlcə danışıq tanıma sahəsində, sonra isə yüksək ölçülü məlumatlarda mürəkkəb əlaqələri tutma qabiliyyəti üçün şəkillərdəki obyekt aşkarlama sahəsində. Dərin Öyrənmə, 2022-ci ildə AI tətbiqlərinin əksəriyyətini təşkil edəcəyi təxmin edilir, təşkilatların 75%-dən çoxu klassik üsullardan istifadə edə bilən tətbiqlər üçün DNN-lərdən istifadə edir. DL üsulları, "tənzimlənən əlaqə güclərinə malik mürəkkəb cəbri dövrələr şəklində hipotezlər götürən maşın öyrənmə üsulları" kimi təsvir edilmişdir . Bu cəbri dövrələr adətən qatlara təşkil olunur, bunlar hesablama addımlarını təşkil edir. *Dərin* termini, birdən çox qatdan ibarət olan alqoritmlərə istinad edir. [](javascript:void()) 4 [](javascript:void()) İki əsas DNN strukturu var: irəli-besləyən neyron şəbəkələri və təkrarlayan neyron şəbəkələri. Hər iki növ DNN, əsas fərq irəli-besləyən şəbəkələrin birbaşa asiklik qrafiklər (DAG) kimi təsvir edilə bilməsi, təkrarlayan neyron şəbəkələri isə döngülər ehtiva edə bilməsidir. Təkrarlayan neyron şəbəkələri məlumat ardıcıllıqları üçün qurulur, burada hər bir məlumat nöqtəsi ardıcıllıqdakı əvvəlki məlumat nöqtələri ilə potensial asılılığa malikdir, irəli-besləyən neyron şəbəkələri isə məlumat ardıcıllığındakı nöqtələr arasındakı qarşılıqlı təsirləri nəzərə almır. Bu məqalənin qalan hissəsi irəli-besləyən DNN-lərin vəziyyətini nəzərdən keçirəcək. 5 BÖLÜM III. Paylanmış Təhlil Modelləşdirməsi Bu Bölüm, hesablama gecikmələrini, ötürmə gecikmələrini və verilmiş ayırma həllinin son təhlil nəticəsini proqnozlaşdırmaq üçün DNN və şəbəkə xüsusiyyətlərini təsvir etmək üçün bir model təqdim edir. A. DNN və Şəbəkə Təsviri N qatlı irəli-besləyən bir DNN, L=(L1,…,LL) qatları ilə bir DAG GA=(L,E) kimi modelləşdirilmişdir. Qrafiklər (Li,Lj)∈E arasındakı əlaqələrdir. Hər bir qat Li, bir qat vasitəsilə irəli bir keçid etmək üçün tələb olunan kəsr əməliyyatlarının sayı ilə ölçülən hesablama istehlakı ci ilə əlaqələndirilir. Qrafiklər (Li,Lj) arasında qatlar arasında ötürülən məlumatların ölçüsünə uyğun gələn si,j çəkisi ilə təyin olunur. Fiziki şəbəkə, N=(N1,…,NN) düyünləri dəsti və düyünlər arasındakı əlaqələr V olan tam əlaqəli qrafik G=(N,V) kimi modelləşdirilmişdir. Düyünlər N1,…,NN-nin müvafiq olaraq saniyədə kəsr əməliyyatları ilə ölçülən η1,…,ηN prosessinq dərəcələrinə malik olduğu fərz edilir. Nəhayət, iki qonşu düyün Na və Nb arasındakı əlaqənin ötürmə qabiliyyəti, bayt/saniye ilə ölçülən θa,b ilə göstərilir. Hər bir düyün Ni, geri ötürmə əlaqəsini təmsil etmək üçün sonsuz ötürmə qabiliyyətinə malik özü ilə əlaqələndirilir və əlaqələrin simmetrik olduğu fərz edilir, yəni θa,b=θb,a . Ayırmalar, P:L→N kimi təyin olunur, yəni ayırma, DNN-dəki hər bir qatı bir düyün nömrəsinə təyin edir. Bir ayırma, N düyünlərinin sayına və L DNN qatlarının sayına görə (N×L) ölçülü bir P matrisi ilə təsvir edilə bilər və Pa,i=1 olarsa, qat Li düyün Na-da yerləşdirilmişdir, əks halda 0. Verilmiş bir ayırma ilə, bir *mövzu* eyni düyündə işlədilən və ayırma nöqtələri arasında ardıcıl olaraq yerləşdirilən ardıcıl qatların bir qrupu kimi təyin olunur. Yuxarıdakı nümunədə, N1 düyünü iki mövzunu işlədəcək, birincisi {L1,L2,L3} qatlarını, ikincisi isə {L6,L7} qatlarını əhatə edəcək. Bu qeydlər müəyyən edildikdə, bu Bölümün qalan hissəsi təhlil və ötürmə gecikmələrindən asılı olaraq verilmiş ayırmanın təhlil nəticəsini təmin edən qapalı bir ifadə çıxarır ( və ). Bölüm III-B Bölüm III-C B. Təhlil Gecikməsinin Proqnozlaşdırılması Verilmiş bir ayırma ilə, bu Bölüm yalnız bir düyündə təhlil gecikməsinin proqnozlaşdırılmasını nəzərdən keçirir. Bir Na düyünündə, prosessinq dərəcəsi ηa ilə hesablamaq üçün istehlakı ci olan bir Li qatının hesablamağının səbəb olduğu gecikmə Tci(Na)=ci/ηa kimi ifadə edilir. Na prosessinq dərəcəsi olan düyündə işlədilən mövzular arasında qatların bir dəsti L′⊂L verildikdə, təhlil gecikməsi aşağıdakı kimi ifadə edilə bilər: Bu ifadə, DNN-nin emalı üçün tələb olunan kəsr əməliyyatlarının sayına (FLOP) əsaslanan təhlil gecikməsinin təxmin edilməsinin birinci dərəcəli yaxınlaşmasıdır, yəni modeldəki çox vurma-əlavə əməliyyatlarının sayı. Kənar cihazlarda təhlil gecikməsinin qiymətləndirilməsi, iş vaxtı optimallaşdırmaları ilə çətinləşir. nn-Meter kimi mövcud həllər FLOP-a əsaslanan təhlil gecikməsini proqnozlaşdırır. Digər həllər, gecikmə təhlili üçün əvvəlcədən hesablanmış təhlil vaxtları olan bir axtarış cədvəlinə əsaslanır. Məsələn, BRP-NAS iş vaxtı model optimallaşdırmalarını nəzərə alaraq təhlil gecikmələrini proqnozlaşdırmaq üçün əvvəlcədən təlim edilmiş qrafik konvolyusiya şəbəkəsindən istifadə edir. [](javascript:void()) [](javascript:void()) 1-ci tənlikdə, prosessorların tam tutumundan istifadə etdiyi də fərz edilir, bu da çox nüvəli prosessorların nüvə prosessinq dərəcələrinin cəminə bərabər prosessinq dərəcəsinə malik tək nüvəli prosessorlar kimi modelləşdirilməsini tələb edir. Həmçinin, hesablama resursunun mövzular arasında bərabər paylaşıldığı fərz edilir, yəni bir prosessor hər bir mövzuya vaxtının eyni nisbətini ayırır. Bütün düyünlərdə, ən yüksək gecikməyə malik mövzu paylanmış DNN üçün təhlil nəticəsini müəyyənləşdirir. Ötürmə gecikmələrini nəzərə almadan, bu, məhdudlaşdırıcı mövzu bir məlumat çərçivəsini hesablamağı bitirdikdən sonra, digər mövzular onların təhlil gecikməsi daha aşağı olduğu üçün növbəti məlumat çərçivəsini emal etməyə başlayacaqları, Şəkil 1-də göstərildiyi kimi, təkrar emal etməyə başlayacaqları deməkdir. Verilmiş bir ayırma matrisi P ilə, təhlil gecikmələri N ölçülü bir tək vektor Tc kimi ifadə edilə bilər, burada 'a' komponenti Na düyünündə ən yüksək mövzu təhlil gecikməsidir, yəni Tca=Tc(Na) : burada H tərs düyün prosessinq dərəcələrinin diaqonal matrisidir H=diag(η−11,…,η−1N) və c fərdi qat istehlaklarının sütun vektorudur c=(c1,…,cL