
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Mualliflar: 
 
 
 
 
 
 Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Oqim ma'lumotlarida chuqur neyron tarmoqlarning (DNN) tahlili tahlil o'tkazish quvvati talablariga javob berish uchun hisoblash resurslarini talab qiladi. Biroq, kechikish va maxfiylikka sezgir chuqur o'rganish ilovalari uzatish xarajati va uchinchi tomon bulut provayderlariga ishonchsizlik tufayli hisoblashni masofaviy bulutlarga yuklab bo'lmaydi. Cheklangan muhitda hisoblashni saqlab qolgan holda ishlashni oshirish uchun echimlar orasida apparat tezlashuvi og'ir bo'lishi mumkin va modelni optimallashtirish keng dizayn harakatlarini talab qiladi, shu bilan birga aniqlikni pasaytiradi. DNNni bo'laklarga bo'lish uchinchi qo'shimcha yondashuvdir va bu inferentsiya ish yukini bir nechta mavjud chekka qurilmalar bo'ylab tarqatishdan iborat bo'lib, chekka tarmoq xususiyatlari va DNN tuzilishini hisobga oladi, inferentsiya o'tkazish quvvatini (sekundiga tahlillar soni) maksimallashtirish maqsadida. Ushbu maqola ko'p oqimli tarqatilgan DNNni joylashtirish uchun inferentsiya va uzatish kechikishlarini bashorat qilish usulini taqdim etadi va inferentsiya o'tkazish quvvatini maksimallashtirish uchun optimallashtirish jarayonini belgilaydi. Keyin hosil bo'lgan ishlash va murakkablikni miqdoriy baholash uchun shox va chegara hal qiluvchisi taqdim etiladi va tahlil qilinadi. Ushbu tahlil tezlashuv mintaqasini belgilashga olib keldi, bu DNNni bo'laklarga bo'lish foydali bo'lgan sharoitda DNN va tarmoq xususiyatlaridagi aniq shartlarni tasvirlaydi. Nihoyat, eksperimental natijalar simulyatsiyalarni tasdiqlaydi va namunaviy chekka joylarda inferentsiya o'tkazish quvvatining yaxshilanishini ko'rsatadi. DNNni chekkada bo'laklarga bo'lish tahlil tezkorligini tezlashtirish bilan birga, tarmoqli uzatishdan foydalanishni va markazlashtirilgan serverlarga, masalan, bulutga nisbatan kechikishni kamaytiradi. Kirish 2020-yilda har kuni taxminan 2,5 kvintillion bayt ma'lumotlarni ulangan qurilmalar yaratgan.  Bu kontekstda, Sun'iy Intellekt (SI) doimo o'sib borayotgan ma'lumotlar miqdorini eng yaxshi engishga qodir texnologiyalardan biri bo'lib, kompyuter ko'rishda ob'ektni aniqlash, yuzni tanish, nutqni tanish, tabiiy tilni qayta ishlash yoki avtonom haydash kabi turli sohalarda qo'llaniladi. SI, va xususan Chuqur O'rganish (CO), katta miqdordagi ma'lumotlarga qo'shimcha ravishda, sezilarli ishlov berish quvvati va xotira qobiliyatini talab qiladi, bu esa bulutli hisoblashni SI ish yuklarini joylashtirish uchun de facto yechimga aylantiradi. Natijada, 2019-yilda SI vazifalarining 96% bulutda bajarilgan. 1 2 SI ilovalari kuchli kechikish cheklovlariga ega bo'lishi mumkin, masalan, avtonom haydash, ishlab chiqarishni nazorat qilish yoki haqiqiy dunyo bilan o'zaro ta'sirni o'z ichiga olgan har qanday real vaqtda tahlil qilish. Misol uchun, avtonom haydashda o'rtacha javob vaqtlari 100 millisekunddan kam bo'lishi talab qilinadi  , bu esa bulutga ikki tomonlama sayohat vaqtini bunday ilovalar uchun juda uzoq qiladi. Xuddi shunday, ba'zi ilovalar tarmoqda sezilarli ulanishdan foydalanishni talab qilishi mumkin, masalan, kompyuter ko'rishda yuqori sifatli video ishlov berish holatida, bu ularni bulutda ishga tushirishga to'sqinlik qiladi. Ma'lumotlar maxfiylik siyosatlari yoki ma'lumotlarni himoya qilish qoidalari ma'lumotlarning ma'lum muhitlardan chiqib ketishiga yo'l qo'ymasligi mumkin. Bu esa ma'lumotlar manbalariga yaqin, ya'ni chekka qurilmalar yaqinida hisoblash vazifalarini qayta joylashtirishni o'z ichiga olgan chekka hisoblashda SIni joylashtirishga undaydi. [](javascript:void()) Ommaviy bulutlar bilan solishtirganda, chekka muhit cheklangan resurslarga ega va muhim cheklovlarga ega  , shuning uchun chekka uchun SIni ishlab chiqish bulut uchun SIni ishlab chiqishdan tubdan farq qiladi. Ma'lumotlarni manbaiga yaqin tahlil qilish qurilma quvvatining pastligi, mavjud resurslarning elastik emasligi va chekka tarmoqlarning heterojenligi tufayli qiyin bo'lishi mumkin. Hisoblash quvvatini pasaytirish inferentsiya o'tkazish quvvatini pasaytirishni bildiradi, bu og'ir ish yuklarini bulutdan chekka joyga ko'chirishni yanada murakkablashtiradi. Ba'zi ilovalarda, inferentsiya o'tkazish quvvati, ya'ni DNNning sekundiga tahlillar soni, DNN aniqligi bilan bog'liq bo'lishi mumkin, masalan, video oqimlarida ob'ektni kuzatish bilan, bu erda inferentsiya tezligini 15 dan 5 tahlilga sekundiga pasaytirish ob'ektni aniqlash moslamasining F1 ballini 10% ga pasaytiradi  . Boshqacha qilib aytganda, past inferentsiya o'tkazish quvvatiga ega joylashtirishlar muhim ma'lumot yo'qotilishiga olib kelishi mumkin, masalan, video kuzatuv ilovalarida aniqlash yo'qolishi. [](javascript:void()) [](javascript:void()) Cheklangan chekka tarmoqlarda ishlash talablariga javob berish uchun ikkita asosiy usul mavjud: modelni siqish yoki apparat tezlashuvi. Model siqish neyron tarmoqlarni yengil, ko'pincha past ishlashga ega bo'lgan model versiyasiga kamaytirish va optimallashtirishni o'z ichiga oladi. Standart modelni siqish usullari orasida qisqartirish  , ya'ni modeldagi keraksiz parametrlarni olib tashlash, miqdorlash  , ya'ni modelni saqlash uchun ajratilgan xotirani kamaytirish va bilimni destillyatsiya qilish  , ya'ni kattaroq modeldan olingan bilimlar bilan kichikroq neyron tarmog'ini o'qitish kiradi. Modelni optimallashtirish keng dizayn harakatlarini talab qiladi va model aniqligiga to'siq bo'lishi mumkin. Apparat tezlashuvi chekka qurilmalarda quvvat tejaydigan va yengil bo'lgan apparatni topishni o'z ichiga oladi, shu bilan birga etarli ishlash bilan tahlilni bajarishga qodir. Chekka joyda tezlashuv uchun bir nechta turdagi apparatlar mavjud, ular samaradorlik va o'ziga xoslik bo'yicha farq qiladi, ammo standart ishlov berish birliklari umidlarni qondira olmaydi va ASIClar kabi maxsus apparatlar amaliy bo'lmagan va qimmatga tushishi aniqlangan  . [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) DNNni bo'laklarga bo'lish inferentsiyani tezlashtirishning qo'shimcha usuli bo'lib, chekka tarmoqlarda mavjud qurilmalar ko'pligidan foydalanib, inferentsiya hisoblashni tarqatadi – bu yolg'iz ishlatilishi mumkin yoki boshqa ikkita usul bilan birgalikda ishlatilishi mumkin. DNNni bo'laklarga bo'lish neyron tarmog'ini bo'laklarga segmentlash mumkin bo'lgan quvur liniyasi sifatida ko'rib chiqishdan va ushbu bo'laklarni chekka qurilmalarga tarqatishdan iborat. Ushbu bo'laklarning joylashuvi DNN va uning ostidagi tarmoq xususiyatlariga asoslangan. DNNni bo'laklarga bo'lish, modelni bo'laklarga bo'linadigan nuqtalarni aniqlashga asoslanadi. Ish vaqti davomida, bo'laklar ketma-ket ishlaydi, har biri keyingi bo'lakka oraliq tahlil natijalarini yuboradi. Bu har bir bo'lak keyingi kirish ma'lumotlarini hisoblashni boshlashga imkon beradi, boshqa qurilmalar yuklangan ma'lumotlarni qayta ishlashni davom ettirayotgan bo'lsa, shu bilan inferentsiya o'tkazish quvvatini oshiradi, bu esa 1-rasmda ko'rsatilgan. Ushbu maqolaning qolgan qismida, DNNni bo'laklarga bo'lish video oqimlarida real vaqtda tahlil qilish misoli orqali tasvirlanadi. A. Tegishli Ishlar Mobil chekka-bulut yuklashdan kelib chiqqan DNNni bo'laklarga bo'lish usullari turli ishlash ko'rsatkichlarini optimallashtirishga qaratilgan, masalan, hisoblash kechikishi, energiya sarfi, resurslardan foydalanish, xarajat yoki o'tkazish quvvati. DNNni bo'laklarga bo'lish usullari optimallashtirish maqsadini aniqlash uchun ushbu metrikalarning bir yoki bir nechta assotsiatsiyasiga asoslanadi va bo'laklarga bo'lish sxemalarini topish uchun ushbu metrikadan foydalanadigan usuldir. Misol uchun, Neurosurgeon   kechikish va energiya sarfini kamaytirish uchun yagona ajratish nuqtasini izlaydi, birinchi bo'lakni chekkada saqlab, ikkinchi bo'lakni bulutga yuklaydi. IoT ilovalari ham energiya, kechikish va/yoki xarajatlarni optimallashtirish uchun bir nechta DNNni birgalikda bo'laklarga bo'lish va yuklashni ko'rib chiqqan, masalan, SPSO-GA   Particle Swarm Optimization (PSO) va Genetics Algorithm (GA) ni birlashtirgan yoki DDPQN   bo'laklarga bo'lish sxemalarini topish uchun Deep Reinforcement Learning dan foydalangan turli xil hal qiluvchilardan foydalangan. Boshqa misollar qatorida DINA   mavjud bo'lib, u Fog tarmoqlarida kechikish va resurslardan foydalanishni optimallashtirish uchun Integer Non Linear Programming (INLP) muammosini aniqlaydi va mos keluvchi nazariyasiga asoslangan hal qiluvchidan foydalanadi. Inferentsiya o'tkazish quvvatini optimallashtiruvchi usullar DNN jarrohligini   o'z ichiga oladi, bu oraliq DNN qatlamlari chiqindilarining kichikroq o'lchamidan foydalanib, chekka va bulut o'rtasida inferentsiya hisoblashni bo'laklarga bo'ladi. Ikkala algoritm ham ikkita bo'lak hosil qiladi, biri chekkada va ikkinchisi bulutda. Mobil chekka-bulut   sohasidagi boshqa tadqiqotlar umumiy inferentsiya o'tkazish quvvatini yanada tezlashtirish uchun bulutda ko'p oqimli hisoblashni o'z ichiga oladi. Ikkinchi bo'lak inferentsiya hisoblashini bajarish uchun bulutga tayanish yaxshi tarmoqli ulanishni talab qiladi, bu ba'zi izolyatsiyalangan chekka joylarda yomon ulanish bilan ishonchsiz bo'lishi mumkin. Edgent   mobil qurilmalar va mavjud chekka serverlarga oldingi metodologiyani moslashtiradi, bulutga yuklash cheklovini yumshatadi. Ushbu usul ma'lum bir o'qitish va model arxitekturasiga bog'liq va bo'laklarga bo'lishni hali ham ikkita bo'lakka cheklaydi. Boshqa usullar bir nechta ajratish nuqtalarini ko'rib chiqqan, masalan, IONN  , bu kechikish va energiya sarfini kamaytirish uchun bo'laklarga bo'lish muammosini, shuningdek, modellarni chekka serverlarga yuklash vaqtini hisobga olgan holda tasvirlaydi. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) Ushbu usullar masofaviy bulutlar bilan o'zaro aloqada bo'ladi yoki bo'laklarga bo'lishning tabiati bilan cheklangan, masalan, aynan ikkita qismga bo'lishni talab qiladi, ko'p oqim bilan yoki oqimsiz. Ko'rsatilgan DNNni bo'laklarga bo'lish tadqiqotlaridan hech biri bir nechta ajratish nuqtalarini va ko'p oqimni bir vaqtda ko'rib chiqmaydi. B. Xissalar Ushbu maqola oqim ma'lumotlarida real vaqtda DNN hisoblashining inferentsiya o'tkazish quvvatini maksimallashtirish uchun tarqatilgan inferentsiya tizimini taqdim etadi, ko'p ajratish nuqtalari va ko'p oqimli bo'laklarga bo'lish bilan. Ushbu maqolaning xissalari quyidagilardir: 
 
 
 
 
 
 Tarqatilgan DNNning hisoblash va uzatish kechikishlarini hisoblash uchun model, buning orqali ma'lum bir bo'laklarga bo'lish sxemasining kutilayotgan inferentsiya o'tkazish quvvatini baholash mumkin. DNNni bo'laklarga bo'lish uchun optimallashtirish muammosining formulasi, ushbu muammo uchun shox va chegara hal qiluvchisini joylashtirish va uning murakkabligini baholash. Tarmoq va DNN xususiyatlarining o'zgarishi bilan mumkin bo'lgan ishlash yaxshilanishlarini o'rganish uchun simulyatsiyalar. Optimal bo'laklarga bo'lishning mavjud bo'lishiga olib keladigan tarmoq va DNN xususiyatlaridagi aniq mintaqalarni va bunday yechimlarni hisoblash xarajatlarini aniqlash, ya'ni DNNni bo'laklarga bo'lish foydali bo'lgan sharoitlarni aniqlash. Simulyatsiyalarda aniqlangan mintaqalarni, shuningdek, bashoratning aniqligi va bir jinsli va heterojen muhitlarda yakuniy inferentsiya o'tkazish quvvatining yaxshilanishini ko'rsatuvchi eksperimental natijalar. Ushbu maqolaning qolgan qismida, chalkashliklarni oldini olish uchun, bo'laklarga bo'lingan chuqur neyron tarmog'i DNN deb yuritiladi va tarmoq so'zi uning ostidagi jismoniy aloqa tarmog'ini bildiradi. C. Maqola Tuzilishi Ushbu maqolaning qolgan qismi quyidagicha tartiblangan.  II-bo'lim Chuqur O'rganishning asosiy ma'lumotlarini va ushbu tadqiqotda DNNlar qanday tasvirlanganligini taqdim etadi.  III-bo'lim inferentsiya va uzatish kechikishlarini bashorat qilish usullarini batafsil bayon qiladi, bu esa  IV-bo'lim uchun zarur bo'lib, u optimallashtirish muammosini, shuningdek, bo'laklarga bo'lish qarorlarini qabul qilish uchun shox va chegara algoritmini aniqlaydi.  V-bo'lim shox va chegara algoritmining ishlashi va murakkabligini miqdoriy baholash uchun simulyatsiya natijalarini taqdim etadi, shuningdek, bir jinsli tarmoqda inferentsiya o'tkazish quvvatini yaxshilaydigan bo'laklarga bo'lishning mavjud bo'lish sharoitlarini aniqlaydi.  VI-bo'lim eksperimental natijalarni taqdim etadi, bu esa V-bo'limdagi simulyatsiyalarni tasdiqlaydi va heterojen eksperimental sozlamalarda inferentsiya o'tkazish quvvatining yaxshilanishini ko'rsatadi. Nihoyat,  VII-bo'lim natijalarni muhokama qiladi va ushbu usulning kengroq qo'llanilishini tushuntiradi. II-BO'LIM. Asoslar: Chuqur O'rganish Mashinani O'rganish sohasida Chuqur O'rganish (CO) bir nechta yashirin qatlamlarni o'z ichiga olgan DNNlardan foydalanishga asoslangan usullarni bildiradi. Chuqur o'rganish arxitekturalariga eng qadimgi murojaatlardan biri 1967 yilda chop etilgan  , ammo CO 2010-yillarda, avval nutqni tanishda, keyin esa tasvirlarda ob'ektni aniqlashda, yuqori o'lchovli ma'lumotlardagi murakkab munosabatlarni qamrab olish qobiliyati tufayli mashhur bo'ldi. Chuqur o'rganish 2022 yilda SI ilovalarining aksariyatini tashkil qilishi taxmin qilinmoqda, tashkilotlarning 75% dan ortig'i klassik usullarni qo'llash mumkin bo'lgan ilovalar uchun DNNlardan foydalanadi.  CO usullari "munosabatlarning murakkab algebraik elektronlari shaklida gipotezalar oladigan mashina o'rganish usullari" deb ta'riflangan  . Ushbu algebraik elektronlar odatda qatlamlarga tashkil etiladi, ular hisoblashning qadamlarini tashkil qiladi. Chuqur so'zi bir nechta qatlamlarni o'z ichiga olgan algoritmlarga ishora qiladi. [](javascript:void()) 4 [](javascript:void()) DNN tuzilmalarining ikkita asosiy turi mavjud: oldinga yo'naltirilgan neyron tarmoqlari va qayta yo'naltirilgan neyron tarmoqlari. Ikkala turdagi DNN ham hisoblash grafiklari sifatida tasvirlanishi mumkin, asosiy farqi oldinga yo'naltirilgan tarmoqlar to'g'ridan-to'g'ri aylanmas grafiklar (DAG) sifatida tasvirlanishi mumkin bo'lsa, qayta yo'naltirilgan neyron tarmoqlari aylanalarni o'z ichiga olishi mumkin. Qayta yo'naltirilgan neyron tarmoqlari ketma-ketlik uchun qurilgan, bu erda har bir ma'lumot nuqtasi ketma-ketlikdagi oldingi ma'lumot nuqtalari bilan bog'liq bo'lishi mumkin, oldinga yo'naltirilgan neyron tarmoqlari esa ma'lumotlar ketma-ketligidagi nuqtalar o'rtasidagi o'zaro ta'sirlarni hisobga olmaydi. Ushbu maqolaning qolgan qismida oldinga yo'naltirilgan DNN holati ko'rib chiqiladi. 5 III-BO'LIM. Tarqatilgan Inferentsiya Modellashtirish Ushbu Bo'lim DNN va tarmoq xususiyatlarini tasvirlash uchun modelni taqdim etadi, bu esa hisoblash kechikishlarini, uzatish kechikishlarini va ma'lum bir bo'laklarga bo'lish yechimining yakuniy inferentsiya o'tkazish quvvatini bashorat qilish imkonini beradi. A. DNN va Tarmoq Tasviri N qatlamli oldinga yo'naltirilgan DNN DAG GA=(L,E) sifatida modellashtirilgan, bu yerda L=(L1,…,LL) DNN qatlamlari. Qatlamlar Li va Lj orasidagi ulanishlar (Li,Lj)∈E qirralari. Har bir qatlam Li bilan ci hisoblash iste'moli bilan bog'liq, bu esa qatlam orqali oldinga yurishni hisoblash uchun zarur bo'lgan floating-point operatsiyalari sonida o'lchanadi. (Li,Lj) qirralari Li va Lj orasidagi baytlarda uzatilayotgan ma'lumotlar hajmini Lga teng bo'lgan s i,j og'irligi bilan belgilanadi. Jismoniy tarmoq N=(N1,…,NN) hisoblash tugunlari to'plami va tugunlar orasidagi ulanishlar V to'plami bo'lgan to'liq ulangan G=(N,V) grafigi sifatida modellashtirilgan. Hisoblash tugunlari N1,…,NN mos ravishda η1,…,ηN ishlov berish tezligiga ega deb taxmin qilinadi, sekundiga floating-point operatsiyalarida o'lchanadi. Nihoyat, ikkita qo'shni tugun Na va Nb orasidagi ulanish o'tkazish qobiliyati θa,b bayt/sekundda o'lchangan θa,b deb belgilanadi. Har bir tugun Ni o'ziga cheksiz o'tkazish qobiliyatiga ega bo'lgan ulanish bilan ulangan, bu loopback ulanishini ifodalaydi va ulanishlar simmetrik deb taxmin qilinadi, ya'ni θa,b=θb,a. Bo'laklarga bo'lish P:L→N xaritasi sifatida aniqlangan, ya'ni bo'lakga bo'lish har bir DNN qatlamiga tugun raqamini tayinlaydi. Bo'lakga bo'lish N×L o'lchamdagi P matritsasi sifatida tasvirlanishi mumkin, bu yerda N tarmoqdagi tugunlar soni va L DNN qatlamlari soni bo'lib, Pa,i=1 agar qatlam Li tugun Na da joylashtirilgan bo'lsa, 0 aks holda. 2-rasmdagi misol bilan, L=7 qatlam va N=2 hisoblash tugunlari, N1 tugunida {L1,L2,L3,L6,L7} qatlamlari bilan ko'rsatilgan bo'lakga bo'lish, va N2 tugunida {L4,L5} qatlamlari bilan quyidagicha ifodalanadi: Berilgan bo'lakga bo'lish sxemasiga ko'ra, bir oqim ikki ajratish nuqtasi orasidagi ketma-ket tugunda ishlaydigan qatlamlar guruhidir. Yuqoridagi misolda, N1 tuguni ikkita oqimni ishga tushiradi, birinchisi {L1,L2,L3} qatlamlarini va ikkinchisi {L6,L7} qatlamlarini o'z ichiga oladi. Ushbu belgilar aniqlangan holda, ushbu Bo'limning qolgan qismi inferentsiya (III-B-bo'lim) va uzatish (III-C-bo'lim) kechikishlari funksiyasi sifatida ma'lum bir bo'laklarga bo'lish sxemasi tomonidan erishilgan inferentsiya o'tkazish quvvatining yopiq ifodasini keltiradi. B. Inferentsiya Kechikishini Bashoratlash Berilgan bo'laklarga bo'lish sxemasiga ko'ra, ushbu Bo'lim izolyatsiya qilingan tugunda inferentsiya kechikishini bashorat qilishga qaratilgan. Na tugunida, ηa ishlov berish tezligi bilan hisoblangan ci iste'moli bilan Li qatlamini hisoblashdan kelib chiqqan kechikish Tci(Na)=ci/ηa deb ifodalanadi. Na tugunida ishlov berish tezligi ηa bilan ishlayotgan barcha oqimlarda L'⊆L qatlamlar to'plami berilgan bo'lsa, inferentsiya kechikishini quyidagicha ifodalash mumkin: Ushbu ifoda DNNni qayta ishlash uchun zarur bo'lgan floating-point operatsiyalari (FLOPs) soniga asoslangan inferentsiya kechikishini baholashning birinchi tartibli taxminidir, ya'ni modeldagi ko'paytirish-qo'shish operatsiyalari soni. Chekka qurilmalarda inferentsiya kechikishini baholash ish vaqti optimallashtirishlari bilan murakkablashadi. nn-Meter   kabi mavjud echimlar FLOPs asosida inferentsiya kechikishini bashorat qiladi. Boshqa echimlar kechikishni bashorat qilish uchun oldindan hisoblangan inferentsiya vaqtlarini o'z ichiga olgan qidiruv jadvaliga tayanadi. Misol uchun, BRP-NAS   inferentsiya kechikishlarini bashorat qilish uchun oldindan o'qitilgan grafik konvolyutsion tarmog'idan foydalanadi, shu bilan birga ish vaqti model optimallashtirishlarini hisobga oladi. [](javascript:void()) [](javascript:void()) 1-tenglamada   qayta ishlovchilar o'zlarining to'liq quvvatidan foydalanishlari ham taxmin qilinadi, bu esa ko'p yadroli qayta ishlovchilar ularning yadrolarining qayta ishlash tezliklari yig'indisiga teng bo'lgan bir yadroli qayta ishlovchilar sifatida modellashtirilishini bildiradi. Shuningdek, hisoblash resursi oqimlar bo'ylab teng ravishda taqsimlanishi taxmin qilinadi, ya'ni qayta ishlovchi har bir oqimga vaqtining bir xil ulushini ajratadi. 1 Barcha tugunlar orasida eng yuqori kechikishga ega bo'lgan oqim tarqatilgan DNN uchun inferentsiya o'tkazish quvvatini belgilaydi. Uzatish kechikishlarini hisobga olmaganda, bu cheklovchi oqim ma'lumotlar ramkasini hisoblashni tugatgandan so'ng, u keyingi ramkani to'g'ridan-to'g'ri qayta ishlashini bildiradi. Boshqa oqimlar ularning inferentsiya kechikishlari ushbu maksimal kechikishdan past bo'lganligi sababli keyingi ma'lumotlar ramkasini qayta ishlashdan oldin bo'sh vaqtga ega bo'ladi, bu 1-rasmda ko'rsatilgan. Berilgan bo'laklarga bo'lish matritsasi P uchun, inferentsiya kechikishlari Tc hajmdagi yagona vektor sifatida ifodalanishi mumkin, bu yerda a-komponent Na tugunidagi eng yuqori oqim inferentsiya kechikishidir, ya'ni Tca=Tc(Na):

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Cisco Systems

Ushbu audio hikoyaning asl tilida yaratilgan!

Nima uchun sun'iy intellektingizga tezroq ishlash uchun endi bulut kerak emas

About Author

IZOHLAR

TEGI QILISH

USHBU MAQOLA TAQDIM ETILGAN

Related Stories

Meet UzairaAdvisory, Winner of Startups of The Year 2024 in Business

Meet Uzi World Digital, Winner of Startups of the year 2024 in Kolkata, West Bengal, India

Meet UzairaAdvisory, Startups of The Year 2024 Nominee

Meet UzairaAdvisory, Winner of Startups of The Year 2024 in Business

Meet Uzi World Digital, Winner of Startups of the year 2024 in Kolkata, West Bengal, India

Meet UzairaAdvisory, Startups of The Year 2024 Nominee

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps