Nega sun'iy intellektingiz uchun tezroq ishlash uchun endi bulutga hojat yo'q

```html Mualliflar: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Oqim ma'lumotlari bo'yicha chuqur neyron tarmoq (DNN) inferensiyasi inferensiya o'tkazish qobiliyati talablarini qondirish uchun hisoblash resurslarini talab qiladi. Biroq, kechikish va maxfiylikka sezgir chuqur o'rganish ilovalari ma'lumot uzatish xarajati va uchinchi tomon bulut provayderlariga ishonchsizlik tufayli hisoblashni masofaviy bulutlarga yuklashga qodir emas. Cheklangan muhitda hisoblashni saqlab qolgan holda ishlashni oshirish yechimlari orasida apparat tezlashuvi og'irlik qilishi mumkin va modelni optimallashtirish katta dizayn harakatlarini talab qiladi va shu bilan birga aniqlikni pasaytiradi. DNNni bo'laklash uchinchi qo'shimcha yondashuvdir va bu chekka qurilmalar orasida inferensiya ish yukini taqsimlashni o'z ichiga oladi, chekka tarmoq xususiyatlari va DNN tuzilishini hisobga olgan holda, inferensiya o'tkazish qobiliyatini (soniyasiga qancha inferensiyalar) maksimal darajaga ko'tarish maqsadida. Ushbu maqolada ko'p tarmoqli taqsimlangan DNNni joylashtirish uchun inferensiya va uzatish kechikishlarini bashorat qilish usuli taqdim etiladi va inferensiya o'tkazish qobiliyatini maksimal darajaga ko'tarish uchun optimallashtirish jarayoni aniqlanadi. Keyin filial va chegaradosh echuvchi taqdim etiladi va erishilgan ishlash va murakkablikni miqdorini aniqlash uchun tahlil qilinadi. Ushbu tahlil tezlashuv mintaqasini aniqlashga olib keldi, bu DNNni bo'laklash foydali bo'lgan holda DNN va tarmoq xususiyatlaridagi deterministik shartlarni tasvirlaydi. Nihoyat, eksperimental natijalar simulyatsiyalarni tasdiqlaydi va namuna chekka joylashtirishlarda inferensiya o'tkazish qobiliyatining yaxshilanganligini ko'rsatadi. Chekka joyda DNNni bo'laklash inferensiya o'tkazish qobiliyatini tezlashtirishga imkon beradi, shu bilan birga tarmoqli foydalanish va markazlashtirilgan serverlarga, masalan, bulutga bo'lgan kechikishlarni kamaytiradi. Kirish 2020-yilda ulangan qurilmalar har kuni taxminan 2,5 quintillion bayt ma'lumot ishlab chiqargan. Bu kontekstda, sun'iy intellekt (AI) ishlab chiqarilgan ma'lumotlarning doimiy o'sib borayotgan miqdorini eng yaxshi ko'ra oladigan texnologiyalardan biridir, masalan, kompyuter ko'rishda ob'ektni aniqlash, yuzni aniqlash, nutqni aniqlash, tabiiy tilni qayta ishlash yoki avtonom haydash kabi sohalarda. AI, va xususan Chuqur O'rganish (DL), katta miqdordagi ma'lumotlardan tashqari, ishlov berish quvvati va xotira bo'yicha sezilarli imkoniyatlarni talab qiladi, bu esa bulutli hisoblashni AI ish yuklarini joylashtirish uchun yechimi qilib qo'yadi. Natijada, 2019-yilda AI vazifalarining 96% bulutda bajarilgan. 1 de facto 2 AI ilovalari kuchli kechikish cheklovlariga ega bo'lishi mumkin, masalan, avtonom haydash, ishlab chiqarishni monitoring qilish yoki haqiqiy dunyo bilan o'zaro ta'sirni o'z ichiga olgan har qanday real vaqt rejimida inferensiya. Misol uchun, avtonom haydashda o'rtacha javob vaqtlari 100 millisekunddan kam bo'lishi kerak , bu esa bulutga qaytib kelish vaqtini bunday ilovalar uchun juda uzoq qiladi. Xuddi shunday, ba'zi ilovalar tarmoqda sezilarli havola foydalanishini keltirib chiqarishi mumkin, masalan, kompyuter ko'rishda yuqori sifatli video qayta ishlash holatlarida, bu ularning bulutda ishlashiga to'sqinlik qiladi. Ma'lumotlar maxfiyligi siyosatlari yoki ma'lumotlarni himoya qilish qoidalari ham ma'lumotlarning ma'lum muhitdan chiqib ketishiga yo'l qo'ymasligi mumkin. Bu esa chekka hisoblashda AIni joylashtirishga undaydi, bu esa hisoblash vazifalarini ma'lumot markazlaridan chekka qurilmalarga, ya'ni ma'lumot manbalariga yaqinroq joyga ko'chirishni o'z ichiga oladi. [[1]](javascript:void()) Jamoat bulutlari bilan solishtirganda, chekka joy muhitda cheklangan resurslarga ega bo'lgan muhitdir , shu sababli chekka joy uchun AIni ishlab chiqish bulut uchun AIni ishlab chiqishdan mohiyatan farq qiladi. Ma'lumotlarni manbaga yaqinroq tahlil qilish qurilma imkoniyatlarining pastligi, mavjud resurslarning elastik emasligi va chekka tarmoqlarning heterojenligi tufayli qiyin bo'lishi mumkin. Hisoblash quvvatini pasaytirish inferensiya o'tkazish qobiliyatini pasaytirishni bildiradi, bu esa og'ir ish yuklarini bulutdan chekka joyga ko'chirishni yanada murakkablashtiradi. Ba'zi ilovalarda, inferensiya o'tkazish qobiliyati, ya'ni DNNning soniyasiga qancha inferensiyalar erishish mumkinligi, DNN aniqligi bilan bog'liq bo'lishi mumkin, masalan, video oqimlarida ob'ektni kuzatishda, bu yerda soniyasiga 15 dan 5 gacha bo'lgan inferensiya tezligini pasaytirish ob'ektni aniqlash vositasining F1 skorini 10% ga pasaytirishi ko'rsatilgan . Boshqacha aytganda, past inferensiya o'tkazish qobiliyatiga ega bo'lgan joylashtirishlar muhim ma'lumot yo'qotishiga olib kelishi mumkin, masalan, video kuzatuv ilovalarida aniqlash yo'qotilishi. [[2]](javascript:void()) [[3]](javascript:void()) Chekka tarmoqlarda ishlash talablarini qondirish uchun ikkita asosiy usul mavjud: modelni siqish yoki apparat tezlashuvi. neyron tarmoqlarni modelning engil, ko'pincha kam samarali versiyasiga qisqartirish va optimallashtirishni o'z ichiga oladi. Standart model siqish usullariga quyidagilar kiradi: pruning , ya'ni modeldagi keraksiz parametrlarini olib tashlash, kvantlash , ya'ni modelni saqlash uchun ajratilgan xotirani kamaytirish va bilim distillash , ya'ni kattaroq modeldan olingan bilimlar bilan kichikroq neyron tarmoqni o'rgatish. Modelni optimallashtirish katta dizayn harakatlarini talab qiladi va modelning aniqligiga to'sqinlik qilishi mumkin. chekka qurilmalarda mos keladigan apparatni topishni o'z ichiga oladi, bu ham energiya samaradorligi, ham engil bo'lishi kerak, shu bilan birga etarli darajada ishlash bilan inferensiyani bajarishga qodir. Chekka joyda tezlashtirish uchun mos keladigan apparatning bir necha turi mavjud, samaradorlik va maxsuslik bo'yicha farqlanadi, ammo standart ishlov berish qurilmalari kutilgan natijalarni bermaydi va ASIC kabi maxsus apparatlar amaliy emas va qimmatga tushishi aniqlangan . Model siqish [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) Apparat tezlashuvi [[7]](javascript:void()) DNNni bo'laklash - bu chekka tarmoqlardagi mavjud qurilmalar ko'pligidan foydalangan holda inferensiyani tezlashtirishning qo'shimcha usuli bo'lib, u inferensiya hisoblashni taqsimlaydi - bu yolg'iz ishlatilishi mumkin yoki boshqa ikki usul bilan birgalikda ishlatilishi mumkin. DNNni bo'laklash - bu neyron tarmoqni bo'laklarga bo'linadigan quvur sifatida ko'rib chiqish va bu bo'laklarni chekka qurilmalar orasida taqsimlashni o'z ichiga oladi. Ushbu bo'laklarning joylashuvi DNN va ostidagi tarmoq xususiyatlariga asoslanadi. DNNni bo'laklash - bu model grafigida model bo'laklarga bo'linadigan nuqtalarni aniqlashga asoslanadi. Ishlash vaqtida, bo'laklar ketma-ket ishlaydi, har biri oraliq inferensiya natijalarini keyingi bo'lakka yuboradi. Bu esa har bir bo'lak keyingi kiruvchi ma'lumotlarni qayta ishlashni boshlashiga imkon beradi, boshqa qurilmalar esa yuklangan ma'lumotni qayta ishlashni davom ettiradi, shu bilan inferensiya o'tkazish qobiliyatini oshiradi, bu esa ko'rsatilgan. Ushbu maqolaning qolgan qismida, DNNni bo'laklash real vaqt rejimida video oqimlarida inferensiya misoli orqali ko'rsatiladi. 1-rasmda A. Tegishli Ishlar DNNni bo'laklash usullari, mobil chekka-bulut yuklashidan kelib chiqqan holda, hisoblash kechikish, energiya sarfi, resurslardan foydalanish, narx yoki o'tkazish qobiliyati kabi turli xil ishlash ko'rsatkichlarini optimallashtirishga intiladi. DNNni bo'laklash - bu optimallashtirish maqsadini aniqlash uchun ushbu metrikalardan birini yoki bir nechtasini birlashtirishga asoslanadi va bo'laklash sxemalarini topish uchun ushbu metrikdan foydalanadigan usuldir. Misol uchun, Neurosurgeon kechikish va energiya sarfini minimallashtirish uchun yagona bo'linish nuqtasini qidiradi, birinchi bo'lakni chekka joyda saqlaydi va ikkinchi bo'lakni bulutga yuklaydi. IoT ilovalari ham energiya, kechikish va/yoki narxni optimallashtirish uchun bir nechta DNNlarni birgalikda bo'laklash va yuklashni ko'rib chiqqan, ular SPSO-GA Particle Swarm Optimization (PSO) va Genetics Algorithm (GA)ni birlashtirgan yoki DDPQN bo'laklash sxemalarini topish uchun Deep Reinforcement Learningni ishlatgan kabi turli echuvchilardan foydalangan. Boshqa misollar DINA ni o'z ichiga oladi, bu Integer Non Linear Programming (INLP) muammosini aniqlaydi va tormozlanish va resurslardan foydalanishni tormozlanish tarmoqlarida optimallashtirish uchun moslashtirish nazariyasiga asoslangan echuvchidan foydalanadi. Inferensiya o'tkazish qobiliyatini optimallashtiruvchi usullarga DNN surgery kiradi, bu esa oraliq DNN qatlam chiqishlarining kichikroq hajmidan foydalanib, inferensiya hisoblashni chekka va bulut orasida bo'laklaydi. Har ikkala algoritm ham ikkita bo'lak hosil qiladi, biri chekka joyda, ikkinchisi esa bulutda. Mobil chekka-bulut sohasidagi boshqa tadqiqotlar umumiy inferensiya o'tkazish qobiliyatini yanada tezlashtirish uchun bulutdagi ko'p tarmoqli hisoblashni ham o'z ichiga oladi. Ikkinchi bo'lakni hisoblash uchun bulutga tayanish, ba'zi izolyatsiya qilingan chekka joylashtirishlarning yomon ulanish bilan shubhasiz bo'lishi mumkin bo'lgan yaxshi tarmoqli ulanishga tayanishni bildiradi. Edgent oldingi metodologiyani mobil qurilmalar va mavjud chekka serverlarga moslashtiradi, bulutga yuklash cheklovini yumshatadi. Ushbu usul ma'lum bir o'qitish va model arxitekturasiga bog'liq va hali ham bo'laklashni ikkita bo'lakka cheklaydi. Boshqa usullar bir nechta bo'linish nuqtalarini ko'rib chiqqan, masalan, IONN , bu esa kechikish va energiya sarfini minimallashtirish uchun bo'laklash muammosini tasvirlaydi, shuningdek, modellarni chekka serverlarga yuklash vaqtini ham hisobga oladi. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Ushbu usullar masofaviy bulutlar bilan o'zaro aloqada bo'ladi yoki bo'laklash tabiatida cheklangan, masalan, faqat ikkita qismga bo'lishni talab qiladi, ko'p tarmoqli yoki yo'qligidan qat'i nazar. Sanab o'tilgan DNNni bo'laklash tadqiqotlaridan hech biri ham ko'p bo'linish nuqtalarini ham, ko'p tarmoqlilikni ham hisobga olmaydi. B. Ishlar Ushbu maqolada ko'p bo'linish nuqtalari va ko'p tarmoqli bo'laklash bilan oqim ma'lumotlarini real vaqt rejimida DNN hisoblashni maksimal inferensiya o'tkazish qobiliyatiga erishish uchun taqsimlangan inferensiya tizimi taqdim etiladi. Ushbu maqolaning hissalari quyidagilardir: Taqsimlangan DNNni hisoblash va uzatish kechikishlarini hisoblash uchun model, bu orqali ma'lum bir bo'laklash sxemasining kutilayotgan inferensiya o'tkazish qobiliyatini baholash mumkin. DNN bo'laklash uchun optimallashtirish muammosining formulasi, ushbu muammoga filial va chegaradosh echuvchini joylashtirish va uning murakkabligini baholash. Tarmoq va DNN xususiyatlarining o'zgarishi bilan mumkin bo'lgan ishlash yaxshilanishlarini o'rganish uchun simulyatsiyalar. Optimal bo'laklashlarning mavjudligi va bunday yechimlarni hisoblash xarajatlariga olib keladigan tarmoq va DNN xususiyatlaridagi deterministik mintaqalarni aniqlash, ya'ni DNNni bo'laklash foydali bo'lgan shartlar. Simulyatsiyalarda aniqlangan mintaqalarni, shuningdek, bashoratning aniqligi va yakuniy inferensiya o'tkazish qobiliyatini oshirishni ko'rsatuvchi eksperimental natijalar, bir jinsli va heterojen muhitlarda. Ushbu maqolaning qolgan qismida chalkashlikni oldini olish uchun, bo'laklangan chuqur neyron tarmog'i deb ataladi va so'zi ostidagi jismoniy aloqa tarmog'ini bildiradi. DNN tarmoq C. Maqola Tuzilishi Ushbu maqolaning qolgan qismi quyidagicha tashkil etilgan. Chuqur O'rganishning asosiy ma'lumotlarini va ushbu tadqiqotda DNNlar qanday modellashtirilganligini taqdim etadi. inferensiya va uzatish kechikishlarini bashorat qilish usullarini batafsil bayon qiladi, bu esa uchun zarur bo'ladi, bu esa optimallashtirish muammosini, shuningdek, bo'laklash qarorlarini qabul qilish uchun filial va chegaradosh algoritmni aniqlaydi. simulyatsiya natijalarini taqdim etadi, filial va chegaradosh algoritmni ishlash va murakkabligini miqdorini aniqlash, shuningdek, bir jinsli tarmoqda inferensiya o'tkazish qobiliyatini yaxshilaydigan bo'laklash mavjudligiga olib keladigan shartlarni aniqlaydi. V-bo'limdagi simulyatsiyalarni tasdiqlovchi eksperimental natijalarni taqdim etadi va heterojen eksperimental sozlamalarda inferensiya o'tkazish qobiliyatining yaxshilanganligini ko'rsatadi. Nihoyat, natijalarni muhokama qiladi va ushbu usulning keng qo'llanilishini kengaytiradi. II-bo'lim III-bo'lim IV-bo'lim V-bo'lim VI-bo'lim VII-bo'lim II-BO'LIM. Asoslar: Chuqur O'rganish Mashina o'rganish sohasida Chuqur O'rganish (DL) - bu DNNlardan foydalanishga asoslangan usullarni bildiradi, ya'ni bir nechta yashirin qatlamlarni o'z ichiga olgan sun'iy neyron tarmoqlari (yoki tegishli mashina o'rganish usullari). Chuqur o'rganish arxitekturalariga dastlabki murojaatlardan biri 1967 yilda nashr etilgan , ammo DL 2010-yillarda mashhur bo'ldi, avvalo nutqni aniqlashda, keyin esa tasvirlardagi ob'ektni aniqlashda, yuqori o'lchovli ma'lumotlardagi murakkab munosabatlarni tushunish qobiliyati tufayli. Chuqur o'rganish 2022 yilda AI ilovalarining aksariyatini tashkil etishi taxmin qilinmoqda, tashkilotlarning 75% dan ortig'i klassik usullarni qo'llash mumkin bo'lgan ilovalar uchun DNNlardan foydalanadi. DL usullari "gipotezalar moslashuvchan ulanish kuchlariga ega bo'lgan murakkab algebraik elektronlarni tashkil etadigan mashina o'rganish usullari" sifatida aniqlangan . Ushbu algebraik elektronlar odatda qatlamlarga bo'linadi, ular hisoblashda qadamlarni tashkil qiladi. "Chuqur" atamasi bir nechta qatlamlardan iborat algoritmlarni bildiradi. [[16]](javascript:void()) 4 [[17]](javascript:void()) DNNning ikkita asosiy tuzilmasi mavjud: oldinga uzatiladigan neyron tarmoqlar va takrorlanadigan neyron tarmoqlar. Har ikkala turdagi DNN ham hisoblash graflari sifatida modellashtirilishi mumkin, asosiy farqi shundaki, oldinga uzatiladigan tarmoqlar to'g'ridan-to'g'ri aylanma bo'lmagan graflar (DAG) sifatida modellashtirilishi mumkin, takrorlanadigan neyron tarmoqlari esa aylanishlarni o'z ichiga olishi mumkin. Takrorlanadigan neyron tarmoqlari ma'lumotlar ketma-ketliklari uchun qurilgan bo'lib, bunda har bir ma'lumot nuqtasi ketma-ketlikdagi oldingi ma'lumot nuqtalari bilan bog'liq bo'lishi mumkin, oldinga uzatiladigan neyron tarmoqlari esa ma'lumotlar ketma-ketligidagi nuqtalar orasidagi o'zaro ta'sirlarni hisobga olmaydi. Ushbu maqolaning qolgan qismida oldinga uzatiladigan DNN holati ko'rib chiqiladi. 5 III-BO'LIM. Taqsimlangan Inferensiyani Modellashtirish Ushbu Bo'lim DNN va tarmoq xususiyatlarini modellashtirish uchun mo'ljallangan, bu esa hisoblash kechikishlarini, uzatish kechikishlarini va ma'lum bir bo'laklash yechimining yakuniy inferensiya o'tkazish qobiliyatini bashorat qilish imkonini beradi. A. DNN va Tarmoq Modellashtirish N qatlamli oldinga uzatiladigan DNN - bu L=(L1,...,LL) DNN qatlamlari bilan DAG GA=(L,E) sifatida modellashtiriladi. Cheklar (Li,Lj)∈E Li va Lj qatlamlari orasidagi aloqalardir. Har bir qatlam Li uchun ci hisoblash iste'moli berilgan, bu esa qatlam orqali oldinga o'tishni bajarish uchun zarur bo'lgan suzuvchi nuqtali operatsiyalar soni bilan o'lchanadi. Cheklar (Li,Lj) ga si,j vazni berilgan bo'lib, u Li va Lj qatlamlari orasida uzatiladigan ma'lumotlar hajmini baytlarda ifodalaydi. Jismoniy tarmoq N=(N1,...,NN) hisoblash tugunlari to'plami va tugunlar orasidagi aloqalar to'plami V bo'lgan to'liq ulangan graph G=(N,V) sifatida modellashtiriladi. Hisoblash tugunlari N1,...,NN ga mos ravishda η1,...,ηN ishlov berish tezliklari berilgan deb taxmin qilinadi, ular soniyasiga qancha suzuvchi nuqtali operatsiyalar bilan o'lchanadi. Nihoyat, ikkita qo'shni tugun Na va Nb orasidagi aloqa o'tkazish qobiliyati θa,b, bayt/soniya bilan o'lchanadi. Har bir tugun Ni o'ziga cheksiz o'tkazish qobiliyatiga ega bo'lgan aloqa bilan ulangan, bu esa qayta aloqani bildiradi va aloqalar simmetrik deb taxmin qilinadi, ya'ni θa,b=θb,a. Bo'laklashlar P:L→N xaritalari sifatida aniqlanadi, ya'ni bo'laklash har bir DNN qatlamiga tugun raqamini tayinlaydi. Bo'laklash P(N×L) o'lchovli matritsa sifatida tasvirlanishi mumkin, bu yerda N - tarmoqdagi tugunlar soni va L - DNN qatlamlari soni, va Pa,i=1 bo'lsa, Li qatlam Na tuguniga joylashtirilgan, aks holda 0. 2-rasmdagi misolda, L=7 qatlam va N=2 hisoblash tuguni mavjud bo'lsa, {L1,L2,L3,L6,L7} qatlamlari N1 tugunida va {L4,L5} qatlamlari N2 tugunida joylashtirilgan ushbu bo'laklash quyidagicha ifodalanadi: Berilgan bo'laklash bo'yicha, bir ikki bo'linish nuqtasi orasidagi ketma-ket qatlamlar guruhini bildiradi, ular bir xil tugunda ketma-ket ishlaydi. Yuqoridagi misolda, N1 tuguni ikkita threadni ishga tushiradi, birinchisi {L1,L2,L3} qatlamlarini, ikkinchisi esa {L6,L7} qatlamlarini o'z ichiga oladi. thread Ushbu notatsiyalar aniqlangandan so'ng, ushbu bo'limda inferensiya ( ) va uzatish ( ) kechikishlari funktsiyasi sifatida berilgan bo'laklash tomonidan erishilgan inferensiya o'tkazish qobiliyatining yopiq ifodasi keltiriladi. III-B bo'limi III-C bo'limi B. Inferensiya Kechikishini Bashoratlash Berilgan bo'laklash bo'yicha, ushbu Bo'lim izolyatsiyalangan tugunda inferensiya kechikishini bashoratlash bilan shug'ullanadi. Qatlam Li ning hisoblashidan kelib chiqqan kechikish ci, Na tugunida hisoblash kerak bo'lsa, ishlov berish tezligi ηa bilan, Tci(Na)=ci/ηa sifatida ifodalanadi. Na tugunida ishlov berish tezligi ηa bilan ishlaydigan barcha threadlarda ishlaydigan qatlamlar L′⊂L to'plami berilgan bo'lsa, inferensiya kechikishini quyidagicha ifodalash mumkin: Ushbu ifoda DNNni qayta ishlash uchun zarur bo'lgan suzuvchi nuqtali operatsiyalar (FLOPs) soniga asoslangan inferensiya kechikishini baholashning birinchi tartibli taxminidir, ya'ni modeldagi ko'paytirish-qo'shish operatsiyalari soni. Chekka qurilmalarda inferensiya kechikishini baholash ish vaqti optimallashtirishlari tomonidan murakkablashtiriladi. nn-Meter kabi mavjud yechimlar FLOPs asosida inferensiya kechikishini bashorat qiladi. Boshqa yechimlar kechikishni bashorat qilish uchun oldindan hisoblangan inferensiya vaqtlarini o'z ichiga olgan qidiruv jadvaliga tayanishadi. Misol uchun, BRP-NAS ish vaqti model optimallashtirishlarini hisobga olgan holda inferensiya kechikishlarini bashorat qilish uchun oldindan o'rgatilgan grafig konvolyutsion tarmog'idan foydalanadi. [[18]](javascript:void()) [[19]](javascript:void()) 1-tenglamada yana protsessorlar to'liq quvvatidan foydalanadi deb taxmin qilinadi, bu esa ko'p yadroli protsessorlar ularning yadroli ishlov berish tezliklari yig'indisiga teng bo'lgan ishlov berish tezligiga ega yagona yadroli protsessorlar sifatida modellashtirilishini bildiradi. Shuningdek, hisoblash resursi threadlar orasida teng taqsimlangan deb taxmin qilinadi, ya'ni protsessor har bir threadga o'z vaqtining ma'lum bir qismini ajratadi. 1 Barcha tugunlar orasida, eng yuqori kechikishga ega bo'lgan thread taqsimlangan DNN uchun inferensiya o'tkazish qobiliyatini belgilaydi. Uzatish kechikishlarini hisobga olmaganda, bu degani, ushbu cheklovchi thread ma'lumotlar freymini qayta ishlashni tugatgandan so'ng, u darhol keyingisini qayta ishlashni boshlaydi. Boshqa threadlar o'zlarining inferensiya kechikishlari ushbu maksimal kechikishdan past bo'lganligi sababli, keyingi ma'lumot freymini qayta ishlashdan oldin bo'sh vaqtga ega bo'ladilar, bu esa 1-rasmda ko'rsatilgan. Bo'laklash matritsasi P berilgan bo'lsa, inferensiya kechikishlari N o'lchovli yagona vektor Tc sifatida ifodalanishi mumkin, bu yerda a-komponent Na tugunidagi eng yuqori thread inferensiya kechikishidir, ya'ni Tca=Tc(Na): bu yerda H - tugun ishlov berish tezligining teskari qiymatlari bo'lgan diagonal matritsa diag(η−11,...,η−1N) va c - al