Nega sun'iy intellektingiz tezroq ishlash uchun endi bulutga muhtoj emas

```html Mualliflar: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Oqim maʼlumotlarida chuqur neyron tarmogʻi (DNN) inferentsiyasini bajarish uchun inferentsiya oʻtkazuvchanligi talablariga javob beradigan hisoblash resurslari talab qilinadi. Biroq, kechikish va maxfiy maʼlumotlar uchun sezgir boʻlgan chuqur oʻrganish ilovalari maʼlumot uzatish xarajati va uchinchi tomon bulut provayderlariga ishonchsizlik tufayli hisoblashlarni masofaviy bulutga yuklashga qodir emas. Cheklangan muhitda hisoblashni saqlab qolgan holda ishlashni oshirish uchun yechimlar orasida apparat tezlashuvi ogʻir boʻlishi mumkin va model optimallashtirish keng dizayn saʼy-harakatlarini talab qiladi, shu bilan birga aniqlikni buzadi. DNNni boʻlaklash uchinchi qoʻshimcha yondashuvdir va inferentsiya ish yukini mavjud chekka qurilmalar boʻylab tarqatishni oʻz ichiga oladi, chekka tarmoq xususiyatlari va DNN tuzilishini hisobga olgan holda, inferentsiya oʻtkazuvchanligini (sekundiga nechta inferentsiya) maksimal darajaga koʻtarish maqsadida. Ushbu maqola koʻp oqimli tarqatilgan DNN joylashtirishlari uchun inferentsiya va uzatish kechikishlarini bashorat qilish usulini taqdim etadi va inferentsiya oʻtkazuvchanligini maksimal darajaga koʻtarish uchun optimallashtirish jarayonini belgilaydi. Keyinchalik filial va chegaralash hal qiluvchi muammoni aniqlash va tahlil qilish uchun taqdim etiladi. Ushbu tahlil tezlashuv mintaqasini aniqlashga olib keldi, bu esa DNN boʻlaklash foydali boʻlgan sharoitlarda DNN va tarmoq xususiyatlarida deterministik sharoitlarni tasvirlaydi. Nihoyat, eksperimental natijalar simulyatsiyalarni tasdiqlaydi va namunaviy chekka joylashtirishlarda inferentsiya oʻtkazuvchanligining yaxshilanishini koʻrsatadi. Chekka DNNni boʻlaklash markazlashgan serverlarga, masalan, bulutga nisbatan inferentsiya oʻtkazuvchanligini tezlashtiradi, shu bilan birga tarmoqli uzatishdan foydalanishni va kechikishni kamaytiradi. Kirish 2020-yilda ulangan qurilmalar kuniga taxminan 2,5 kvintillion bayt maʼlumot ishlab chiqargan. Bu kontekstda, Sunʼiy Intellekt (SI) doimiy ravishda oʻsib borayotgan maʼlumotlar miqdoriga eng yaxshi mos keladigan texnologiyalardan biridir, masalan, kompyuter koʻrishda obʼektni aniqlash, yuzni tanish, nutqni tanish, tabiiy tilni qayta ishlash yoki avtonom haydash sohalarida. SI, va ayniqsa Chuqur Oʻrganish (CHO), katta miqdordagi maʼlumotlarga qoʻshimcha ravishda, sezilarli ishlov berish quvvati va xotira qobiliyatini talab qiladi, bu esa bulutli hisoblashni SI ish yuklari uchun xosting yechimiga aylantiradi. Natijada, 2019-yilda SI vazifalarining 96% bulutda bajarilgan. 1 de facto 2 SI ilovalari kuchli kechikish cheklovlariga ega boʻlishi mumkin, , avtonom haydash, ishlab chiqarishni monitoring qilish yoki real vaqt rejimida har qanday inferentsiya haqiqiy dunyo bilan oʻzaro aloqani oʻz ichiga oladi. Masalan, avtonom haydashda oʻrtacha javob vaqtlari 100 millisekunddan kam boʻlishi talab qilinadi , bu esa bulutga oʻtish vaqtlarini bunday ilovalar uchun juda uzoq qiladi. Xuddi shunday, baʼzi ilovalar tarmoqda sezilarli ulanishdan foydalanishni talab qilishi mumkin, , kompyuter koʻrishda yuqori sifatli video qayta ishlash holatida, bu ularning bulutda ishlashiga toʻsqinlik qiladi. Maʼlumotlar maxfiyligi siyosatlari yoki maʼlumotlarni himoya qilish qoidalari maʼlumotlarning maʼlum muhitlardan chiqib ketishini taqiqlashi mumkin. Bu SIni chekka hisoblashda joylashtirishni ragʻbatlantiradi, bu hisoblash vazifalarini maʼlumotlar markazlaridan chekka qurilmalarga yaqinroq, , maʼlumot manbalariga yaqin joyga koʻchirishni oʻz ichiga oladi. masalan. [[1]](javascript:void()) masalan. yaʼni Ommaviy bulutlar bilan solishtirganda, chekka joylar muhim cheklovlarga ega boʻlgan resurslar bilan cheklangan muhitdir , va shuning uchun chekka uchun SIni ishlab chiqish bulut uchun SIni ishlab chiqishdan mohiyatan farq qiladi. Maʼlumotlarni manbasiga yaqin joyda tahlil qilish qurilma imkoniyatlarining pastligi, mavjud resurslarning qattiqligi va chekka tarmoqlarning xilma-xilligi tufayli qiyin boʻlishi mumkin. Hisoblash quvvatini pasaytirish inferentsiya oʻtkazuvchanligini pasayishini anglatadi, bu esa bulutdan chekka ogʻir ish yuklarini koʻchirishni yanada murakkablashtiradi. Baʼzi ilovalarda, inferentsiya oʻtkazuvchanligi, , DNNning sekundiga toʻgʻri keladigan inferentsiyalar soni, DNN aniqligi bilan bogʻliq boʻlishi mumkin, , video oqimlarida obʼektni kuzatish bilan, bu yerda inferentsiya tezligini 15 dan 5 inferentsiyaga pasaytirish obʼekt detektorining F1 ballini 10% ga pasaytirganligi koʻrsatilgan__3__ . Boshqacha qilib aytganda, past inferentsiya oʻtkazuvchanligiga ega boʻlgan joylashtirishlar muhim maʼlumotlar yoʻqolishiga olib kelishi mumkin, , video kuzatuv ilovalarida aniqlashning yoʻqolishi. [[2]](javascript:void()) yaʼni masalan. [[3]](javascript:void()) masalan. Chekka cheklangan tarmoqlarda ishlash talablariga javob berish uchun ikkita asosiy mavjud usul mavjud: modelni siqish yoki apparat tezlashuvi. neyron tarmoqlarini modelning yengil, koʻpincha kam samarali versiyasiga kamaytirish va optimallashtirishni oʻz ichiga oladi. Standart modelni siqish usullari orasida saralash , , modeldagi keraksiz parametrlarni olib tashlash, kvantizatsiya , , modelni saqlash uchun ajratilgan xotirani kamaytirish va bilim distilatsiyasi , , kattaroq modeldan olingan bilimlar bilan kichikroq neyron tarmogʻini oʻqitish kiradi. Model optimallashtirish keng dizayn saʼy-harakatlarini talab qiladi va model aniqligiga toʻsqinlik qilishi mumkin. chekka qurilmalarda energiya samarador va engil boʻlishi mumkin boʻlgan apparatni topishni oʻz ichiga oladi, shu bilan birga etarli ishlash bilan inferentsiyani ishga tushirishga qodir. Chekka tezlashuvi uchun apparatning bir nechta turlari mavjud boʻlib, samaradorlik va oʻziga xoslik boʻyicha farqlanadi, ammo standart ishlov berish bloklari kutgandan kam natija beradi va ASIClar kabi maxsus apparatlar noqulay va qimmatligi aniqlangan . Modelni siqish [[4]](javascript:void()) yaʼni [[5]](javascript:void()) yaʼni [[6]](javascript:void()) yaʼni Apparat tezlashuvi [[7]](javascript:void()) DNNni boʻlaklash inferentsiyani tezlashtirishning qoʻshimcha usuli boʻlib, chekka tarmoqlardagi mavjud qurilmalar koʻpligidan foydalanib, inferentsiya hisoblashni tarqatadi – bu yagona holda yoki boshqa ikki usul bilan birgalikda ishlatilishi mumkin. DNNni boʻlaklash neyron tarmogʻini boʻlaklarga boʻlinadigan quvur liniyasi sifatida koʻrib chiqishni va ushbu boʻlaklarni chekka qurilmalarga tarqatishni oʻz ichiga oladi. Ushbu boʻlaklarning joylashuvi ham DNNga, ham asosiy tarmoq xususiyatlariga asoslanadi. DNNni boʻlaklash ajratish nuqtalarini aniqlashga asoslanadi, bu model grafigidagi nuqtalar boʻlib, bu yerda model boʻlaklarga ajratiladi. Ish vaqti davomida, boʻlaklar ketma-ket ishlaydi, har biri oraliq inferentsiya natijalarini keyingi boʻlakka yuboradi. Bu har bir boʻlak keyingi kiruvchi maʼlumotlarni qayta ishlashni boshlashga imkon beradi, boshqa qurilmalar yuklangan maʼlumotlarni qayta ishlashni davom ettirayotganda, shu bilan inferentsiya oʻtkazuvchanligini oshiradi, bu esa koʻrsatilgan. Ushbu maqolaning qolgan qismida, DNNni boʻlaklash video oqimlari haqidagi real vaqt inferentsiya misoli orqali koʻrsatilgan. 1-rasmda A. Tegishli ishlar Mobil chekka-bulut yukini kamaytirishdan kelib chiqqan DNNni boʻlaklash usullari turli xil ishlash koʻrsatkichlarini optimallashtirishga qaratilgan, masalan, hisoblash kechikishi, energiya sarfi, resurslardan foydalanish, xarajat yoki oʻtkazuvchanlik. DNNni boʻlaklash optimallashtirish maqsadini belgilash uchun ushbu metrikalardan bir yoki bir nechta birlashtirishga asoslanadi va boʻlaklash sxemalarini topish uchun ushbu metrikadan foydalanadigan usuldir. Masalan, Neurosurgeon kechikish va energiya sarfini kamaytirish uchun yagona ajratish nuqtasini qidiradi, birinchi boʻlakni chekkada ushlab turadi va ikkinchi boʻlakni bulutga yuklaydi. IoT ilovalari ham energiya, kechikish va/yoki xarajatlarni optimallashtirish uchun bir nechta DNNni birgalikda boʻlaklash va yuklashni koʻrib chiqqan, masalan, SPSO-GA Particle Swarm Optimization (PSO) va Genetika Algoritmini (GA) birlashtirgan, yoki DDPQN boʻlaklash sxemalarini topish uchun Deep Reinforcement Learning dan foydalanadi. Boshqa misollar DINA ni oʻz ichiga oladi, u Integer Non Linear Programming (INLP) muammosini belgilaydi va tormoz va resurslardan foydalanishni tormoz tarmoqlarida optimallashtirish uchun moslashuv nazariyasiga asoslangan hal qiluvchi vositani ishlatadi. Inferentsiya oʻtkazuvchanligini optimallashtiradigan usullar orasida DNN jarrohligi bor, u oraliq DNN qatlam chiqishlarining kichikroq oʻlchamidan foydalanib, chekka va bulut oʻrtasida inferentsiya hisoblashni boʻlaklaydi. Har ikkala algoritm ham ikkita boʻlak hosil qiladi, biri chekkada va ikkinchisi bulutda. Mobil chekka-bulut sohasidagi boshqa tadqiqotlar umumiy inferentsiya oʻtkazuvchanligini yanada tezlashtirish uchun bulutda koʻp oqimli hisoblashni ham oʻz ichiga oladi. Ikkinchi boʻlak inferentsiya hisoblash uchun bulutga tayanish yaxshi tarmoq ulanishini talab qiladi, bu baʼzi izolyatsiyalangan chekka joylashuvlarning yomon ulanishi bilan ishonchsiz boʻlishi mumkin. Edgent oldingi metodologiyani mobil qurilmalar va mavjud chekka serverlarga moslashtiradi, bulutga yuklash cheklovini yumshatadi. Ushbu usul maʼlum bir oʻqitish va model arxitekturasiga bogʻliq va hali ham boʻlaklashni ikkita boʻlak bilan cheklaydi. Boshqa usullar bir nechta ajratish nuqtalarini koʻrib chiqqan, , IONN , u kechikish va energiya sarfini kamaytirish uchun boʻlaklash muammosini tasvirlaydi, shuningdek, modellarni chekka serverlarga yuklash vaqtini hisobga oladi. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) masalan. [[15]](javascript:void()) Ushbu usullar yoki masofaviy bulutlar bilan oʻzaro aloqada boʻladi yoki boʻlaklashning tabiatida cheklangan, , faqat ikki qismga boʻlishni talab qiladi, koʻp oqimli yoki boʻlmagan holda. Yuqorida sanab oʻtilgan DNN boʻlaklash tadqiqotlaridan hech biri ham bir nechta ajratish nuqtalarini ham, koʻp oqimni ham hisobga olmaydi. masalan. B. Xulosalar Ushbu maqola koʻp oqimli maʼlumotlarni real vaqt rejimida DNN hisoblashning inferentsiya oʻtkazuvchanligini maksimal darajaga koʻtarish uchun taqsimlangan inferentsiya freymvorkini taqdim etadi, bir nechta ajratish nuqtalari va koʻp oqimli boʻlaklash bilan. Ushbu maqolaning hissalari quyidagilardir: Taqsimlangan DNNning hisoblash va uzatish kechikishlarini hisoblash uchun model, bu orqali maʼlum bir boʻlaklash sxemasining kutilayotgan inferentsiya oʻtkazuvchanligini baholash mumkin. DNN boʻlaklash uchun optimallashtirish muammosini formulasi, bu muammoni hal qilish uchun filial va chegaralash hal qiluvchi vositasini amalga oshirish va uning murakkabligini baholash. Turli tarmoq va DNN xususiyatlari bilan mumkin boʻlgan ishlash yaxshilanishlarini oʻrganish uchun simulyatsiyalar. Optimal boʻlaklashlarning mavjud boʻlishiga olib keladigan tarmoq va DNN xususiyatlaridagi deterministik mintaqalarni aniqlash va bunday yechimlarni hisoblash uchun sarflangan xarajat, , DNN boʻlaklash foydali boʻlgan sharoitlar. yaʼni Simulyatsiyalarda aniqlangan mintaqalarni, shuningdek, bashoratning aniqligini va bir jinsli va xilma-xil muhitlarda yakuniy inferentsiya oʻtkazuvchanligining yaxshilanishini koʻrsatuvchi eksperimental natijalar. Ushbu maqolaning qolgan qismida, chalkashliklarni oldini olish uchun, boʻlaklangan chuqur neyron tarmogʻi deb ataladi va soʻzi asosiy fizik aloqa tarmogʻini bildiradi. DNN tarmoq C. Maqola uchun reja Ushbu maqolaning qolgan qismi quyidagicha tashkil etilgan. Chuqur Oʻrganishning asoslarini va ushbu tadqiqotda DNNlar qanday tasvirlanganligini taqdim etadi. inferentsiya va uzatish kechikishlarini bashorat qilish usullarini batafsil bayon qiladi, ular uchun zarur boʻlib, u optimallashtirish muammosini va filial va chegaralash algoritmini boʻlaklash qarorlarini qabul qilish uchun belgilaydi. filial va chegaralash algoritmining ishlashini va murakkabligini miqdoriy baholash uchun simulyatsiya natijalarini taqdim etadi, shuningdek, bir jinsli tarmoqda inferentsiya oʻtkazuvchanligini oshiradigan boʻlaklashning mavjud boʻlishiga olib keladigan sharoitlarni. V-boʻlim simulyatsiyalarini tasdiqlaydi va xilma-xil eksperimental oʻrnatishda inferentsiya oʻtkazuvchanligining yaxshilanishini koʻrsatuvchi eksperimental natijalarni taqdim etadi. Nihoyat, natijalarni muhokama qiladi va ushbu usulning kengroq qoʻllanilishini kengaytiradi. II-boʻlim III-boʻlim IV-boʻlim V-boʻlim VI-boʻlim VII-boʻlim II-BOʻLIM. Asoslar: Chuqur Oʻrganish Mashinani Oʻrganish sohasida, Chuqur Oʻrganish (CHO) DNNlardan foydalanishga asoslangan usullarni bildiradi, , bitta dan ortiq yashirin qatlamni oʻz ichiga olgan sunʼiy neyron tarmoqlari (yoki tegishli mashinani oʻrganish usullari). Chuqur oʻrganish arxitekturalariga eng dastlabki murojaatlardan biri 1967-yilda nashr etilgan , ammo 2010-yillarga qadar CHO mashhur boʻlmadi, avval nutqni tanishda, keyin esa tasvirlarda obʼektni aniqlashda, yuqori oʻlchamli maʼlumotlardagi murakkab munosabatlarni ushlash qobiliyati uchun. Chuqur Oʻrganish 2022-yilda SI ilovalarining koʻpchiligi sifatida baholanmoqda, 75% dan ortiq tashkilotlar klassik usullardan foydalanish mumkin boʻlgan ilovalar uchun DNNlardan foydalanadi. CHO usullari “ ” sifatida belgilangan . Ushbu algebraik sxemalar odatda qatlamlarga tashkil etiladi, ular hisoblashdagi qadamlarni hosil qiladi. "Chuqur" atamasi bitta qatlamdan ortiq algoritmlarni bildiradi. yaʼni [[16]](javascript:void()) 4 gipotezalarning murakkab algebraik sxemalar shaklida boʻlgan mashinani oʻrganish usullari, sozlanadigan ulanish kuchiga ega [[17]](javascript:void()) Asosiy DNN tuzilmalari ikkita: oldinga yoʻnaltirilgan neyron tarmoqlari va takrorlanuvchi neyron tarmoqlari. Har ikkala turdagi DNN ham hisoblash graflari sifatida tasvirlanishi mumkin, asosiy farq shundaki, oldinga yoʻnaltirilgan tarmoqlar toʻgʻridan-toʻgʻri siklsiz graflar (DAGs) sifatida tasvirlanishi mumkin, takrorlanuvchi neyron tarmoqlari esa tsikllarni oʻz ichiga olishi mumkin. Takrorlanuvchi neyron tarmoqlari maʼlumotlar ketma-ketligi uchun qurilgan, bu yerda har bir maʼlumot nuqtasi ketma-ketlikdagi oldingi maʼlumot nuqtalariga nisbatan potentsial bogʻliqlikka ega, oldinga yoʻnaltirilgan neyron tarmoqlari esa maʼlumot ketma-ketligidagi nuqtalar orasidagi oʻzaro aloqalarni hisobga olmaydi. Ushbu maqolaning qolgan qismi oldinga yoʻnaltirilgan DNNlar holatini koʻrib chiqadi. 5 III-BOʻLIM. Taqsimlangan Inferentsiya Modellashtirish Ushbu boʻlim DNN va tarmoq xususiyatlarini hisoblash kechikishlarini, uzatish kechikishlarini va maʼlum bir boʻlaklash yechimining yakuniy inferentsiya oʻtkazuvchanligini bashorat qilish uchun modelni taqdim etadi. A. DNN va Tarmoq Tasviri N qatlamli oldinga yoʻnaltirilgan DNN, L=(L1,…,LL) qatlamlari boʻlgan DAG GA=(L,E) sifatida modellashtiriladi. Qatlamlar Li va Lj orasidagi ulanishlar (Li,Lj)∈E qatlamlardir. Har bir qatlam Li uchun ci hisoblash isteʼmoli bilan bogʻliq, bu qatlam orqali toʻgʻridan-toʻgʻri oʻtishni hisoblash uchun zarur boʻlgan floating-point operatsiyalar soni bilan oʻlchanadi. Qatlamlar (Li,Lj) uchun Li va Lj orasida baytlar bilan oʻlchanadigan maʼlumotlar hajmini tashkil etuvchi sij vazni berilgan. Fizik tarmoq N=(N1,…,NN) hisoblash tugunlari toʻplami va tugunlar orasidagi aloqalar V toʻplami boʻlgan toʻliq ulangan G=(N,V) grafigi sifatida modellashtiriladi. Hisoblash tugunlari N1,…,NN ning mos ravishda η1,…,ηN ishlov berish tezligiga ega ekanligi taxmin qilinadi, bu floating-point operatsiyalar sonida sekundiga oʻlchanadi. Nihoyat, ikkita qoʻshni tugun Na va Nb orasidagi ulanish tezligi θa,b deb nomlanadi, bu baytlar sonida sekundiga oʻlchanadi. Har bir tugun Ni oʻziga cheksiz tezlik bilan ulangan, loopback ulanishini ifodalash uchun va ulanishlar simmetrik deb taxmin qilinadi, , θa,b=θb,a. yaʼni Boʻlaklashlar P:L→N xaritalari sifatida belgilanadi, , boʻlaklash har bir DNN qatlamiga tugun raqamini beradi. Boʻlaklash (N×L) oʻlchamdagi P matritsasi sifatida tasvirlanishi mumkin, N tarmoqdagi tugunlar soni va L DNN qatlamlari soni va Pa,i=1 agar qatlam Li tugunda Na joylashtirilgan boʻlsa, 0 aks holda. 2-rasmdagi misolda L=7 qatlam va N=2 hisoblash tugunlari, {L1,L2,L3,L6,L7} qatlamlari bilan tugun N1 da, va {L4,L5} qatlamlari bilan tugun N2 da joylashtirilgan boʻlak quyidagicha ifodalanadi: yaʼni Maʼlum bir boʻlaklash boʻyicha, bir tugunda ketma-ket ishlaydigan ikkita ajratish nuqtasi orasidagi ketma-ket qatlamlar guruhi sifatida belgilanadi. Yuqoridagi misolda, N1 tuguni ikkita oqimni ishga tushiradi, birinchisi {L1,L2,L3} qatlamlarini, ikkinchisi esa {L6,L7} qatlamlarini oʻz ichiga oladi. oqim Ushbu belgilar aniqlangan holda, ushbu boʻlimning qolgan qismi inferentsiya ( ) va uzatish ( ) kechikishlari funksiyasi sifatida maʼlum bir boʻlaklash tomonidan erishilgan inferentsiya oʻtkazuvchanligining yopiq ifodasini hosil qiladi. III-B-boʻlim III-C-boʻlim B. Inferentsiya Kechikishini Bashorat Qilish Maʼlum bir boʻlaklashni hisobga olgan holda, ushbu boʻlim izolyatsiyalangan tugunda inferentsiya kechikishini koʻrib chiqadi. ci isteʼmoli bilan Li qatlamining hisoblashidan kelib chiqqan kechikish, Na tugunida hisoblash uchun, ηa ishlov berish tezligi bilan Tci(Na)=ci/ηa deb ifodalanadi. Agar tugun Na dagi ishlov berish tezligi ηa bilan koʻp oqimlarda ishlaydigan qatlamlar L⊂L toʻplami berilgan boʻlsa, inferentsiya kechikishini quyidagicha ifodalash mumkin: Ushbu ifoda DNNni qayta ishlash uchun zarur boʻlgan floating-point operatsiyalari soniga (FLOPs) asoslangan inferentsiya kechikishini baholashning birinchi tartibli taxminidir, yaʼni modeldagi koʻpaytirish-qoʻshish operatsiyalari soni. Chekka qurilmalarda inferentsiya kechikishini baholash ish vaqti optimallashtirishlari bilan murakkablashadi. nn-Meter kabi mavjud yechimlar FLOPs asosida inferentsiya kechikishini bashorat qiladi. Boshqa yechimlar kechikishni bashorat qilish uchun oldindan hisoblangan inferentsiya vaqtlarini oʻz ichiga olgan qidiruv jadvaliga tayanadi. Masalan, BRP-NAS ish vaqti model optimallashtirishlarini hisobga olgan holda inferentsiya kechikishlarini bashorat qilish uchun oldindan oʻqitilgan graf konvolyutsion tarmogʻidan foydalanadi. [[18]](javascript:void()) [[19]](javascript:void()) 1-tenglamada , ishlov beruvchilar oʻzlarining toʻliq quvvatidan foydalanishlari ham taxmin qilinadi, bu esa koʻp yadroli ishlov beruvchilar ularning yadroli ishlov berish tezligining yigʻindisiga teng boʻlgan ishlov berish tezligi bilan bir yadroli ishlov beruvchilar sifatida modellashtirilishini anglatadi. Shuningdek, hisoblash resursi oqimlar boʻylab teng taqsimlanishi taxmin qilinadi, , ishlov beruvchi har bir oqimga oʻz vaqtining teng qismini ajratadi. 1 yaʼni Barcha tugunlar boʻylab, eng yuqori kechikishga ega oqim taqsimlangan DNN uchun inferentsiya oʻtkazuvchanligini belgilaydi. Uzatish kechikishlarini chetlab oʻtgan holda, bu ushbu cheklovchi oqim maʼlumotlar freymini qayta ishlashni tugatgandan soʻng, u darhol keyingi birini qayta ishlashni boshlaydi degan maʼnoni anglatadi. Boshqa oqimlar ularning inferentsiya kechikishi ushbu maksimal kechikishdan past boʻlganligi sababli, keyingi maʼlumotlar freymini qayta ishlashdan oldin boʻsh vaqtga ega boʻladi, bu esa 1-rasmda koʻrsatilgan. Maʼlum bir boʻlaklash matritsasi P berilgan holda, inferentsiya kechikishlari