AI endi uchun tezroq ishlash uchun bulutga endi muhtoj emasligi sabablari

Mualliflar: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Abstrakt: Oqim maʼlumotlari uchun chuqur neyron tarmoq (DNN) inferensiyasi inferensiya oʻtkazish qobiliyati talablariga javob berish uchun hisoblash resurslarini talab qiladi. Biroq, kechikish va maxfiylikka sezgir chuqur oʻrganish ilovalari uzatish xarajatlari va uchinchi tomon bulut provayderlariga ishonchsizlik tufayli hisoblashni masofaviy bulutlarga yuklashni afzal koʻra olmaydi. Fayzli muhitda hisoblashni saqlab turgan holda ishlashni oshirish boʻyicha echimlar orasida apparatni tezlashtirish ogʻir boʻlishi mumkin va modelni optimallashtirish keng dizayn harakatlarini talab qiladi va shu bilan birga aniqlikni buzadi. DNNni boʻlaklash uchinchi qoʻshimcha yondashuvdir va chekka qurilmalar orasida inferensiya ish yukini taqsimlashni oʻz ichiga oladi, chekka tarmoq xususiyatlari va DNN tuzilishini hisobga olgan holda, inferensiya oʻtkazish qobiliyatini maksimal darajada oshirish maqsadida (soniya uchun inferensiyalar soni). Ushbu maqola koʻp yoʻlli taqsimlangan DNN sozlamalari uchun inferensiya va uzatish kechikishlarini bashorat qilish usulini taqdim etadi va inferensiya oʻtkazish qobiliyatini maksimal darajada oshirish uchun optimallashtirish jarayonini belgilaydi. Soʻngra hosil qilingan ishlash va murakkablikni miqdorini aniqlash uchun shox va chegara echuvchisi taqdim etiladi va tahlil qilinadi. Ushbu tahlil tezlashtirish mintaqasini aniqlashga olib keldi, bu DNNni boʻlaklash foydali boʻlgan sharoitlarda DNN va tarmoq xususiyatlarining deterministik sharoitlarini tavsiflaydi. Nihoyat, eksperimental natijalar simulyatsiyalarni tasdiqlaydi va namunaviy chekka sozlamalarda inferensiya oʻtkazish qobiliyatining yaxshilanishini koʻrsatadi. DNNni chekka joyda boʻlaklash oʻtkazish qobiliyatini tezlashtirish, shu bilan birga tarmoqdan foydalanishni va markazlashtirilgan serverlarga, masalan, bulutga boʻlgan kechikishni kamaytiradi. Kirish 2020-yilda ulangan qurilmalar har kuni taxminan 2,5 quintillion bayt maʼlumotlarni yaratgan. Bu kontekstda Sunʼiy Intellekt (SI) koʻplab sohalarda, jumladan, kompyuter koʻrishda obʼektni aniqlash, yuzni tanish, nutqni tanish, tabiiy tilni qayta ishlash yoki avtonom haydash kabi sohalarda doimiy oʻsib borayotgan maʼlumotlar hajmini eng yaxshi koʻra oladigan texnologiyalardan biridir. SI, va xususan, Chuqur Oʻrganish (ChO), katta hajmdagi maʼlumotlardan tashqari, sezilarli qayta ishlash quvvati va xotira imkoniyatlarini talab qiladi, bu esa bulutli hisoblashni SI ish yuklari uchun hosting yechimiga aylantiradi. Natijada, 2019-yilda SI vazifalarining 96% bulutda bajarilgan. 1 de facto 2 SI ilovalari kuchli kechikish cheklovlariga ega boʻlishi mumkin, , avtonom haydashda, ishlab chiqarishni nazorat qilishda yoki real vaqtda har qanday inferensiya real dunyo bilan oʻzaro aloqani oʻz ichiga oladi. Masalan, avtonom haydashda oʻrtacha javob vaqtlari 100 millisekunddan kam boʻlishi kerak , bu esa bulutga borish-kelish vaqtlarini bunday ilovalar uchun juda uzoq muddatga aylantiradi. Xuddi shunday, baʼzi ilovalar tarmoqda sezilarli ulanishdan foydalanishi mumkin, , kompyuter koʻrishda yuqori sifatli video qayta ishlash holatida, bu ularning bulutda ishlashini oldini oladi. Maʼlumotlar maxfiyligi siyosatlari yoki maʼlumotlarni himoya qilish qoidalari maʼlumotlarning maʼlum bir muhitdan chiqib ketishini taqiqlashi mumkin. Bu esa hisoblash vazifalarini maʼlumot markazlaridan chekka qurilmalarga yaqinroq, yaʼni maʼlumot manbalariga yaqin joyga koʻchirishni oʻz ichiga olgan chekka hisoblashda SI sozlamalarini ragʻbatlantiradi. masalan. [](javascript:void()) masalan. Ommaviy bulutlar bilan solishtirganda, chekka joy resurslar bilan cheklangan muhit boʻlib, muhim cheklovlarga ega , shu sababli chekka joy uchun SIni ishlab chiqish bulut uchun SIni ishlab chiqishdan tubdan farq qiladi. Maʼlumotlarni uning manbasiga yaqin joyda tahlil qilish qurilmaning past imkoniyatlari, mavjud resurslarning qatʼiysizligi va chekka tarmoqlarning oʻziga xosligi tufayli qiyin boʻlishi mumkin. Hisoblash quvvatini kamaytirish imkoniyatini kamaytirishni bildiradi, bu esa bulutdan chekka joyga ogʻir ish yuklarini koʻchirishni yanada murakkablashtiradi. Baʼzi ilovalarda, inferensiya oʻtkazish qobiliyati, , DNNning soniya uchun mumkin boʻlgan inferensiyalari, DNN aniqligi bilan bogʻliq boʻlishi mumkin, , video oqimlarida obʼektni kuzatish bilan, bu yerda inferensiya tezligini soniyada 15 dan 5 gacha kamaytirish F1 skorini kamaytirishi koʻrsatilgan__3__ obʼekt detektorining 10% ga . Boshqa soʻz bilan aytganda, past inferensiya oʻtkazish qobiliyatiga ega sozlamalar muhim maʼlumotlar yoʻqotilishiga olib kelishi mumkin, , video kuzatuv ilovalarida aniqlash yoʻqolishi. [](javascript:void()) yaʼni masalan. [](javascript:void()) masalan. Chekka resurslar bilan cheklangan tarmoqlarda ishlash talablarini qondirish uchun ikki asosiy usul mavjud: modelni siqish yoki apparatni tezlashtirish. neyron tarmoqlarini yengil, koʻpincha past samarali model versiyasiga kamaytirish va optimallashtirishni oʻz ichiga oladi. Standart model siqish usullariga pruning , , modeldagi keraksiz parametrlarni olib tashlash, kvantlash , , modelni saqlash uchun ajratilgan xotirani kamaytirish va bilim distillash , , kattaroq modeldan olingan bilimlar bilan kichikroq neyron tarmoqni oʻrgatish kiradi. Modelni optimallashtirish keng dizayn harakatlarini talab qiladi va modelning aniqligiga toʻsiq boʻlishi mumkin. chekka qurilmalarda energiya samaradorligi va yengil boʻlishi hamda yetarli ishlash bilan inferensiyani bajarish imkoniyatiga ega boʻlishini topishni oʻz ichiga oladi. Chekka joyda tezlashtirish uchun bir nechta turdagi apparat mavjud boʻlib, ular samaradorlik va oʻziga xoslik boʻyicha farq qiladi, ammo standart ishlov berish moslamalari umidlarni qondira olmaydi va ASIC kabi maxsus apparatlar amaliy va qimmatga ega boʻlishi aniqlangan . Modelni siqish [](javascript:void()) yaʼni [](javascript:void()) yaʼni [](javascript:void()) yaʼni Apparatni tezlashtirish [](javascript:void()) DNNni boʻlaklash bu ikki usul bilan bir qatorda, chekka tarmoqlardagi mavjud qurilmalar koʻpligidan foydalangan holda inferensiyani tezlashtirishning qoʻshimcha usuli hisoblanadi. DNNni boʻlaklash neyron tarmoqni qismlarga boʻlingan quvur sifatida koʻrib chiqishni va bu qismlarni chekka qurilmalar orasida taqsimlashni oʻz ichiga oladi. Bu qismlarni joylashtirish DNN va ostidagi tarmoq xususiyatlariga asoslanadi. DNNni boʻlaklash split nuqtalarini aniqlashga asoslanadi, bu esa modelni qismlarga ajratish nuqtalaridir. Ishlash vaqti davomida, qismlar ketma-ket ishlaydi, har biri keyingi qismga oraliq inferensiya natijalarini yuboradi. Bu esa har bir qism keyingi kiruvchi maʼlumotlarni qayta ishlashni boshlashiga imkon beradi, shu bilan birga boshqa qurilmalar yuklangan maʼlumotlarni qayta ishlashni davom ettiradi, shu bilan inferensiya oʻtkazish qobiliyatini yaxshilaydi, bu esa koʻrsatilgan. Ushbu maqolaning qolgan qismida, DNN boʻlaklash real vaqtda video oqimlarida inferensiya misoli orqali koʻrsatiladi. 1-rasmda A. Tegishli Ishlar DNNni boʻlaklash usullari, chekka bulutga yuklashdan kelib chiqqan holda, qayta ishlash kechikishi, energiya isteʼmoli, resurslardan foydalanish, xarajatlar yoki oʻtkazish qobiliyati kabi turli xil ishlash koʻrsatkichlarini optimallashtirishga qaratilgan. DNNni boʻlaklash optimallashtirish maqsadini belgilash uchun ushbu metrikalardan bir yoki bir nechtasini bogʻlashga asoslanadi va boʻlaklash sxemalarini topish uchun ushbu metrikadan foydalanadigan usulga asoslanadi. Masalan, Neurosurgeon kechikish va energiya isteʼmolini kamaytirish uchun yagona split nuqtasini qidiradi, birinchi qismni chekka joyda saqlab, ikkinchi qismni bulutga yuklaydi. IoT ilovalari ham energiya, kechikish va/yoki xarajatlarni optimallashtirish uchun SPSO-GA Particle Swarm Optimization (PSO) va Genetics Algorithm (GA)ni birlashtirgan holda, yoki DDPQN boʻlaklash sxemalarini topish uchun Deep Reinforcement Learningdan foydalangan holda bir nechta DNNlarni birgalikda boʻlaklash va yuklashni hisobga olgan. Boshqa misollar qatoriga DINA kiradi, u Integer Non Linear Programming (INLP) muammosini belgilaydi va tormoz va resurslardan foydalanishni tormoz tarmoqlarida optimallashtirish uchun moslashtirilgan teoriya asosidagi echuvchini ishlatadi. Inferensiya oʻtkazish qobiliyatini optimallashtiruvchi usullar DNN jarrohligi kiradi, bu esa oraliq DNN qatlam chiqishlarining kichikroq oʻlchamidan chekka joy va bulut orasida inferensiya hisoblashini boʻlaklash uchun foydalanadi. Har ikki algoritm ham ikkita qismni yaratadi, biri chekka joyda, ikkinchisi bulutda. Chekka bulut sohasi boʻyicha boshqa tadqiqotlar umumiy inferensiya oʻtkazish qobiliyatini yanada tezlashtirish uchun bulutda koʻp yoʻlli hisoblashni ham oʻz ichiga oladi. Ikkinchi qism inferensiya hisoblashini bulutga yuklashga tayanish yaxshi tarmoq ulanishini taxmin qiladi, bu esa baʼzi izolyatsiya qilingan chekka sozlamalarning yomon ulanishi bilan nomaʼlum boʻlishi mumkin. Edgent avvalgi metodologiyani mobil qurilmalar va mavjud chekka serverlarga moslashtiradi, bulutga yuklash cheklovini yumshatadi. Ushbu usul maʼlum bir oʻqitish va model arxitekturasiga bogʻlangan va boʻlaklashni hali ham ikkita qism bilan cheklaydi. Boshqa usullar bir nechta split nuqtalarini hisobga olgan, , IONN , bu kechikish va energiya isteʼmolini kamaytirish uchun boʻlaklash muammosini tavsiflaydi, shuningdek, modellarni chekka serverlarga yuklash vaqtini hisobga oladi. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) masalan. [](javascript:void()) Bu usullar masofaviy bulutlar bilan oʻzaro aloqada boʻladi yoki boʻlaklashning tabiatida cheklangan, , aynan ikkita qismga boʻlishni talab qiladi, koʻp yoʻllilik bilan yoki uning ishtirokisiz. Yuqorida sanab oʻtilgan DNN boʻlaklash tadqiqotlaridan hech biri bir nechta split nuqtalarini ham, koʻp yoʻllilikni ham hisobga olmaydi. masalan. B. Hisssalar Ushbu maqola koʻp split nuqtalari va koʻp yoʻlli boʻlaklash bilan real vaqtda DNN hisoblashining oqim maʼlumotlarida inferensiya oʻtkazish qobiliyatini maksimal darajada oshirish uchun taqsimlangan inferensiya tizimini taqdim etadi. Ushbu maqolaning hissalari quyidagilardan iborat: Taqsimlangan DNNning hisoblash va uzatish kechikishlarini hisoblash uchun model, buning orqali berilgan boʻlaklash sxemasining kutilgan inferensiya oʻtkazish qobiliyatini baholash mumkin. DNN boʻlaklash uchun optimallashtirish muammosini shakllantirish, ushbu muammo uchun shox va chegara echuvchisini amalga oshirish va uning murakkabligini baholash. Turli tarmoq va DNN xususiyatlari bilan mumkin boʻlgan ishlash yaxshilanishlarini oʻrganish uchun simulyatsiyalar. Optimal boʻlaklashlarning mavjud boʻlgan tarmoq va DNN xususiyatlarining deterministik mintaqalarini aniqlash va bunday yechimlarni hisoblash xarajati, yaʼni DNN boʻlaklash foydali boʻlgan sharoitlar. Simulyatsiyalarda aniqlangan mintaqalarni, shuningdek, bashorat qilish aniqligi va yakuniy inferensiya oʻtkazish qobiliyatini oshirishni bir hil va xilma-xil muhitlarda koʻrsatuvchi eksperimental natijalar. Ushbu maqolaning qolgan qismida, chalkashlikning oldini olish uchun, boʻlaklangan chuqur neyron tarmoq deb yuritiladi va termini ostidagi jismoniy aloqa tarmogʻini bildiradi. DNN tarmoq C. Maqola Tuzilishi Ushbu maqolaning qolgan qismi quyidagicha tashkil etilgan. Chuqur Oʻrganishning asosiy qismlarini va bu tadqiqotda DNNlar qanday tasvirlanganligini taqdim etadi. inferensiya va uzatish kechikishlarini bashorat qilish usullarini batafsil bayon qiladi, bu uchun zarur boʻlib, u optimallashtirish muammosini, shuningdek, boʻlaklash qarorlarini qabul qilish uchun shox va chegara algoritmini belgilaydi. shox va chegara algoritmining ishlashi va murakkabligini miqdorini aniqlash uchun simulyatsiya natijalarini taqdim etadi, shuningdek, bir hil tarmoqda inferensiya oʻtkazish qobiliyatini yaxshilaydigan boʻlaklashning mavjud boʻlishiga olib keladigan sharoitlarni. V-boʻlim simulyatsiyalarini tasdiqlovchi eksperimental natijalarni taqdim etadi va xilma-xil eksperimental sozlamada inferensiya oʻtkazish qobiliyatining yaxshilanishini koʻrsatadi. Nihoyat, natijalarni muhokama qiladi va ushbu usulning keng qoʻllanilishini kengaytiradi. II-boʻlim III-boʻlim IV-boʻlim V-boʻlim VI-boʻlim VII-boʻlim II-BOʻLIM. Asosiy Maʼlumotlar: Chuqur Oʻrganish Mashinalarni Oʻrganish sohasi doirasida, Chuqur Oʻrganish (ChO) DNNlardan foydalanishga asoslangan usullarni bildiradi, , bir nechta yashirin qatlamlarni oʻz ichiga olgan sunʼiy neyron tarmoqlar (yoki tegishli mashinalarni oʻrganish usullari). Chuqur oʻrganish arxitekturalariga eng qadimgi murojaatlardan biri 1967 yilda chop etilgan , ammo ChO kuchli tortishishni boshdan kechirgunga qadar, avval nutqni tanishda, keyin esa tasvirlarda obʼektni aniqlashda, yuqori oʻlchovli maʼlumotlardagi murakkab munosabatlarni ushlab turish qobiliyati tufayli, 2010-yillarga qadar davom etdi. Chuqur Oʻrganish 2022 yilda SI ilovalarining koʻp qismini tashkil etishi taxmin qilinmoqda, 75% dan ortiq tashkilotlar klassik usullardan foydalanish mumkin boʻlgan ilovalar uchun DNNlardan foydalanadilar. ChO usullari “ ” deb taʼriflangan. Bu algebraik sxemalar odatda qatlamlarga joylashtiriladi, ular hisoblashda qadamlarni tashkil qiladi. Ushbu termini bir nechta qatlamlarni oʻz ichiga olgan algoritmlarni bildiradi. yaʼni [](javascript:void()) 4 gipotezalar murakkab algebraik sxemalarning sozlanishi mumkin boʻlgan aloqa kuchlar shaklini oladigan mashinalarni oʻrganish usullari [](javascript:void()) chuqur Ikki asosiy DNN tuzilishi mavjud: oldinga yoʻnaltirilgan neyron tarmoqlar va qaytuvchi neyron tarmoqlar. Har ikkala turdagi DNNlar hisoblash graflari sifatida tasvirlanishi mumkin, asosiy farq shundaki, oldinga yoʻnaltirilgan tarmoqlar toʻgʻridan-toʻgʻri tsiklsiz graflar (DAG) sifatida tasvirlanishi mumkin, qaytuvchi neyron tarmoqlar esa tsikllarni oʻz ichiga olishi mumkin. Qaytuvchi neyron tarmoqlar maʼlumotlar ketma-ketliklari uchun qurilgan, bu yerda har bir maʼlumot nuqtasi ketma-ketlikdagi oldingi maʼlumot nuqtalariga nisbatan potentsial bogʻliqlikka ega boʻladi, oldinga yoʻnaltirilgan neyron tarmoqlar esa maʼlumot ketma-ketligidagi nuqtalar oʻrtasidagi oʻzaro taʼsirlarni hisobga olmaydi. Ushbu maqolaning qolgan qismida oldinga yoʻnaltirilgan DNNlar koʻrib chiqiladi. 5 III-BOʻLIM. Taqsimlangan Inferensiya Modellashtirish Ushbu Boʻlim DNN va tarmoq xususiyatlarini tasvirlash uchun modelni taqdim etadi, bu esa hisoblash kechikishlarini, uzatish kechikishlarini va berilgan boʻlaklash yechimining yakuniy inferensiya oʻtkazish qobiliyatini bashorat qilish imkonini beradi. A. DNN va Tarmoqni Tasvirlash N qatlamli oldinga yoʻnaltirilgan DNN, L=(L1,…,LL) DNN qatlamlari bilan DAG GA=(L,E) sifatida modellashtiriladi. Qatlamlar orasidagi ulanishlar (Li,Lj)∈E dir. Har bir Li qatlamiga ci hisoblash isteʼmoli biriktirilgan, bu qatlam orqali bir marta oldinga oʻtish uchun zarur boʻlgan floating-point operatsiyalari sonida oʻlchanadi. (Li,Lj) qatlamlariga Li va Lj orasidagi maʼlumotlar hajmini baytda ifodalovchi si,j ogʻirligi berilgan. Jismoniy tarmoq G=(N,V) grafigi sifatida modellashtirilgan, bu yerda N=(N1,…,NN) hisoblash tugunlari toʻplami va V tugunlar orasidagi ulanishlar toʻplamidir. Hisoblash tugunlari N1,…,NN mos ravishda η1,…,ηN ishlov berish tezliklariga ega ekanligi taxmin qilinadi, bu floating-point operatsiyalari sonida oʻlchanadi. Nihoyat, ikkita qoʻshni tugun Na va Nb orasidagi ulanish tezligi θa,b bayt sonida oʻlchanadi. Har bir Ni tuguni oʻziga cheksiz tezlikka ega boʻlgan ulanish bilan bogʻlangan, bu loopback ulanishini ifodalaydi va ulanishlar simmetrik deb taxmin qilinadi, yaʼni θa,b=θb,a . Boʻlaklashlar P:L→N xaritalari sifatida belgilanadi, yaʼni boʻlaklash har bir DNN qatlamiga tugun raqamini beradi. Boʻlaklash N×L oʻlchamidagi P matritsasi sifatida tasvirlanishi mumkin, bu yerda N tarmoqdagi tugunlar soni va L DNN qatlamlari soni va Pa,i=1 agar Li qatlam Na tuguniga joylashtirilgan boʻlsa, 0 aks holda. 2-rasmdagi misolda, L=7 qatlam va N=2 hisoblash tugunlari bilan, qatlamlar {L1,L2,L3,L6,L7} N1 tugunida, va qatlamlar {L4,L5} N2 tugunida joylashtirilgan boʻlaklash quyidagicha ifodalanadi: Berilgan boʻlaklash boʻyicha, bir bu ikki split nuqtalari orasidagi ketma-ket qatlamlar guruhi boʻlib, bir xil tugunda ketma-ket ishlaydi. Yuqoridagi misolda, N1 tuguni ikkita threadni ishga tushiradi, birinchisi {L1,L2,L3} qatlamlarini, ikkinchisi esa {L6,L7} qatlamlarini oʻz ichiga oladi. thread Ushbu belgilar aniqlangan holda, ushbu Boʻlimning qolgan qismi inferensiya (III-B-boʻlimi) va uzatish (III-C-boʻlimi) kechikishlari funktsiyasi sifatida berilgan boʻlaklash tomonidan erishilgan inferensiya oʻtkazish qobiliyatining yopiq ifodasini hosil qiladi. B. Inferensiya Kechikishini Bashorat qilish Berilgan boʻlaklash boʻyicha, ushbu Boʻlim izolyatsiyalangan tugunda inferensiya kechikishini bashorat qilishni koʻrib chiqadi. Li qatlamini hisoblash natijasida yuzaga keladigan kechikish ci, Na tugunida hisoblash uchun, ηa ishlov berish tezligi bilan Tci(Na)=ci/ηa sifatida ifodalanadi. Na tugunida ishlov berish tezligi ηa boʻlgan barcha threadlarda ishlaydigan L′⊂L qatlamlar toʻplami berilgan boʻlsa, inferensiya kechikishi quyidagicha ifodalanishi mumkin: Bu ifoda DNNni qayta ishlash uchun zarur boʻlgan floating-point operatsiyalari (FLOP) soniga asoslangan inferensiya kechikishini baholashning birinchi tartibli taxminidir, yaʼni modeldagi koʻpaytirish-qoʻshish operatsiyalari soni. Chekka qurilmalarda inferensiya kechikishini baholash ish vaqtini optimallashtirish bilan murakkablashadi. nn-Meter kabi mavjud yechimlar FLOPs asosida inferensiya kechikishini bashorat qiladi. Boshqa yechimlar kechikish inferensiyasi uchun oldindan hisoblangan inferensiya vaqtlarini oʻz ichiga olgan qidiruv jadvaliga tayanadi. Masalan, BRP-NAS ish vaqtini optimallashtirishni hisobga olgan holda inferensiya kechikishlarini bashorat qilish uchun oldindan oʻqitilgan graf konvolyutsion tarmogʻidan foydalanadi. [](javascript:void()) [](javascript:void()) 1-tenglamada, protsessorlar oʻzlarining toʻliq quvvatidan foydalanishlari taxmin qilinadi, bu esa koʻp yadroli protsessorlarning yadrolarining umumiy tezligiga teng boʻlgan tezlikka ega yagona yadroli protsessorlar sifatida modellashtirilishini bildiradi. Shuningdek, hisoblash resursi threadlar orasida teng taqsimlanganligi taxmin qilinadi, yaʼni protsessor har bir threadga vaqtining bir xil qismini ajratadi. 1-tenglamada Barcha tugunlar boʻylab, eng yuqori kechikishga ega boʻlgan thread taqsimlangan DNN uchun inferensiya oʻtkazish qobiliyatini belgilaydi. Uzatish kechikishlarini hisobga olmagan holda, bu cheklovchi thread maʼlumotlar freymini hisoblashni tugatgandan soʻng, u keyingi freymni toʻgʻridan-toʻgʻri qayta ishlashni boshlaydi degan maʼnoni anglatadi. Boshqa threadlar oʻzlarining inferensiya kechikishlari bu maksimal kechikishdan pastroq boʻlganligi sababli, keyingi maʼlumot freymini qayta ishlashdan oldin boʻsh vaqtga ega boʻladilar, bu esa koʻrsatilgan. 1-rasmda Boʻlaklash matritsasi P berilgan boʻlsa, inferensiya kechikishlari Tc hajmi N boʻlgan yagona vektor sifatida ifodalanishi mumkin, bu yerda a-chi komponent Na tugunida eng yuqori thread inferensiya kechikishidir, , Tca=Tc(Na) : yaʼni bu yerda H tugun tezliklari teskarisi diagonal matritsasi H=diag(η