რატომ აღარ სჭირდება თქვენს AI-ს ღრუბელი უფრო სწრაფად მუშაობისთვის

```html ავტორები: თომას ფელტინი ლეო მარჩო ხუან-ანტონიო კორდერო-ფუერტესი ფრენკ ბროკნერსი თომას ჰ. კლაუზენი რეზიუმე: მონაცემთა ნაკადის ღრმა ნეირონული ქსელის (DNN) დასკვნა მოითხოვს გამოთვლით რესურსებს, რათა დააკმაყოფილოს დასკვნის გამტარუნარიანობის მოთხოვნები. თუმცა, შეყოვნებისა და კონფიდენციალობისადმი მგრძნობიარე ღრმა სწავლის აპლიკაციებს არ შეუძლიათ გამოთვლების გადატანა დისტანციურ ღრუბლებში, გადაცემის ხარჯებისა და მესამე მხარის ღრუბლის პროვაიდერებისადმი ნდობის ნაკლებობის გამო. გადაწყვეტილებებს შორის, რომლებიც ზრდის შესრულებას შეზღუდულ გარემოში გამოთვლების შენარჩუნებისას, აპარატურის აჩქარება შეიძლება იყოს დამღლელი, ხოლო მოდელის ოპტიმიზაცია მოითხოვს ვრცელ დიზაინის ძალისხმევას, რაც ამცირებს სიზუსტეს. DNN დაყოფა არის მესამე დამატებითი მიდგომა და მოიცავს დასკვნის სამუშაო დატვირთვის განაწილებას რამდენიმე ხელმისაწვდომი კიდე მოწყობილობის მეშვეობით, კიდე ქსელის თვისებებისა და DNN სტრუქტურის გათვალისწინებით, მიზნად ისახავს დასკვნის გამტარუნარიანობის მაქსიმალურ ზრდას (ინფექციების რაოდენობა წამში). ეს ნაშრომი წარმოადგენს მეთოდს მრავალძალიანი დისტრიბუციული DNN დანადგარების დასკვნისა და გადაცემის შეყოვნების პროგნოზირებისთვის და განსაზღვრავს ოპტიმიზაციის პროცესს დასკვნის გამტარუნარიანობის მაქსიმალური ზრდისთვის. შემდეგ წარმოდგენილია და გაანალიზებულია Branch and Bound ამომხსნელი, მიღწეული შესრულებისა და სირთულის რაოდენობრივი შეფასებისთვის. ამ ანალიზმა განაპირობა აჩქარების რეგიონის განსაზღვრა, რომელიც აღწერს დეტერმინისტულ პირობებს DNN-ისა და ქსელის თვისებებზე, რომელთა პირობებშიც DNN დაყოფა მომგებიანია. ბოლოს, ექსპერიმენტული შედეგები ადასტურებს სიმულაციებს და აჩვენებს დასკვნის გამტარუნარიანობის გაუმჯობესებას კიდე დანადგარების ნიმუშებში. DNN დაყოფა კიდეზე აჩქარებს დასკვნის გამტარუნარიანობას, ამცირებს გამტარობის გამოყენებას და შეყოვნებას ცენტრალიზებულ სერვერებთან, მაგ., ღრუბელში. შესავალი დაკავშირებულმა მოწყობილობებმა 2020 წელს ყოველდღიურად შექმნეს დაახლოებით 2.5 კვინტილიონი ბაიტი მონაცემები. ამ კონტექსტში, ხელოვნური ინტელექტი (AI) არის ერთ-ერთი ტექნოლოგია, რომელიც საუკეთესოდ უმკლავდება მუდმივად მზარდ მონაცემთა რაოდენობას, ისეთ სფეროებში, როგორიცაა ობიექტების ამოცნობა კომპიუტერულ ხედვაში, სახის ამოცნობა, მეტყველების ამოცნობა, ბუნებრივი ენის დამუშავება ან ავტონომიური მართვა. AI, და კერძოდ ღრმა სწავლა (DL), მოითხოვს, დიდი რაოდენობით მონაცემების გარდა, მნიშვნელოვან შესაძლებლობებს დამუშავების ძალაუფლებისა და მეხსიერების კუთხით, რაც ღრუბლოვან გამოთვლებს აქცევს AI სამუშაო დატვირთვების მასპინძლობის დე-ფაქტო გადაწყვეტად. შესაბამისად, 2019 წელს AI ამოცანების 96% ღრუბელში სრულდებოდა. 1 2 AI აპლიკაციებს შეიძლება ჰქონდეთ ძლიერი შეზღუდვები შეყოვნებასთან დაკავშირებით, მაგ., ავტონომიურ მართვაში, წარმოების მონიტორინგში ან ნებისმიერ რეალურ დროში დასკვნაში, რომელიც მოიცავს რეალურ სამყაროსთან ურთიერთქმედებას. მაგ., ავტონომიური მართვისთვის საშუალო პასუხის დრო უნდა იყოს 100 მილიწამზე ნაკლები , რაც ღრუბელში მრგვალი მოგზაურობის დროებს ძალიან დიდს ხდის ასეთი აპლიკაციებისთვის. მსგავსად, ზოგიერთმა აპლიკაციამ შეიძლება გამოიწვიოს ქსელში მნიშვნელოვანი არხის გამოყენება, მაგ., კომპიუტერული ხედვის მაღალი ხარისხის ვიდეოს დამუშავების შემთხვევაში, რაც ხელს უშლის მათ ღრუბელში გაშვებას. მონაცემთა კონფიდენციალობის პოლიტიკამ ან მონაცემთა დაცვის რეგულაციებმა ასევე შეიძლება აკრძალოს მონაცემების კონკრეტული გარემოების დატოვება. ეს ხელს უწყობს AI-ის განლაგებას კიდე გამოთვლებში, რომელიც მოიცავს გამოთვლითი ამოცანების გადატანას მონაცემთა ცენტრებიდან კიდე მოწყობილობებთან უფრო ახლოს, ანუ მონაცემთა წყაროებთან სიახლოვეს. [[1]](javascript:void()) საზოგადოებრივ ღრუბლებთან შედარებით, კიდე არის რესურსებით შეზღუდული გარემო მნიშვნელოვანი შეზღუდვებით , და ამიტომ AI-ის განვითარება კიდეისთვის ფუნდამენტურად განსხვავდება AI-ის განვითარებისგან ღრუბლისთვის. მონაცემების ანალიზი წყაროსთან ახლოს შეიძლება იყოს რთული მოწყობილობების დაბალი შესაძლებლობების, ხელმისაწვდომი რესურსების არაელასტიურობისა და კიდე ქსელების ჰეტეროგენურობის გამო. გამოთვლითი სიმძლავრის შემცირება ნიშნავს მიღწეული დასკვნის გამტარუნარიანობის შემცირებას, რაც კიდევ უფრო ართულებს დიდი სამუშაო დატვირთვების გადატანას ღრუბლიდან კიდეზე. ზოგიერთ აპლიკაციაში, დასკვნის გამტარუნარიანობა, ანუ DNN-ის წამში მიღწევადი დასკვნები, შეიძლება დაკავშირებული იყოს DNN სიზუსტესთან, მაგ., ვიდეო ნაკადებში ობიექტების თვალთვალისას, სადაც დასკვნის სიჩქარის 15-დან 5-მდე წამში შემცირებამ აჩვენა ობიექტის დეტექტორის F1 ქულის__3__ 10%-ით შემცირება . სხვა სიტყვებით რომ ვთქვათ, დაბალი დასკვნის გამტარუნარიანობის მქონე დანადგარებმა შეიძლება გამოიწვიოს კრიტიკული ინფორმაციის დაკარგვა, მაგ., ვიდეო მეთვალყურეობის აპლიკაციებში აღმოჩენების დაკარგვა. [[2]](javascript:void()) [[3]](javascript:void()) არსებობს ორი ძირითადი ხელმისაწვდომი მეთოდი, რათა დავაკმაყოფილოთ შესრულების მოთხოვნები შეზღუდულ კიდე ქსელებზე: მოდელის შეკუმშვა ან აპარატურის აჩქარება. მოიცავს ნეირონული ქსელების შემცირებას და ოპტიმიზაციას მოდელის მსუბუქ, ხშირად დაბალი ხარისხის, ვერსიამდე. სტანდარტული მოდელის შეკუმშვის მეთოდები მოიცავს ჩახშობას , ანუ მოდელში არასაჭირო პარამეტრების მოხსნას, კვანტიზაციას , ანუ მოდელის შესანახად გამოყოფილი მეხსიერების შემცირებას და ცოდნის დისტილაციას , ანუ მცირე ნეირონული ქსელის მომზადებას უფრო დიდი ქსელისგან ამოღებული ცოდნის გამოყენებით. მოდელის ოპტიმიზაცია მოითხოვს ვრცელ დიზაინის ძალისხმევას და შეიძლება იყოს დაბრკოლება მოდელის სიზუსტისთვის. კიდე მოწყობილობებზე გულისხმობს აპარატურის პოვნას, რომელიც შეიძლება იყოს როგორც ენერგოეფექტური, ასევე მსუბუქი, ხოლო ჯერ კიდევ საკმარისი შესრულებით დასკვნის გაშვების უნარით. არსებობს სხვადასხვა ტიპის აპარატურა აჩქარებისთვის კიდეზე, რომლებიც განსხვავდება ეფექტურობითა და სპეციფიკურობით, მაგრამ სტანდარტული საპროცესო ერთეულები ვერ აკმაყოფილებენ მოლოდინებს და სპეციალიზებული აპარატურა, როგორიცაა ASIC, აღმოჩნდა არაპრაქტიკული და ძვირი . მოდელის შეკუმშვა [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) აპარატურის აჩქარება [[7]](javascript:void()) DNN დაყოფა არის დამატებითი მეთოდი დასკვნის აჩქარებისთვის, რომელიც იყენებს კიდე ქსელებზე არსებული მოწყობილობების სიმრავლეს გამოთვლითი სამუშაო დატვირთვის გასანაწილებლად - რისი გამოყენებაც შესაძლებელია ცალკე, ან ორი სხვა მეთოდთან ერთად. DNN დაყოფა მოიცავს ნეირონული ქსელის მილსადენად მიჩნევას, რომელიც იყოფა ნაწილებად და ამ ნაწილების განაწილებას კიდე მოწყობილობებზე. ამ ნაწილების განლაგება ეფუძნება როგორც DNN-ის, ასევე ქვემდებარე ქსელის მახასიბათებლებს. DNN დაყოფა ეფუძნება გაყოფის წერტილების იდენტიფიკაციას, რომლებიც მოდელის გრაფიკში წერტილებია, სადაც მოდელი იყოფა ნაწილებად. გაშვების დროის განმავლობაში, ნაწილები თანმიმდევრულად მუშავდება, თითოეული აგზავნის შუალედურ დასკვნის შედეგებს შემდეგ ნაწილში. ეს საშუალებას აძლევს თითოეულ ნაწილს დაიწყოს შემდეგი შეყვანის მონაცემების დამუშავება, ხოლო სხვა მოწყობილობები აგრძელებენ გადაგზავნილი მონაცემების დამუშავებას, რითაც უმჯობესდება დასკვნის გამტარუნარიანობა, როგორც ეს ნაჩვენებია -ში. ამ ნაშრომის დარჩენილ ნაწილში, DNN დაყოფა ილუსტრირებულია ვიდეო ნაკადებში რეალურ დროში დასკვნის მაგალითით. სურათ 1 A. მონათესავე ნაშრომები DNN დაყოფის მეთოდები, რომლებიც წარმოიქმნება მობილური კიდე-ღრუბლის გადატვირთვისგან, ცდილობენ ოპტიმიზაცია მოახდინონ სხვადასხვა შესრულების ინდიკატორებზე, როგორიცაა გამოთვლითი შეყოვნების, ენერგიის მოხმარების, რესურსების გამოყენების, ღირებულების ან გამტარუნარიანობის. DNN დაყოფა ეფუძნება ამ მეტრიკებიდან ერთის ან რამდენიმეს ასოციაციას ოპტიმიზაციის მიზნის განსაზღვრისთვის და მეთოდს, რომელიც იყენებს ამ მეტრიკას დაყოფის სქემების მოსაძებნად. მაგ., Neurosurgeon ეძებს ერთ გაყოფის წერტილს, პირველი ნაწილის კიდეზე დატოვებით და მეორე ნაწილის ღრუბელში გადატვირთვით, რათა მინიმუმამდე დაიყვანოს შეყოვნებისა და ენერგიის მოხმარება. IoT აპლიკაციებში ასევე განიხილეს რამდენიმე DNN-ის ერთობლივი დაყოფა და გადატვირთვა ენერგიის, დაგვიანებისა და/ან ხარჯების ოპტიმიზაციისთვის, სხვადასხვა ამომხსნელების გამოყენებით, როგორიცაა SPSO-GA რომელიც აერთიანებს ნაწილაკთა გროვის ოპტიმიზაციას (PSO) და გენეტიკურ ალგორითმს (GA), ან DDPQN რომელიც იყენებს ღრმა სწავლის გამაძლიერებელს დაყოფის სქემების მოსაძებნად. სხვა მაგალითები მოიცავს DINA , რომელიც განსაზღვრავს მთელ რიცხვიან არა-ხაზოვან პროგრამირების (INLP) პრობლემას და იყენებს დამაკავშირებელი თეორიაზე დაფუძნებულ ამომხსნელს, დაგვიანებისა და რესურსების გამოყენების ოპტიმიზაციისთვის ნისლის ქსელებში. დასკვნის გამტარუნარიანობის ოპტიმიზაციის მეთოდები მოიცავს DNN ქირურგიას , რომელიც იყენებს შუალედური DNN ფენის გამომავალი მონაცემების მცირე ზომას, რათა დაყოს დასკვნის გამოთვლები კიდესა და ღრუბელს შორის. ორივე ალგორითმი ქმნის ორ ნაწილს, ერთი კიდეზე და მეორე ღრუბელში. სხვა კვლევები მობილური კიდე-ღრუბლის სფეროში ასევე მოიცავს მრავალძალიან გამოთვლებს ღრუბელში, რათა დააჩქაროს მთლიანი დასკვნის გამტარუნარიანობა. მეორე ნაწილის დასკვნითი გამოთვლისთვის ღრუბელზე დაყრდნობა ვარაუდობს კარგ ქსელურ კავშირს, რომელიც შეიძლება იყოს არასანდო ზოგიერთი იზოლირებული კიდე დანადგარის ცუდი კავშირის გამო. Edgent ითავსებს წინა მეთოდოლოგიას მობილურ მოწყობილობებსა და ხელმისაწვდომ კიდე სერვერებზე, ამცირებს ღრუბელში გადატვირთვის შეზღუდვას. ეს მეთოდი დაკავშირებულია კონკრეტულ სასწავლო და მოდელურ არქიტექტურასთან და მაინც ზღუდავს დაყოფას ორ ნაწილად. სხვა მეთოდები განიხილავდნენ მრავალ გაყოფის წერტილს, მაგ., IONN , რომელიც აღწერს დაყოფის პრობლემას შეყოვნებისა და ენერგიის მოხმარების შესამცირებლად, ასევე ითვალისწინებს მოდელების კიდე სერვერებზე ატვირთვის დროს. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) ეს მეთოდები ან ურთიერთქმედებენ დისტანციურ ღრუბლებთან, ან შეზღუდულია დაყოფის ბუნებით, მაგ., მოთხოვნით იყოფა ზუსტად ორ ნაწილად, მრავალძალიანობით ან მის გარეშე. არცერთი ჩამოთვლილი DNN დაყოფის კვლევა არ ითვალისწინებს მრავალ გაყოფის წერტილს და მრავალძალიანობას. B. წვლილი ეს ნაშრომი წარმოადგენს დისტრიბუციულ დასკვნის ჩარჩოს, რათა მაქსიმალურად გაიზარდოს მონაცემთა ნაკადის რეალურ დროში DNN გამოთვლის დასკვნის გამტარუნარიანობა, მრავალი გაყოფის წერტილითა და მრავალძალიანი დაყოფით. ამ ნაშრომის წვლილი არის შემდეგი: მოდელი გამოთვლითი და გადაცემის შეყოვნებისთვის დისტრიბუციული DNN-ისა, რომლის მეშვეობითაც შეიძლება შეფასდეს მოცემული დაყოფის სქემის მოსალოდნელი დასკვნის გამტარუნარიანობა. DNN დაყოფისთვის ოპტიმიზაციის პრობლემის ფორმულირება, ამ პრობლემისთვის Branch and Bound ამომხსნელის იმპლემენტაცია და მისი სირთულის შეფასება. სიმულაციები, რათა გამოვიკვლიოთ შესაძლო შესრულების გაუმჯობესებები ცვლადი ქსელური და DNN თვისებებით. დეტერმინისტული რეგიონების იდენტიფიკაცია ქსელურ და DNN თვისებებში, რომლებიც იწვევს ოპტიმალური დაყოფის არსებობას და ასეთი გადაწყვეტილებების გამოსათვლელ ხარჯებს, ანუ პირობებს, რომელთა მიხედვითაც DNN დაყოფა მომგებიანია. ექსპერიმენტული შედეგები, რომლებიც ასახავს სიმულაციებში განსაზღვრულ რეგიონებს, აგრეთვე პროგნოზის სიზუსტესა და საბოლოო დასკვნის გამტარუნარიანობის აჩქარებას ერთგვაროვანი და ჰეტეროგენული გარემოსთვის. ამ ნაშრომის დარჩენილ ნაწილში, დაბნეულობის თავიდან ასაცილებლად, დაყოფილი ღრმა ნეირონული ქსელი მოხსენიებული იქნება როგორც , ხოლო ტერმინი აღნიშნავს ქვემდებარე ფიზიკურ საკომუნიკაციო ქსელს. DNN ქსელი C. ნაშრომის განლაგება ამ ნაშრომის დარჩენილი ნაწილი ორგანიზებულია შემდეგნაირად. წარმოადგენს ღრმა სწავლის ფონს და თუ როგორ არის წარმოდგენილი DNN-ები ამ კვლევაში. დეტალურად აღწერს დასკვნისა და გადაცემის შეყოვნების პროგნოზირების მეთოდებს, რომლებიც საჭიროა -ისთვის, რომელიც განსაზღვრავს ოპტიმიზაციის პრობლემას, აგრეთვე Branch and Bound ალგორითმს დაყოფის გადაწყვეტილებების მისაღებად. წარმოადგენს სიმულაციის შედეგებს, რათა რაოდენობრივად შეფასდეს Branch and Bound ალგორითმის შესრულება და სირთულე, აგრეთვე პირობები, რომლებიც იწვევს დაყოფას, რომელიც აუმჯობესებს დასკვნის გამტარუნარიანობას ერთგვაროვან ქსელში. წარმოადგენს ექსპერიმენტულ შედეგებს, რომლებიც ადასტურებენ -ის სიმულაციებს და აჩვენებს დასკვნის გამტარუნარიანობის გაუმჯობესებას ჰეტეროგენულ ექსპერიმენტულ სისტემაში. ბოლოს, განიხილავს შედეგებს და აფართოებს ამ მეთოდის ფართო გამოყენებადობას. თავი II თავი III თავი IV თავი V თავი VI თავი V თავი VII თავი II. ფონი: ღრმა სწავლა მანქანური სწავლის სფეროში, ღრმა სწავლა (DL) ეხება მეთოდებს, რომლებიც ეფუძნება DNN-ების გამოყენებას, ანუ ხელოვნური ნეირონული ქსელები (ან დაკავშირებული მანქანური სწავლების მეთოდები), რომლებიც შეიცავს ერთზე მეტ დამალულ ფენას. ღრმა სწავლის არქიტექტურების ერთ-ერთი ადრეული მითითება გამოქვეყნდა 1967 წელს , მაგრამ მხოლოდ 2010-იან წლებში მოიპოვა DL-მა იმპულსი, ჯერ მეტყველების ამოცნობაში, შემდეგ სურათებში ობიექტების ამოცნობაში, რადგან შეეძლო რთული ურთიერთობების დაჭერა მაღალგანზომილებიან მონაცემებში. ღრმა სწავლა შეადგენს AI აპლიკაციების უმეტესობას 2022 წელს, სადაც 75%-ზე მეტი ორგანიზაცია იყენებს DNN-ებს აპლიკაციებისთვის, რომლებსაც შეეძლოთ კლასიკური მეთოდების გამოყენება. DL მეთოდები განისაზღვრა, როგორც „ “ . ეს ალგებრული წრედები ჩვეულებრივ დალაგებულია ფენებად, რომლებიც ქმნიან გამოთვლის საფეხურებს. ტერმინი ეხება ალგორითმებს, რომლებიც შედგება ერთზე მეტი ფენისგან. [[16]](javascript:void()) 4 მანქანური სწავლების ტექნიკა, სადაც ჰიპოთეზები იღებს ფორმას რთული ალგებრული წრედების, რეგულირებადი კავშირის სიძლიერით [[17]](javascript:void()) ღრმა არსებობს ორი ძირითადი DNN სტრუქტურა: წინა კვების ნეირონული ქსელები და უკუ ნეირონული ქსელები. DNN-ების ორივე ტიპი შეიძლება წარმოდგენილი იყოს როგორც გამოთვლითი გრაფიკები, მთავარი განსხვავებით, რომ წინა კვების ქსელები შეიძლება წარმოდგენილი იყოს როგორც პირდაპირი აციკლური გრაფიკები (DAGs), ხოლო უკუ ნეირონულ ქსელებს შეიძლება ჰქონდეთ ციკლები. უკუ ნეირონული ქსელები შექმნილია მონაცემთა მიმდევრობებისთვის, სადაც თითოეულ მონაცემთა წერტილს აქვს პოტენციური დამოკიდებულება წინა მონაცემთა წერტილებთან მიმდევრობაში, ხოლო წინა კვების ნეირონული ქსელები არ ითვალისწინებენ ურთიერთქმედებას მონაცემთა მიმდევრობის წერტილებს შორის. ამ ნაშრომის დარჩენილ ნაწილში განიხილება წინა კვების DNN-ების შემთხვევა. 5 თავი III. დისტრიბუციული დასკვნის მოდელირება ეს თავი წარმოადგენს მოდელს DNN-ისა და ქსელის თვისებების წარმოსადგენად, რათა მოხდეს გამოთვლითი შეყოვნებების, გადაცემის შეყოვნებებისა და ნებისმიერი დაყოფის გადაწყვეტის საბოლოო დასკვნის გამტარუნარიანობის პროგნოზირება. A. DNN და ქსელის წარმოდგენა N ფენის წინა კვების DNN მოდელირებულია როგორც DAG GA=(L,E), სადაც L=(L1,…,LL) არის DNN-ის ფენები. კიდეები (Li,Lj)∈E არის კავშირები ფენებს Li და Lj შორის. თითოეულ ფენას Li აქვს დაკავშირებული გამოთვლითი მოხმარება ci, რომელიც იზომება ცურვადი წერტილის ოპერაციების რაოდენობაში, რომელიც საჭიროა ფენაში პირდაპირი გავლისთვის. კიდეებს (Li,Lj) ენიჭებათ წონა si,j, რომელიც შეესაბამება ფენებს Li და Lj შორის გადაცემული მონაცემების ზომას ბაიტებში. ფიზიკური ქსელი მოდელირებულია როგორც სრულად დაკავშირებული გრაფიკი G=(N,V), სადაც N=(N1,…,NN) არის გამოთვლითი კვანძების ნაკრები და V არის კვანძებს შორის არსებული ბმულების ნაკრები. ვარაუდობენ, რომ გამოთვლით კვანძებს N1,…,NN აქვთ შესაბამისად პროცესორული სიჩქარეები η1,…,ηN, რომელიც იზომება ცურვადი წერტილის ოპერაციებით წამში. ბოლოს, ორ მიმდებარე კვანძს Na და Nb შორის ბმულის გამტარუნარიანობა აღინიშნება როგორც θa,b, რომელიც იზომება ბაიტებში წამში. ყოველი კვანძი Ni დაკავშირებულია საკუთარ თავთან უსასრულო გამტარუნარიანობით, რათა წარმოადგინოს უკუსვლის ბმული, და ვარაუდობენ, რომ ბმულები სიმეტრიულია, ანუ, θa,b=θb,a. დაყოფა განისაზღვრება როგორც რუკები P:L→N, ანუ, დაყოფა ენიჭება კვანძის ნომერს DNN-ის თითოეულ ფენას. დაყოფა შეიძლება აღწერილი იყოს როგორც მატრიცა P, რომლის განზომილებაა (N×L), N არის ქსელზე არსებული კვანძების რაოდენობა და L არის DNN ფენების რაოდენობა და, Pa,i=1 თუ ფენა Li მდებარეობს კვანძზე Na, 0 წინააღმდეგ შემთხვევაში. მაგ., სურათ 2-ში მოცემულ მაგალითში, L=7 ფენა და N=2 გამოთვლითი კვანძი, ნაჩვენები დაყოფა ფენებით {L1,L2,L3,L6,L7} კვანძზე N1 და ფენებით {L4,L5} კვანძზე N2, წარმოდგენილია როგორც: მოცემული დაყოფით, განისაზღვრება, როგორც თანმიმდევრული ფენების ჯგუფი გაყოფის წერტილებს შორის, რომელიც მუშავდება თანმიმდევრულად იმავე კვანძზე. ზემოთ მოცემულ მაგალითში, კვანძი N1 გაუშვებს ორ ძაფს, პირველი მოიცავს ფენებს {L1,L2,L3} და მეორე {L6,L7}. ძაფი ამ ნიშნულების განსაზღვრით, ამ თავის დარჩენილი ნაწილი წარმოადგენს მოცემული დაყოფით მიღწეული დასკვნის გამტარუნარიანობის დახურულ გამოხატულებას, როგორც დასკვნის ( ) და გადაცემის ( ) შეყოვნებების ფუნქციას. თავი III-B თავი III-C B. დასკვნის შეყოვნების პროგნოზირება მოცემული დაყოფით, ეს თავი განიხილავს დასკვნის შეყოვნების პროგნოზირებას იზოლირებულ კვანძზე. ფენის Li-ის გამოთვლით გამოწვეული შეყოვნების მოხმარება ci, რომელიც უნდა გამოითვალოს კვანძზე Na, პროცესორული სიჩქარით ηa, გამოიხატება როგორც Tci(Na)=ci/ηa. მოცემული ფენების ნაკრებისთვის L′⊂L ყველა ძაფებს შორის, რომლებიც მუშაობენ კვანძზე Na, პროცესორული სიჩქარით ηa, დასკვნის შეყოვნების გამოხატვა შესაძლებელია როგორც: ეს გამოთქმა არის პირველი რიგის მიახლოება დასკვნის შეყოვნების შეფასებისთვის, რომელიც დაფუძნებულია ცურვადი წერტილის ოპერაციების (FLOPs) რაოდენობაზე, რომელიც საჭიროა DNN-ის დასამუშავებლად, ანუ მოდელში გამრავლებისა და შეკრების ოპერაციების რაოდენობა. კიდე მოწყობილობებზე დასკვნის შეყოვნების შეფასება გართულებულია გაშვების დროის ოპტიმიზაციებით. არსებული გადაწყვეტილებები, როგორიცაა nn-Meter პროგნოზირებენ დასკვნის შეყოვნებას FLOPs-ზე დაყრდნობით. სხვა გადაწყვეტილებები ეფუძნება საძიებელ ცხრილს წინასწარ გამოთვლილი დასკვნის დროებით შეყოვნების პროგნოზირებისთვის. მაგ., BRP-NAS იყენებს წინასწარ გაწვრთნილ გრაფიკულ კონვოლუციურ ქსელს დასკვნის შეყოვნების პროგნოზირებისთვის, ხოლო ითვალისწინებს გაშვების დროის მოდელის ოპტიმიზაციებს. [[18]](javascript:void()) [[19]](javascript:void())