Dlaczego Twoja sztuczna inteligencja nie potrzebuje już chmury, aby działać szybciej

```html Autorzy: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Streszczenie: Głębokie sieci neuronowe (DNN) do wnioskowania na danych strumieniowych wymagają zasobów obliczeniowych do spełnienia wymagań przepustowości wnioskowania. Jednakże, aplikacje uczenia głębokiego wrażliwe na opóźnienia i prywatność nie mogą sobie pozwolić na odciążenie obliczeń do zdalnych chmur ze względu na narzucony koszt transmisji i brak zaufania do zewnętrznych dostawców chmur. Wśród rozwiązań zwiększających wydajność przy jednoczesnym zachowaniu obliczeń w ograniczonym środowisku, akceleracja sprzętowa może być uciążliwa, a optymalizacja modelu wymaga rozległych wysiłków projektowych, jednocześnie pogarszając dokładność. Partycjonowanie DNN jest trzecim komplementarnym podejściem i polega na rozłożeniu obciążenia wnioskowania na kilka dostępnych urządzeń brzegowych, biorąc pod uwagę właściwości sieci brzegowej i strukturę DNN, z celem maksymalizacji przepustowości wnioskowania (liczba wnioskowań na sekundę). Niniejszy artykuł przedstawia metodę przewidywania opóźnień wnioskowania i transmisji dla rozproszonych wdrożeń DNN z wieloma wątkami i definiuje proces optymalizacji w celu maksymalizacji przepustowości wnioskowania. Następnie przedstawiono i przeanalizowano rozwiązanie typu "branch and bound" w celu ilościowego określenia osiągniętej wydajności i złożoności. Analiza ta doprowadziła do zdefiniowania regionu akceleracji, który opisuje deterministyczne warunki dotyczące właściwości DNN i sieci, w których partycjonowanie DNN jest korzystne. Wreszcie, wyniki eksperymentalne potwierdzają symulacje i pokazują poprawę przepustowości wnioskowania w przykładowych wdrożeniach brzegowych. Partycjonowanie DNN na brzegu umożliwia akcelerację przepustowości wnioskowania przy jednoczesnym obniżeniu wykorzystania przepustowości sieci i opóźnień do scentralizowanych serwerów, np. w chmurze. Wprowadzenie Połączone urządzenia wygenerowały szacunkowo 2,5 tryliona bajtów danych każdego dnia w 2020 roku. W tym kontekście sztuczna inteligencja (AI) jest jedną z technologii, która najlepiej radzi sobie z ciągle rosnącą ilością produkowanych danych w wielu dziedzinach, takich jak wykrywanie obiektów w wizji komputerowej, rozpoznawanie twarzy, rozpoznawanie mowy, przetwarzanie języka naturalnego czy jazda autonomiczna. AI, a w szczególności uczenie głębokie (DL), oprócz dużych ilości danych wymaga znacznych możliwości w zakresie mocy przetwarzania i pamięci, co czyni przetwarzanie w chmurze rozwiązaniem hostingowym dla obciążeń AI. W rezultacie, w 2019 roku, 96% zadań AI było wykonywanych w chmurze. 1 de facto 2 Aplikacje AI mogą mieć silne ograniczenia dotyczące opóźnień, , w jeździe autonomicznej, monitorowaniu produkcji lub wszelkich wnioskowaniach w czasie rzeczywistym angażujących interakcję ze światem rzeczywistym. Na przykład, średnie czasy odpowiedzi w jeździe autonomicznej muszą być krótsze niż 100 milisekund , co sprawia, że czasy podróży w obie strony do chmury są zbyt długie dla takich aplikacji. Podobnie, niektóre aplikacje mogą generować znaczące obciążenie łącza sieciowego, , w przypadku przetwarzania wideo wysokiej jakości w wizji komputerowej, co uniemożliwia ich działanie w chmurze. Polityki ochrony danych lub przepisy dotyczące ochrony danych mogą również zabraniać opuszczania określonych środowisk przez dane. Zachęca to do wdrażania AI w obliczeniach brzegowych (edge computing), które polegają na przeniesieniu zadań obliczeniowych z centrów danych bliżej urządzeń brzegowych, , w pobliże źródeł danych. np. [[1]](javascript:void()) np. tj. W porównaniu z chmurami publicznymi, brzeg jest środowiskiem o ograniczonych zasobach z istotnymi ograniczeniami , a rozwijanie AI dla brzegu jest zatem fundamentalnie inne od rozwijania AI dla chmury. Analiza danych blisko ich źródła może być wyzwaniem ze względu na niższe możliwości urządzeń, nieelastyczność dostępnych zasobów i heterogeniczność sieci brzegowych. Obniżenie mocy obliczeniowej oznacza obniżenie osiągalnej przepustowości wnioskowania, co dodatkowo komplikuje przenoszenie ciężkich obciążeń z chmury na brzeg. W niektórych zastosowaniach przepustowość wnioskowania, , osiągalna liczba wnioskowań na sekundę DNN, może być powiązana z dokładnością DNN, , w przypadku śledzenia obiektów w strumieniach wideo, gdzie obniżenie częstotliwości wnioskowania z 15 do 5 wnioskowania na sekundę obniżyło wynik F1__3__ detektora obiektów o 10% . Innymi słowy, wdrożenia o niskiej przepustowości wnioskowania mogą powodować krytyczną utratę informacji, , utratę detekcji w aplikacjach nadzoru wideo. [[2]](javascript:void()) tj. np. [[3]](javascript:void()) np. Istnieją dwie główne metody spełnienia wymagań wydajnościowych w ograniczonych sieciach brzegowych: kompresja modelu lub akceleracja sprzętowa. polega na redukcji i optymalizacji sieci neuronowych do lekkiej, często mniej wydajnej, wersji modelu. Standardowe metody kompresji modeli obejmują przycinanie , , usuwanie niepotrzebnych parametrów w modelu, kwantyzację , , zmniejszenie przydzielonej pamięci do przechowywania modelu, oraz destylację wiedzy , , trenowanie mniejszej sieci neuronowej z wiedzą wydobytą z większej. Optymalizacja modelu wymaga rozległych wysiłków projektowych i może być przeszkodą w osiągnięciu dokładności modelu. na urządzeniach brzegowych oznacza znalezienie sprzętu, który jest jednocześnie energooszczędny i lekki, a jednocześnie zdolny do wykonywania wnioskowania z wystarczającą wydajnością. Istnieje kilka rodzajów sprzętu kandydującego do akceleracji na brzegu, różniących się wydajnością i specyfiką, ale standardowe jednostki przetwarzające nie spełniają oczekiwań, a dedykowany sprzęt, taki jak układy ASIC, okazał się niepraktyczny i kosztowny . Kompresja modelu [[4]](javascript:void()) tj. [[5]](javascript:void()) tj. [[6]](javascript:void()) tj. Akceleracja sprzętowa [[7]](javascript:void()) Partycjonowanie DNN jest metodą komplementarną do akceleracji wnioskowania poprzez wykorzystanie wielokrotności istniejących urządzeń w sieciach brzegowych do rozłożenia obliczeń wnioskowania – które mogą być używane samodzielnie lub w połączeniu z dwiema innymi metodami. Partycjonowanie DNN polega na traktowaniu sieci neuronowej jako potoku do segmentacji na partycje i rozłożeniu tych partycji na urządzenia brzegowe. Lokalizacja tych partycji jest oparta zarówno na DNN, jak i na charakterystykach sieci bazowej. Partycjonowanie DNN opiera się na identyfikacji punktów podziału, które są punktami w grafie modelu, gdzie model jest dzielony na partycje. Podczas działania partycje są wykonywane sekwencyjnie, a każda wysyła pośrednie wyniki wnioskowania do następnej partycji. Pozwala to każdej partycji rozpocząć przetwarzanie następnego wprowadzonych danych, podczas gdy inne urządzenia kontynuują przetwarzanie odciążonego jednego, poprawiając tym samym przepustowość wnioskowania, jak pokazano na . W dalszej części tego artykułu partycjonowanie DNN jest ilustrowane przykładem wnioskowania w czasie rzeczywistym na strumieniach wideo. rysunku 1 A. Powiązane prace Metody partycjonowania DNN, wywodzące się z odciążania mobilnej chmury brzegowej, mają na celu optymalizację różnych wskaźników wydajności, takich jak opóźnienia obliczeniowe, zużycie energii, wykorzystanie zasobów, koszt lub przepustowość. Partycjonowanie DNN opiera się na powiązaniu jednego lub kilku z tych metryk w celu zdefiniowania celu optymalizacji i metody wykorzystującej tę metrykę do znalezienia schematów partycjonowania. Na przykład Neurosurgeon szuka pojedynczego punktu podziału, zachowując pierwszą partycję na brzegu i odciążając drugą partycję do chmury, aby zminimalizować opóźnienia i zużycie energii. Zastosowania w IoT rozważały również wspólne partycjonowanie i odciążanie kilku DNN w celu optymalizacji energii, opóźnień i/lub kosztów, używając różnych rozwiązań, takich jak SPSO-GA łączący optymalizację rojem cząstek (PSO) i algorytm genetyczny (GA), lub DDPQN który wykorzystuje głębokie uczenie przez wzmacnianie do znalezienia schematów partycjonowania. Inne przykłady obejmują DINA , która definiuje problem programowania całkowitoliczbowego nieliniowego (INLP) i wykorzystuje rozwiązanie oparte na teorii dopasowania do optymalizacji opóźnień i wykorzystania zasobów w sieciach mglistych. Metody optymalizujące przepustowość wnioskowania obejmują chirurgię DNN , która wykorzystuje mniejszy rozmiar pośrednich wyjść warstw DNN do partycjonowania obliczeń wnioskowania między brzegiem a chmurą. Oba algorytmy tworzą dwie partycje, jedną na brzegu, a drugą w chmurze. Inne badania w dziedzinie mobilnych chmur brzegowych obejmują również obliczenia wielowątkowe w chmurze w celu dalszego przyspieszenia całkowitej przepustowości wnioskowania. Poleganie na chmurze do obliczeń wnioskowania drugiej partycji zakłada dobrą łączność sieciową, która może być niepewna przy słabej łączności niektórych odizolowanych wdrożeń brzegowych. Edgent dostosowuje poprzednią metodologię do urządzeń mobilnych i dostępnych serwerów brzegowych, rozluźniając ograniczenie odciążania do chmury. Ta metoda jest powiązana ze specyficznym szkoleniem i architekturą modelu, a partycjonowanie nadal ogranicza do dwóch partycji. Inne metody rozważały wiele punktów podziału, , IONN , który opisuje problem partycjonowania w celu minimalizacji opóźnień i zużycia energii, uwzględniając również czas przesyłania modeli do serwerów brzegowych. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) np. [[15]](javascript:void()) Metody te albo oddziałują ze zdalnymi chmurami, albo są ograniczone pod względem natury partycjonowania, , wymagają podziału na dokładnie dwie części, z wielowątkowością lub bez niej. Żadne z wymienionych badań nad partycjonowaniem DNN nie uwzględnia ani wielu punktów podziału, ani wielowątkowości. np. B. Wkład Niniejszy artykuł przedstawia rozproszoną platformę wnioskowania w celu maksymalizacji przepustowości wnioskowania obliczeń DNN w czasie rzeczywistym na danych strumieniowych, z wieloma punktami podziału i partycjonowaniem wielowątkowym. Wkład niniejszego artykułu obejmuje: Model do przewidywania opóźnień obliczeniowych i transmisyjnych rozproszonego DNN, za pomocą którego można oszacować oczekiwaną przepustowość wnioskowania danego schematu partycjonowania. Formułowanie problemu optymalizacji partycjonowania DNN, implementacja rozwiązania typu "branch and bound" dla tego problemu oraz ocena jego złożoności. Symulacje w celu zbadania możliwych popraw wydajności przy zmiennych właściwościach sieci i DNN. Identyfikacja deterministycznych regionów we właściwościach sieci i DNN prowadzących do istnienia optymalnych partycjonowań i kosztu obliczenia takich rozwiązań, , warunków, w których partycjonowanie DNN jest korzystne. tj. Wyniki eksperymentalne ilustrujące regiony zdefiniowane w symulacjach, a także dokładność prognoz i ostateczną akcelerację przepustowości wnioskowania dla środowisk jednorodnych i heterogenicznych. W dalszej części artykułu, aby uniknąć nieporozumień, partycjonowana głęboka sieć neuronowa będzie określana jako , a termin będzie oznaczał bazową fizyczną sieć komunikacyjną. DNN sieć C. Zarys artykułu Dalsza część artykułu jest zorganizowana w następujący sposób. przedstawia tło uczenia głębokiego i sposób reprezentacji DNN w tym badaniu. szczegółowo opisuje metody przewidywania opóźnień wnioskowania i transmisji wymagane dla , która definiuje problem optymalizacji, a także algorytm "branch and bound" do podejmowania decyzji o partycjonowaniu. przedstawia wyniki symulacji w celu ilościowego określenia wydajności i złożoności algorytmu "branch and bound", a także warunki prowadzące do istnienia partycjonowania poprawiającego przepustowość wnioskowania w sieci jednorodnej. przedstawia wyniki eksperymentalne potwierdzające symulacje z i pokazuje poprawę przepustowości wnioskowania w heterogenicznym układzie eksperymentalnym. Wreszcie, omawia wyniki i rozszerza się na szerszą stosowalność tej metody. Sekcja II Sekcja III Sekcji IV Sekcja V Sekcja VI Sekcji V Sekcja VII SEKCJA II. Tło: Uczenie głębokie W dziedzinie uczenia maszynowego (Machine Learning), uczenie głębokie (DL) odnosi się do metod opartych na wykorzystaniu DNN, , sztucznych sieci neuronowych (lub powiązanych metod uczenia maszynowego) zawierających więcej niż jedną warstwę ukrytą. Jedno z najwcześniejszych odniesień do architektur uczenia głębokiego opublikowano w 1967 roku , ale dopiero w latach 2010 DL zyskało na znaczeniu, najpierw w rozpoznawaniu mowy, a następnie w wykrywaniu obiektów na obrazach, dzięki zdolności do wychwytywania złożonych relacji w danych o wysokiej wymiarowości. Szacuje się, że uczenie głębokie stanowi większość aplikacji AI w 2022 roku, przy czym ponad 75% organizacji wykorzystuje DNN do zastosowań, które mogłyby wykorzystywać klasyczne metody. Metody DL zostały zdefiniowane jako „ ” . Obwody te są zazwyczaj organizowane w warstwy, które stanowią etapy obliczeń. Termin odnosi się do algorytmów składających się z więcej niż jednej warstwy. tj. [[16]](javascript:void()) 4 techniki uczenia maszynowego, w których hipotezy przybierają formę złożonych obwodów algebraicznych z dostrajaniem siły połączeń [[17]](javascript:void()) głębokie Istnieją dwie główne struktury DNN: sieci neuronowe typu feed-forward i sieci neuronowe rekurencyjne. Oba typy DNN można reprezentować jako grafy obliczeniowe, przy czym główna różnica polega na tym, że sieci feed-forward można reprezentować jako bezpośrednie grafy acykliczne (DAG), podczas gdy sieci rekurencyjne mogą zawierać cykle. Sieci rekurencyjne są budowane dla sekwencji danych, gdzie każdy punkt danych ma potencjalną zależność od poprzednich punktów danych w sekwencji, podczas gdy sieci feed-forward nie uwzględniają interakcji między punktami w sekwencji danych. Dalsza część artykułu będzie dotyczyć przypadku sieci DNN typu feed-forward. 5 SEKCJA III. Modelowanie rozproszonego wnioskowania Niniejsza Sekcja przedstawia model do reprezentacji właściwości DNN i sieci w celu przewidywania opóźnień obliczeniowych, opóźnień transmisyjnych i ostatecznej przepustowości wnioskowania dla danego rozwiązania partycjonowania. A. Reprezentacja DNN i sieci Sieć DNN typu feed-forward z N warstwami jest modelowana jako DAG GA=(L,E), gdzie L=(L1,…,LL) to warstwy DNN. Krawędzie (Li,Lj)∈E to połączenia między warstwami Li i Lj. Każda warstwa Li ma przypisane zużycie obliczeniowe ci, mierzone jako liczba operacji zmiennoprzecinkowych wymaganych do obliczenia propagacji w przód przez warstwę. Krawędzie (Li,Lj) mają przypisaną wagę si,j odpowiadającą wielkości danych przesyłanych między warstwami Li i Lj w bajtach. Sieć fizyczna jest modelowana jako graf o pełnym połączeniu G=(N,V), gdzie N=(N1,…,NN) to zbiór węzłów obliczeniowych, a V to zbiór połączeń między węzłami. Zakłada się, że węzły obliczeniowe N1,…,NN mają odpowiednio szybkości przetwarzania η1,…,ηN, mierzone w operacjach zmiennoprzecinkowych na sekundę. Wreszcie, przepustowość połączenia między dwoma sąsiednimi węzłami Na i Nb jest oznaczana jako θa,b, mierzona w bajtach na sekundę. Każdy węzeł Ni jest połączony sam ze sobą z nieskończoną przepustowością, aby reprezentować połączenie zwrotne, a połączenia są zakładane jako symetryczne, tj. θa,b=θb,a. Partycjonowania są definiowane jako mapowania P:L→N, tj. partycjonowanie przypisuje numer węzła do każdej warstwy w DNN. Partycjonowanie można opisać jako macierz P o wymiarach (N×L), gdzie N to liczba węzłów w sieci, a L to liczba warstw DNN, i gdzie Pa,i=1, jeśli warstwa Li jest umieszczona na węźle Na, w przeciwnym razie 0. W przykładzie podanym na , L=7 warstw i N=2 węzły obliczeniowe, pokazane partycjonowanie z warstwami {L1,L2,L3,L6,L7} na węźle N1, i warstwami {L4,L5} na węźle N2, jest reprezentowane jako: rysunku 2 Biorąc pod uwagę partycjonowanie, jest definiowany jako grupa kolejnych warstw między dwoma punktami podziału, wykonywana sekwencyjnie na tym samym węźle. W powyższym przykładzie węzeł N1 będzie uruchamiał dwa wątki, pierwszy zawierający warstwy {L1,L2,L3}, a drugi {L6,L7}. wątek Przy zdefiniowanych oznaczeniach, dalsza część tej Sekcji wyprowadza zamknięte wyrażenie przepustowości wnioskowania osiąganej przez dane partycjonowanie, jako funkcję opóźnień wnioskowania (sekcja III-B) i transmisji (sekcja III-C). B. Przewidywanie opóźnień wnioskowania Biorąc pod uwagę partycjonowanie, niniejsza Sekcja analizuje przewidywanie opóźnień wnioskowania na izolowanym węźle. Opóźnienie indukowane przez obliczenie warstwy Li o zużyciu ci, do wykonania na węźle Na, o szybkości przetwarzania ηa, jest wyrażone jako Tci(Na)=ci/ηa. Biorąc pod uwagę zbiór warstw L′⊂L we wszystkich wątkach działających na węźle Na o szybkości przetwarzania ηa, opóźnienie wnioskowania można wyrazić jako: Wyrażenie to jest przybliżeniem pierwszego rzędu oszacowania opóźnienia wnioskowania opartego na liczbie operacji zmiennoprzecinkowych (FLOPs) wymaganych do przetworzenia DNN, tj. liczbie operacji mnożenia-dodawania w modelu. Oszacowanie opóźnienia wnioskowania na urządzeniach brzegowych jest skomplikowane przez optymalizacje w czasie rzeczywistym. Istniejące rozwiązania, takie jak nn-Meter , przewidują opóźnienia wnioskowania na podstawie FLOPs. Inne rozwiązania opierają się na tabeli wyszukiwania z wstępnie obliczonymi czasami wnioskowania dla prognozowania opóźnień. Na przykład BRP-NAS wykorzystuje wstępnie wytrenowaną grafową sieć konwolucyjną do przewidywania opóźnień wnioskowania, uwzględniając optymalizacje modelu w czasie rzeczywistym. [[18]](javascript:void()) [[19]](javascript:void()) W zakłada się dodatkowo, że procesory wykorzystują pełną pojemność, co oznacza, że procesory wielordzeniowe są modelowane jako procesory jednordzeniowe o szybkości przetwarzania równej sumie szybkości przetwarzania ich rdzeni. Zakłada się również, że zasób obliczeniowy jest równo dzielony między wątki, tj. procesor przeznacza taki sam procent swojego czasu na każdy wątek. równaniu 1 We wszystkich węzłach, wątek o najwyższym opóźnieniu określa przepustowość wnioskowania dla rozproszonego DNN. Pomijając opóźnienia transmisji, oznacza to, że gdy ten ograniczający wątek zakończy obliczanie ramki danych, natychmiast rozpoczyna przetwarzanie następnej. Pozostałe wątki będą miały czas bezczynności przed przetworzeniem następnej ramki danych, ponieważ ich opóźnienie wnioskowania jest niższe niż to maksymalne opóźnienie, jak pokazano na . rysunku 1 Biorąc pod uwagę macierz partycjonowania P, opóźnienia wnioskowania można wyrazić jako pojedynczy wektor Tc o rozmiarze N, gdzie a-ty komponent jest najwyższym opóźnieniem wątku wnioskowania na węźle Na, tj. Tca=Tc(Na): gdzie H jest macierzą diagonalną odwrotności szybkości przetwarzania węzłów diag(η−11,…,η−1N), a c jest wektorem kolumnowym indywidualnych zużyć warstw (c1,…,cL). C. Przewidywanie opóźnień transmisji Opóźnienie transmisji można przewidzieć w następujący sposób: czas potrzebny na przesłanie ilości danych si,j między warstwami Li i Lj na krawędzi (Na,Nb) przez połączenie o zmierzonej przepustowości θa,b wynosi Tti,j(Na,Nb)=si,j/θa,b. Czas na realizację transferów danych si,j∈E′⊂E przez połączenie (Na,Nb) wynosi: Podobnie jak w przypadku przewidywania opóźnień wnioskowania, oznacza to, że połączenia są równo dzielone między transfery danych z Na do Nb. Prognozowanie opóźnień transmisji opiera się na oszacowaniu przepustowości połączenia między węzłami, a dokładniej na , tj. ilości użytecznych danych transmitowanych na sekundę. goodput Podobnie jak w przypadku oszacowania opóźnienia wnioskowania, jest to przybliżenie pierwszego rzędu, które efektywnie daje dobre wyniki prognozowania, jak pokazano na c, ze współczynnikiem korelacji R2=0.9998. Wadą tej metody jest wymóg nasycenia połączeń w celu uzyskania oszacowania przepustowości. rysunku 3 Biorąc pod uwagę macierz partycjonowania P, macierz opóźnień transmisji Tt można zdefiniować jako macierz kwadratową o wymiarach L, gdzie Tta,b=Tt(Na,Nb): gdzie ° jest iloczynem wyraz po wyrazie, czyli iloczynem Hadamarda, Θ jest macierzą odwrotności przepustowości, tj. macierzą kwadratową o wymiarach N z Θa,b=θ−1a,b, a S jest macierzą wielkości transmisji, tj. macierzą kwadratową o wymiarach L z Si,j=si,j, jeśli Li wysyła dane do Lj, w przeciwnym razie 0. SEKCJA IV. Partycjonowanie DNN Celem partycjonowania DNN w tym badaniu jest maksymalizacja przepustowości wnioskowania, oznaczonej jako C, która odpowiada odwrotności maksymalnego opóźnienia spośród wszystkich różnych opóźnień obliczeniowych i transmisyjnych. Biorąc pod uwagę partycjonowanie P, przepustowość wnioskowania jest zdefiniowana jako: Maksymalizacja przepustowości wnioskowania sprowadza się do znalezienia wspólnego minimum-maksimum spośród wszystkich elementów Tc i Tt. Można to zdefiniować jako problem dyskretnej optymalizacji: gdzie Ji,j jest macierzą samych jedynek o wymiarach i×j, a warunki (6) i (7) wymagają, aby każda warstwa była umieszczona na jednym i tylko jednym węźle. Ten problem optymalizacji jest problemem typu Mixed Integer Non-linear Programming (MINLP). Macierz partycjonowania można postrzegać jako wersję one-hot zakodowaną wektora o rozmiarze (1×L) z wartościami w [[1,N]]. Problemy MINLP są NP-trudne, co oznacza, że złożoność znalezienia optymalnego partycjonowania DNN wynosi O(NL), ponieważ każda z L warstw może być umieszczona na N węzłach. Istnieje kilka heurystyk pozwalających uzyskać optymalne lub suboptymalne rozwiązania tego problemu w krótszym czasie niż algorytm brute force, np. algorytmy genetyczne (GA) , optymalizacja rojem cząstek (PSO) , lub "Branch and Bound" (B&B) . Wybraną metodologią jest adaptowana implementacja B&B, która jest przedstawiona w Sekcji IV-A. [[21]](javascript:void()) [[22]](javascript:void()) [[23]](javascript:void()) A. Algorytm Branch and Bound Niniejsza Sekcja przedstawia adaptację algorytmu "branch and bound" (B&B) do problemu optymalizacji partycjonowania DNN zdefiniowanego w Sekcji IV. W algorytmach B&B przestrzeń rozwiązań jest reprezentowana przez drzewo. Proces polega na eliminowaniu całych gałęzi drzewa na podstawie oceny wyniku węzła głównego. Oznacza to istnienie topologii drzewa, która tworzy zależność między wynikiem węzła w drzewie a granicami wyników wszystkich jego liści. </