Warum Ihre KI die Cloud nicht mehr braucht, um schneller zu laufen

```html Autoren: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Zusammenfassung: Deep Neural Network (DNN)-Inferenz auf Streaming-Daten erfordert Rechenressourcen, um die Anforderungen an den Inferenzdurchsatz zu erfüllen. Latenz- und datenschutzsensible Deep-Learning-Anwendungen können es sich jedoch nicht leisten, Berechnungen in entfernte Clouds auszulagern, da die Übertragungskosten hoch sind und das Vertrauen in Drittanbieter-Cloud-Anbieter gering ist. Unter den Lösungen zur Leistungssteigerung bei gleichzeitiger Beibehaltung der Berechnungen in einer eingeschränkten Umgebung ist die Hardwarebeschleunigung aufwändig, und die Modelloptimierung erfordert umfangreiche Designbemühungen, während die Genauigkeit beeinträchtigt wird. Die DNN-Partitionierung ist ein dritter ergänzender Ansatz, der die Verteilung der Inferenzlast auf mehrere verfügbare Edge-Geräte umfasst, unter Berücksichtigung der Eigenschaften des Edge-Netzwerks und der DNN-Struktur, mit dem Ziel, den Inferenzdurchsatz (Anzahl der Inferenzen pro Sekunde) zu maximieren. Dieses Paper stellt eine Methode zur Vorhersage von Inferenz- und Übertragungslatenzen für multithreaded verteilte DNN-Implementierungen vor und definiert einen Optimierungsprozess zur Maximierung des Inferenzdurchsatzes. Anschließend wird ein Branch-and-Bound-Solver vorgestellt und analysiert, um die erzielte Leistung und Komplexität zu quantifizieren. Diese Analyse hat zur Definition des Beschleunigungsbereichs geführt, der deterministische Bedingungen für die DNN- und Netzwerkeigenschaften beschreibt, unter denen die DNN-Partitionierung vorteilhaft ist. Abschließend bestätigen experimentelle Ergebnisse die Simulationen und zeigen Verbesserungen des Inferenzdurchsatzes in beispielhaften Edge-Implementierungen. Die DNN-Partitionierung am Edge ermöglicht die Beschleunigung des Inferenzdurchsatzes bei gleichzeitiger Reduzierung des Bandbreitenverbrauchs und der Latenz zu zentralisierten Servern, z. B. in der Cloud. Einleitung Verbundene Geräte erzeugten im Jahr 2020 schätzungsweise 2,5 Trillionen Bytes an Daten pro Tag. In diesem Kontext ist künstliche Intelligenz (KI) eine der Technologien, die mit der ständig wachsenden Datenmenge in Bereichen wie Objekterkennung in der Computer Vision, Gesichtserkennung, Spracherkennung, Verarbeitung natürlicher Sprache oder autonomes Fahren am besten umgehen kann. KI, und insbesondere Deep Learning (DL), erfordert neben großen Datenmengen erhebliche Rechenleistung und Speicher, was Cloud Computing zur de facto Hosting-Lösung für KI-Workloads macht. Folglich wurden im Jahr 2019 96 % der KI-Aufgaben in der Cloud ausgeführt. 1 2 KI-Anwendungen können starke Latenzanforderungen haben, z. B. beim autonomen Fahren, bei der Überwachung von Fertigungsprozessen oder bei jeder Echtzeit-Inferenz, die eine Interaktion mit der realen Welt beinhaltet. Beispielsweise müssen die durchschnittlichen Reaktionszeiten beim autonomen Fahren unter 100 Millisekunden liegen , was Round-Trip-Zeiten zur Cloud für solche Anwendungen zu lang macht. Ebenso können einige Anwendungen eine erhebliche Auslastung der Netzwerkverbindung verursachen, z. B. bei der Verarbeitung von hochqualitativen Videos in der Computer Vision, was deren Ausführung in der Cloud verhindert. Datenschutzrichtlinien oder Datenschutzbestimmungen können es auch verbieten, Daten aus bestimmten Umgebungen zu exportieren. Dies fördert KI-Implementierungen im Edge Computing, bei dem Rechenaufgaben von Rechenzentren näher an die Edge-Geräte, d. h. in die Nähe der Datenquellen, verlagert werden. [[1]](javascript:void()) Im Vergleich zu öffentlichen Clouds ist das Edge eine ressourcenbeschränkte Umgebung mit erheblichen Einschränkungen , und die Entwicklung von KI für das Edge unterscheidet sich daher grundlegend von der Entwicklung von KI für die Cloud. Die Analyse von Daten nahe ihrer Quelle kann aufgrund geringerer Gerätekapazitäten, der Unelastizität der verfügbaren Ressourcen und der Heterogenität von Edge-Netzwerken eine Herausforderung darstellen. Die Reduzierung der Rechenkapazität bedeutet eine geringere erreichbare Inferenzdurchsatzrate, was die Verlagerung von schweren Workloads von der Cloud zum Edge weiter erschwert. Bei einigen Anwendungen kann der Inferenzdurchsatz, d. h. die erreichbaren Inferenzen pro Sekunde einer DNN, mit der DNN-Genauigkeit verknüpft sein, z. B. beim Objekt-Tracking in Videostreams, wo die Reduzierung der Inferenzrate von 15 auf 5 Inferenzen pro Sekunde den F1-Score eines Objektdetektors um 10 % senkte__3__ . Mit anderen Worten, Implementierungen mit geringem Inferenzdurchsatz können zu kritischem Informationsverlust führen, z. B. Verlust von Erkennungen in Videoüberwachungsanwendungen. [[2]](javascript:void()) [[3]](javascript:void()) Es gibt zwei Hauptmethoden, um Leistungsanforderungen in eingeschränkten Edge-Netzwerken zu erfüllen: Modellkompression oder Hardwarebeschleunigung. besteht darin, neuronale Netze auf eine leichte, oft unterperformante Version des Modells zu reduzieren und zu optimieren. Standard-Modellkompressionsmethoden umfassen Pruning , d. h. das Entfernen unnötiger Parameter im Modell, Quantisierung , d. h. die Reduzierung des zugewiesenen Speichers für das Modell, und Knowledge Distillation , d. h. das Training eines kleineren neuronalen Netzes mit Wissen, das aus einem größeren extrahiert wurde. Modelloptimierung erfordert umfangreiche Designbemühungen und kann die Modellgenauigkeit beeinträchtigen. auf Edge-Geräten bedeutet, Hardware zu finden, die sowohl energieeffizient als auch leicht ist und dennoch Inferenz mit ausreichender Leistung ausführen kann. Es gibt verschiedene Arten von geeigneter Hardware für die Beschleunigung am Edge, die sich in Effizienz und Spezifität unterscheiden, aber Standard-Verarbeitungseinheiten erfüllen die Erwartungen nicht, und dedizierte Hardware wie ASICs wurde als unpraktisch und teuer befunden . Modellkompression [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) Hardwarebeschleunigung [[7]](javascript:void()) Die DNN-Partitionierung ist eine ergänzende Methode zur Beschleunigung der Inferenz durch Nutzung der Vielfalt vorhandener Geräte in Edge-Netzwerken zur Verteilung der Inferenzberechnung – die allein oder in Verbindung mit den beiden anderen Methoden verwendet werden kann. Die DNN-Partitionierung besteht darin, ein neuronales Netz als Pipeline zu betrachten, es in Partitionen zu segmentieren und diese Partitionen auf Edge-Geräte zu verteilen. Die Platzierung dieser Partitionen basiert sowohl auf der DNN als auch auf den zugrunde liegenden Netzwerkeigenschaften. Die DNN-Partitionierung beruht auf der Identifizierung von Split-Punkten, d. h. Punkten im Modellgraphen, an denen das Modell in Partitionen aufgeteilt wird. Zur Laufzeit werden die Partitionen sequentiell ausgeführt, wobei jede Zwischenergebnisse der Inferenz an die nächste Partition sendet. Dies ermöglicht es jeder Partition, mit der Verarbeitung der nächsten Eingabedaten zu beginnen, während die anderen Geräte die abgeladenen Daten weiterverarbeiten, wodurch der Inferenzdurchsatz verbessert wird, wie in gezeigt. Im Folgenden wird die DNN-Partitionierung anhand des Beispiels der Echtzeit-Inferenz auf Videostreams veranschaulicht. Abbildung 1 A. Verwandte Arbeiten Methoden zur DNN-Partitionierung, abgeleitet vom Mobile-Edge-Cloud-Offloading, zielen darauf ab, verschiedene Leistungsindikatoren wie Rechenlatenz, Energieverbrauch, Ressourcenauslastung, Kosten oder Durchsatz zu optimieren. Die DNN-Partitionierung beruht auf der Zuordnung einer oder mehrerer dieser Metriken zur Definition eines Optimierungsziels und einer Methode, die diese Metrik zur Ermittlung von Partitionierungsschemata nutzt. Neurosurgeon sucht beispielsweise einen einzigen Split-Punkt, wobei die erste Partition am Edge verbleibt und die zweite Partition zur Cloud ausgelagert wird, um Latenz und Energieverbrauch zu minimieren. Anwendungen in IoT haben auch die gemeinsame Partitionierung und Auslagerung mehrerer DNNs zur Optimierung von Energie, Verzögerung und/oder Kosten berücksichtigt, wobei verschiedene Solver wie SPSO-GA die Partikelschwarmoptimierung (PSO) und den Genetischen Algorithmus (GA) kombinieren, oder DDPQN , das Deep Reinforcement Learning verwendet, um Partitionierungsschemata zu finden. Andere Beispiele sind DINA , das ein Integer Non Linear Programming (INLP)-Problem definiert und einen auf Matching-Theorie basierenden Solver verwendet, um Verzögerung und Ressourcenauslastung in Fog-Netzwerken zu optimieren. Methoden, die den Inferenzdurchsatz optimieren, umfassen DNN Surgery , die die geringere Größe von intermediären DNN-Layerausgaben nutzt, um die Inferenzberechnung zwischen Edge und Cloud zu partitionieren. Beide Algorithmen erstellen zwei Partitionen, eine am Edge und die andere in der Cloud. Andere Studien im Bereich Mobile Edge-Cloud beziehen auch multithreaded Berechnungen in der Cloud ein, um den gesamten Inferenzdurchsatz weiter zu beschleunigen. Die Nutzung der Cloud für die Inferenzberechnung der zweiten Partition setzt eine gute Netzwerkkonnektivität voraus, die bei der schlechten Konnektivität einiger isolierter Edge-Implementierungen unsicher sein kann. Edgent passt die vorherige Methodik an mobile Geräte und verfügbare Edge-Server an und lockert die Einschränkung der Auslagerung in die Cloud. Diese Methode ist mit einem spezifischen Trainings- und Modellarchitektur verbunden und beschränkt die Partitionierung weiterhin auf zwei Teile. Andere Methoden haben mehrere Split-Punkte berücksichtigt, z. B. IONN , das das Problem der Partitionierung zur Minimierung von Latenz und Energieverbrauch beschreibt und auch die Zeit für den Upload der Modelle auf Edge-Server berücksichtigt. [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) Diese Methoden interagieren entweder mit entfernten Clouds oder sind in der Art der Partitionierung eingeschränkt, z. B. erfordert die Aufteilung in genau zwei Teile, mit oder ohne Multithreading. Keine der aufgeführten DNN-Partitionierungsstudien berücksichtigt sowohl mehrere Split-Punkte als auch Multithreading. B. Beiträge Dieses Paper präsentiert ein verteiltes Inferenz-Framework zur Maximierung des Inferenzdurchsatzes von Echtzeit-DNN-Berechnungen auf Streaming-Daten mit mehreren Split-Punkten und multithreaded Partitionierung. Die Beiträge dieses Papers sind die folgenden: Ein Modell zur Berechnung von Inferenz- und Übertragungslatenzen einer verteilten DNN, mit dem der erwartete Inferenzdurchsatz eines gegebenen Partitionierungsschemas geschätzt werden kann. Formulierung des Optimierungsproblems für die DNN-Partitionierung, Implementierung eines Branch-and-Bound-Solvers für dieses Problem und Bewertung seiner Komplexität. Simulationen zur Untersuchung der möglichen Leistungsverbesserungen bei variierenden Netzwerk- und DNN-Eigenschaften. Die Identifizierung deterministischer Regionen in den Netzwerk- und DNN-Eigenschaften, die die Existenz optimaler Partitionierungen und die Kosten für die Berechnung solcher Lösungen ermöglichen, d. h. die Bedingungen, unter denen die DNN-Partitionierung vorteilhaft ist. Experimentelle Ergebnisse, die die in den Simulationen definierten Regionen sowie die Vorhersagegenauigkeit und die endgültige Inferenzdurchsatzbeschleunigung für homogene und heterogene Umgebungen veranschaulichen. Im Folgenden wird zur Vermeidung von Verwechslungen die partitionierte Deep Neural Network als und der Begriff für das zugrunde liegende physische Kommunikationsnetzwerk bezeichnet. DNN Netzwerk C. Gliederung des Papers Der Rest dieses Papers ist wie folgt gegliedert. stellt den Hintergrund des Deep Learning vor und wie DNNs in dieser Studie dargestellt werden. beschreibt die Methoden zur Vorhersage von Inferenz- und Übertragungslatenzen, die für erforderlich sind, welcher das Optimierungsproblem sowie den Branch-and-Bound-Algorithmus zur Entscheidungsfindung bei der Partitionierung definiert. präsentiert Simulationsergebnisse zur Quantifizierung der Leistung und Komplexität des Branch-and-Bound-Algorithmus sowie Bedingungen, die zur Existenz einer Partitionierung führen, die den Inferenzdurchsatz in einem homogenen Netzwerk verbessert. stellt experimentelle Ergebnisse vor, die die Simulationen aus bestätigen und zeigen Inferenzdurchsatzverbesserungen auf einem heterogenen experimentellen Aufbau. Abschließend diskutiert die Ergebnisse und erweitert die allgemeine Anwendbarkeit dieser Methode. Abschnitt II Abschnitt III Abschnitt IV Abschnitt V Abschnitt VI Abschnitt V Abschnitt VII ABSCHNITT II. Hintergrund: Deep Learning Im Bereich des maschinellen Lernens bezieht sich Deep Learning (DL) auf Methoden, die sich auf die Verwendung von DNNs stützen, d. h. künstliche neuronale Netze (oder verwandte Methoden des maschinellen Lernens), die mehr als eine versteckte Schicht enthalten. Einer der frühesten Verweise auf Deep-Learning-Architekturen wurde 1967 veröffentlicht , aber erst in den 2010er Jahren gewann DL an Bedeutung, zuerst bei der Spracherkennung, dann bei der Objekterkennung in Bildern, aufgrund der Fähigkeit, komplexe Beziehungen in hochdimensionalen Daten zu erfassen. DL wird schätzungsweise den größten Teil der KI-Anwendungen im Jahr 2022 ausmachen, wobei mehr als 75 % der Organisationen DNNs für Anwendungen nutzen, für die auch klassische Methoden verwendet werden könnten. DL-Methoden wurden als „ “ definiert . Diese algebraischen Schaltungen sind normalerweise in Schichten organisiert, die Berechnungsschritte darstellen. Der Begriff bezieht sich auf Algorithmen, die aus mehr als einer Schicht bestehen. [[16]](javascript:void()) 4 Techniken für maschinelles Lernen, bei denen Hypothesen die Form komplexer algebraischer Schaltungen mit abstimmbaren Verbindungskräften annehmen [[17]](javascript:void()) deep Es gibt zwei Haupt-DNN-Strukturen: Feed-Forward-Neuronale Netze und Rekurrente Neuronale Netze. Beide Arten von DNNs können als Berechnungsgraphen dargestellt werden, wobei der Hauptunterschied darin besteht, dass Feed-Forward-Netze als gerichtete azyklische Graphen (DAGs) dargestellt werden können, während Rekurrente Neuronale Netze Zyklen enthalten können. Rekurrente Neuronale Netze sind für Sequenzen von Daten konzipiert, bei denen jeder Datenpunkt eine potenzielle Abhängigkeit von vorherigen Datenpunkten in der Sequenz aufweist, während Feed-Forward-Netze keine Wechselwirkungen zwischen den Datenpunkten einer Datensequenz berücksichtigen. Im Folgenden werden Feed-Forward-DNNs betrachtet. 5 ABSCHNITT III. Modellierung verteilter Inferenz Dieser Abschnitt stellt ein Modell zur Darstellung von DNN- und Netzwerkeigenschaften vor, um Berechnungslatenzen, Übertragungslatenzen und den endgültigen Inferenzdurchsatz einer gegebenen Partitionierungslösung vorherzusagen. A. DNN- und Netzwerkdarstellung Eine Feed-Forward-DNN mit N Schichten wird als DAG G =(L,E) modelliert, wobei L=(L ,…,L ) die Schichten der DNN sind. Kanten (L ,L )∈E sind die Verbindungen zwischen den Schichten L und L . Jede Schicht L hat einen zugehörigen Rechenaufwand c , gemessen in der Anzahl der Gleitkommaoperationen, die für die Berechnung eines Vorwärtsdurchlaufs durch die Schicht erforderlich sind. Kanten (L ,L ) wird ein Gewicht s zugewiesen, das der Größe der zwischen den Schichten L und L in Bytes übertragenen Daten entspricht. A 1 L i j i j i i i j i,j i j Das physische Netzwerk wird als vollständig verbundener Graph G =(N,V) modelliert, wobei N=(N ,…,N ) die Menge der Rechenknoten und V die Menge der Verbindungen zwischen den Knoten ist. Es wird angenommen, dass die Rechenknoten N ,…,N die Verarbeitungsraten η ,…,η haben, gemessen in Gleitkommaoperationen pro Sekunde. Schließlich ist der Verbindungsdurchsatz zwischen zwei benachbarten Knoten N und N als θ bezeichnet, gemessen in Bytes pro Sekunde. Jeder Knoten N ist mit sich selbst mit unendlichem Durchsatz verbunden, um die Loopback-Verbindung darzustellen, und die Verbindungen werden als symmetrisch angenommen, d. h. θ =θ . N 1 N 1 N 1 N a b a,b i a,b b,a Partitionierungen werden als Abbildungen P:L→N definiert, d. h. eine Partitionierung weist jeder Schicht in der DNN eine Knotennummer zu. Eine Partitionierung kann als Matrix P der Dimension (N×L) beschrieben werden, wobei N die Anzahl der Knoten im Netzwerk und L die Anzahl der DNN-Schichten ist, und wobei P =1 , wenn Schicht L auf Knoten N platziert ist, sonst 0. Mit dem in gegebenen Beispiel, L=7 Schichten und N=2 Rechenknoten, wird die dargestellte Partitionierung mit den Schichten {L ,L ,L ,L ,L } auf Knoten N und den Schichten {L ,L } auf Knoten N wie folgt dargestellt: a,i i a Abbildung 2 1 2 3 6 7 1 4 5 2 Gegeben eine Partitionierung ist ein als eine Gruppe von aufeinanderfolgenden Schichten zwischen zwei Split-Punkten definiert, die sequenziell auf demselben Knoten ausgeführt werden. Im obigen Beispiel wird Knoten N zwei Threads ausführen, der erste enthält die Schichten {L ,L ,L } und der zweite die {L ,L } . Thread 1 1 2 3 6 7 Mit diesen definierten Notationen leitet der Rest dieses Abschnitts einen geschlossenen Ausdruck für den Inferenzdurchsatz ab, der durch eine gegebene Partitionierung erzielt wird, als Funktion der Inferenz- ( ) und Übertragungslatenzen ( ). Abschnitt III-B Abschnitt III-C B. Vorhersage der Inferenzlatenz Gegeben eine Partitionierung betrachtet dieser Abschnitt die Vorhersage der Inferenzlatenz auf einem isolierten Knoten. Die Latenz, die durch die Berechnung einer Schicht L mit dem Verbrauch c , die auf Knoten N mit der Verarbeitungsrate η berechnet werden soll, ist ausgedrückt als T (N )=c /η . Gegeben eine Menge von Schichten L'⊂L über alle auf Knoten N mit Verarbeitungsrate η laufenden Threads, kann die Inferenzlatenz ausgedrückt werden als: i i a a ci a i a a a Dieser Ausdruck ist eine Approximation erster Ordnung einer Inferenzlatenzschätzung, die auf der Anzahl der Gleitkommaoperationen (FLOPs) basiert, die zur Verarbeitung der DNN erforderlich sind, d. h. der Anzahl der Multiplikations-Additions-Operationen im Modell. Die Schätzung der Inferenzlatenz auf Edge-Geräten wird durch Laufzeitoptimierungen erschwert. Bestehende Lösungen wie nn-Meter prognostizieren die Inferenzlatenz basierend auf FLOPs. Andere Lösungen verlassen sich auf eine Nachschlagetabelle mit vorab berechneten Inferenzzeiten für die Latenzprognose. Beispielsweise verwendet BRP-NAS ein vortrainiertes Graph Convolutional Network zur Vorhersage von Inferenzlatenzen unter Berücksichtigung von Laufzeitmodelloptimierungen. [[18]](javascript:void()) [[19]](javascript:void()) In wird weiter angenommen, dass Prozessoren ihre volle Kapazität nutzen, was bedeutet, dass Mehrkernprozessoren als Einkernprozessoren mit einer Verarbeitungsrate modelliert werden, die der Summe ihrer Kernverarbeitungsraten entspricht. Es wird auch angenommen, dass die Computerressource gleichmäßig auf die Threads verteilt wird, d. h. ein Prozessor widmet jedem Thread den gleichen Anteil seiner Zeit. Gleichung 1 Über alle Knoten hinweg setzt der Thread mit der höchsten Latenz die Inferenzdurchsatzrate für die verteilte DNN. Ohne Berücksichtigung von Übertragungslatenzen bedeutet dies, dass, sobald dieser limitierende Thread mit der Berechnung eines Datenrahmens fertig ist, er direkt den nächsten verarbeitet. Andere Threads haben Leerlaufzeit, bevor sie den nächsten Datenrahmen verarbeiten, da ihre Inferenzlatenz niedriger ist als diese maximale Latenz, wie in gezeigt. Abbildung 1 Gegeben eine Partitionierungsmatrix P , können die Inferenzlatenzen als einzelner Vektor T der Größe N ausgedrückt werden, wobei die a -te Komponente die höchste Thread-Inferenzlatenz auf Knoten N ist, d. h. T =T (N ) : c a ca c a wobei H die Diagonalmatrix der inversen Knotenverarbeitungsraten diag(η ,…,η ) und c der Spaltenvektor der individuellen Schichtverbräuche (c ,…,c ) ist. −1 1 −1 N 1 L C. Vorhersage der Übertragungslatenz Die Übertragungslatenz kann wie folgt vorhergesagt werden: Die Zeit, die benötigt wird, um die Datenmenge s zwischen den Schichten L und L an der Kante (N ,N ) über eine Verbindung mit dem gemessenen Durchsatz θ zu senden, beträgt T (N ,N )=s /θ . Die Zeit für die Datenübertragung s ∈E'⊂E über die Verbindung (N ,N ) ist: i,j i j a b a,b ti,j a b i,j a,b i,j a b Ähnlich wie bei der Vorhersage der Inferenzlatenz bedeutet dies, dass die Verbindungen gleichmäßig zwischen den Datenübertragungen von N nach N geteilt werden. Die Vorhersage der Übertragungslatenz beruht auf der Schätzung des Verbindungsdurchsatzes zwischen den Knoten, genauer gesagt des , d. h. der Menge der pro Sekunde übertragenen Nutzdaten. a b Goodput Ähnlich wie bei der Schätzung der Inferenzlatenz ist dies eine Approximation erster Ordnung, die effizient gute Vorhersageergebnisse liefert, wie in c gezeigt, mit einem Korrelationskoeffizienten von R =0,9998 . Der Nachteil dieser Methode ist, dass die Verbindungen gesättigt sein müssen, um eine Durchsatzschätzung zu erhalten. Abbildung 3 2 Gegeben eine Partitionierungsmatrix P , kann die Übertragungslatenzmatrix T als quadratische Matrix der Größe L definiert werden, wobei T =T (N ,N ) : t ta,b t a b wobei ° das elementweise Produkt oder Hadamard-Produkt ist, Θ die Matrix der inversen Durchsätze ist, d. h. eine quadratische Matrix der Größe N mit Θ =θ und S die Übertragungsgrößenmatrix ist, d. h. eine quadratische Matrix der Größe L mit S =s , wenn L Daten an L sendet, sonst 0. a,b −1 a,b i,j i,j i j ABSCHNITT IV. DNN-Partitionierung Das Ziel der DNN-Partitionierung in dieser Studie ist die Maximierung des Inferenzdurchsatzes, bezeichnet als C , der dem Kehrwert der maximalen Latenz zwischen allen verschiedenen Berechnungs- und Übertragungslatenzen entspricht. Gegeben eine Partitionierung P , ist der Inferenzdurchsatz definiert als: Die Maximierung des Inferenzdurchsatzes entspricht der Suche nach dem gemeinsamen Min-Max zwischen allen Termen von T und T . Dies kann als diskretes Optimierungsproblem definiert werden: c t wobei J die Matrix aus Einsen der Größe i×j ist, die Bedingungen und erfordern, dass jede Schicht auf einem und nur einem Knoten platziert wird. i,j (6) (7) Dieses Optimierungsproblem ist ein Mixed Integer Non-linear Programming (MINLP)-Problem. Die Partitionierungsmatrix kann als One-Hot-kodierte Version eines Vektors der Größe (1×L) mit Werten in [[1,N]] betrachtet werden. MINLP-Probleme sind NP-schwer, was bedeutet, dass die Komplexität der Ermittlung einer optimalen DNN-Partitionierung O(N ) beträgt, da jede der L Schichten auf N Knoten platziert werden kann. Es gibt verschiedene Heuristiken, um optimale oder suboptimale Lösungen für dieses Problem in weniger Zeit als ein Brute-Force-Algorithmus zu erhalten, z. B. Genetische Algorithmen (GA) , Partikelschwarmoptimierung (PSO) oder Branch and Bound (B&B) . Die gewählte Methodik ist eine angepasste B&B-Implementierung, die in L [[21]](javascript:void()) [[22]](javascript:void()) [[23]](javascript:void()) Abs