Por Que Sua IA Não Precisa Mais da Nuvem Para Rodar Mais Rápido

Autores: Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen Resumo: A inferência de redes neurais profundas (DNNs) em dados de streaming requer recursos computacionais para satisfazer os requisitos de taxa de transferência de inferência. No entanto, aplicações de aprendizado profundo sensíveis à latência e à privacidade não podem arcar com a descarga da computação para nuvens remotas devido ao custo de transmissão implícito e à falta de confiança em provedores de nuvem de terceiros. Entre as soluções para aumentar o desempenho mantendo a computação em um ambiente restrito, a aceleração de hardware pode ser onerosa, e a otimização de modelos requer esforços extensivos de design, prejudicando a precisão. A particionamento de DNN é uma terceira abordagem complementar, que consiste em distribuir a carga de trabalho de inferência por vários dispositivos de borda disponíveis, levando em conta as propriedades da rede de borda e a estrutura da DNN, com o objetivo de maximizar a taxa de transferência de inferência (número de inferências por segundo). Este artigo introduz um método para prever latências de inferência e transmissão para implantações distribuídas de DNN multithread, e define um processo de otimização para maximizar a taxa de transferência de inferência. Um solver branch and bound é então apresentado e analisado para quantificar o desempenho e a complexidade alcançados. Essa análise levou à definição da região de aceleração, que descreve condições determinísticas sobre as propriedades da DNN e da rede sob as quais o particionamento de DNN é benéfico. Finalmente, resultados experimentais confirmam as simulações e mostram melhorias na taxa de transferência de inferência em implantações de borda de amostra. O particionamento de DNN na borda permite a aceleração da taxa de transferência de inferência, ao mesmo tempo em que reduz o uso de largura de banda e a latência para servidores centralizados, por exemplo, na nuvem. Introdução Dispositivos conectados geraram uma estimativa de 2,5 quintilhões de bytes de dados todos os dias em 2020. Nesse contexto, a Inteligência Artificial (IA) é uma das tecnologias que melhor pode lidar com a quantidade sempre crescente de dados produzidos, em uma variedade de campos como detecção de objetos em visão computacional, reconhecimento facial, reconhecimento de fala, processamento de linguagem natural ou direção autônoma. IA, e especificamente Deep Learning (DL), requer, além de grandes quantidades de dados, capacidades significativas de poder de processamento e memória, o que torna a computação em nuvem a solução de hospedagem para cargas de trabalho de IA. Consequentemente, em 2019, 96% das tarefas de IA foram executadas na nuvem. 1 de facto 2 Aplicações de IA podem ter fortes restrições de latência, , em direção autônoma, monitoramento de fabricação ou qualquer inferência em tempo real envolvendo interação com o mundo real. Por exemplo, tempos médios de resposta na direção autônoma são necessários para serem inferiores a 100 milissegundos , tornando os tempos de ida e volta para a nuvem muito longos para tais aplicações. Da mesma forma, algumas aplicações podem introduzir um uso significativo do link na rede, , no caso de processamento de vídeo de alta qualidade em visão computacional, o que impede que elas rodem na nuvem. Políticas de privacidade de dados ou regulamentos de proteção de dados também podem proibir que os dados saiam de ambientes específicos. Isso incentiva implantações de IA em edge computing, que consiste em realocar tarefas de computação de data centers para mais perto dos dispositivos de borda, , nas proximidades das fontes de dados. por exemplo [](javascript:void()) por exemplo ou seja Em comparação com nuvens públicas, a borda é um ambiente com recursos limitados e com limitações importantes , e o desenvolvimento de IA para a borda é, portanto, intrinsecamente diferente do desenvolvimento de IA para a nuvem. Analisar dados próximos à sua origem pode ser desafiador devido às menores capacidades dos dispositivos, inelasticidade dos recursos disponíveis e heterogeneidade das redes de borda. A redução da capacidade computacional implica a redução da taxa de transferência de inferência alcançável, complicando ainda mais a realocação de cargas de trabalho pesadas da nuvem para a borda. Em algumas aplicações, a taxa de transferência de inferência, , as inferências alcançáveis por segundo de uma DNN, pode estar ligada à precisão da DNN, , com rastreamento de objetos em fluxos de vídeo, onde a queda da taxa de inferência de 15 para 5 inferências por segundo mostrou reduzir o score F1__3__ de um detector de objetos em 10% . Em outras palavras, implantações com baixa taxa de transferência de inferência podem causar perda crítica de informação, , perda de detecções em aplicações de vigilância por vídeo. [](javascript:void()) ou seja por exemplo [](javascript:void()) por exemplo Existem dois métodos principais disponíveis para atender aos requisitos de desempenho em redes de borda restritas: compressão de modelo ou aceleração de hardware. consiste em reduzir e otimizar redes neurais para uma versão leve, geralmente com desempenho inferior, do modelo. Métodos padrão de compressão de modelo incluem pruning , , remoção de parâmetros desnecessários no modelo, quantização , , redução da memória alocada para armazenar o modelo, e destilação de conhecimento , , treinamento de uma rede neural menor com conhecimento extraído de uma maior. A otimização de modelo requer esforços extensivos de design e pode ser um impedimento para a precisão do modelo. em dispositivos de borda implica encontrar hardware que possa ser eficiente em termos de energia e leve, ao mesmo tempo em que é capaz de executar inferências com desempenho suficiente. Existem vários tipos de hardware candidato para aceleração na borda, variando em eficiência e especificidade, mas unidades de processamento padrão falham em atender às expectativas e hardware dedicado, como ASICs, foram considerados impraticáveis e caros . Compressão de modelo [](javascript:void()) ou seja [](javascript:void()) ou seja [](javascript:void()) ou seja Aceleração de hardware [](javascript:void()) O particionamento de DNN é um método complementar para acelerar a inferência, aproveitando a multiplicidade de dispositivos existentes em redes de borda para distribuir a computação de inferência – que pode ser usado sozinho, ou em conjunto com os outros dois métodos. O particionamento de DNN consiste em considerar uma rede neural como um pipeline a ser segmentado em partições e distribuir essas partições em dispositivos de borda. A colocação dessas partições é baseada tanto na DNN quanto nas características da rede subjacente. O particionamento de DNN baseia-se na identificação de pontos de divisão, que são pontos no gráfico do modelo onde o modelo é separado em partições. Durante a execução, as partições são executadas sequencialmente, cada uma enviando resultados intermediários de inferência para a próxima partição. Isso permite que cada partição comece a computar os próximos dados de entrada enquanto os outros dispositivos continuam processando o offloaded, melhorando assim a taxa de transferência de inferência, como mostrado na . No restante deste artigo, o particionamento de DNN é ilustrado através do exemplo de inferência em tempo real em fluxos de vídeo. figura 1 A. Trabalhos Relacionados Métodos de particionamento de DNN, derivados de offloading móvel edge-cloud, buscam otimizar vários indicadores de desempenho, como latência de computação, consumo de energia, utilização de recursos, custo ou taxa de transferência. O particionamento de DNN baseia-se na associação de uma ou várias dessas métricas para definir um objetivo de otimização e um método que explore essa métrica para encontrar esquemas de particionamento. Por exemplo, Neurosurgeon busca um único ponto de divisão, mantendo a primeira partição na borda e descarregando a segunda partição para a nuvem, para minimizar a latência e o consumo de energia. Aplicações em IoT também consideraram o particionamento e offloading conjunto de várias DNNs para otimizar energia, atraso e/ou custo, usando diferentes solvers como SPSO-GA combinando Particle Swarm Optimization (PSO) e Genetics Algorithm (GA), ou DDPQN que usa Deep Reinforcement Learning para encontrar esquemas de particionamento. Outros exemplos incluem DINA , que define um problema de Integer Non Linear Programming (INLP) e usa um solver baseado em teoria de matching para otimizar atraso e utilização de recursos em redes fog. Métodos que otimizam a taxa de transferência de inferência incluem DNN surgery , que usa o menor tamanho das saídas das camadas intermediárias da DNN para particionar a computação de inferência entre a borda e a nuvem. Ambos os algoritmos criam duas partições, uma na borda e outra na nuvem. Outros estudos na área de mobile edge-cloud também incluem computação multithread na nuvem para acelerar ainda mais a taxa de transferência de inferência geral. Confiar na nuvem para a computação de inferência da segunda partição assume boa conectividade de rede, o que pode ser incerto com a má conectividade de algumas implantações de borda isoladas. Edgent adapta a metodologia anterior para dispositivos móveis e servidores de borda disponíveis, relaxando a restrição de offloading para a nuvem. Este método está ligado a um treinamento e arquitetura de modelo específicos e ainda limita o particionamento a duas partições. Outros métodos consideraram múltiplos pontos de divisão, , IONN , que descreve o problema de particionamento para minimizar latência e consumo de energia, também levando em conta o tempo de upload dos modelos para servidores de borda. [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) por exemplo [](javascript:void()) Esses métodos interagem com nuvens remotas ou são limitados na natureza do particionamento, , exigindo divisão em exatamente duas partes, com ou sem multithreading. Nenhum dos estudos de particionamento de DNN listados considera múltiplos pontos de divisão e multithreading. por exemplo B. Contribuições Este artigo apresenta um framework de inferência distribuída para maximizar a taxa de transferência de inferência de computação DNN em tempo real em dados de streaming, com múltiplos pontos de divisão e particionamento multithread. As contribuições deste artigo são as seguintes: Um modelo para prever latências de computação e transmissão de uma DNN distribuída, através do qual a taxa de transferência de inferência esperada de um determinado esquema de particionamento pode ser estimada. Formulação do problema de otimização para particionamento de DNN, implementação de um solver branch and bound para este problema e avaliação de sua complexidade. Simulações para explorar as possíveis melhorias de desempenho com propriedades de rede e DNN variadas. A identificação de regiões determinísticas nas propriedades de rede e DNN que levam à existência de particionamentos ótimos e o custo para computar tais soluções, , as condições sob as quais o particionamento de DNN é benéfico. ou seja Resultados experimentais ilustrando as regiões definidas nas simulações, bem como a precisão da previsão e a aceleração final da taxa de transferência de inferência para ambientes homogêneos e heterogêneos. Para o restante deste artigo, para evitar confusão, a rede neural profunda particionada será referida como , e o termo denotará a rede de comunicação física subjacente. DNN rede C. Esboço do Artigo O restante deste artigo está organizado da seguinte forma. apresenta o background de Deep Learning e como as DNNs são representadas neste estudo. detalha os métodos de previsão de latência de inferência e transmissão necessários para a que define o problema de otimização, bem como o algoritmo branch and bound para tomar decisões de particionamento. apresenta resultados de simulação para quantificar o desempenho e a complexidade do algoritmo branch and bound, bem como as condições que levam à existência de um particionamento que melhora a taxa de transferência de inferência em uma rede homogênea. apresenta resultados experimentais confirmando as simulações da , e mostra melhorias na taxa de transferência de inferência em um conjunto de experimentos heterogêneo. Finalmente, discute os resultados e expande a aplicabilidade mais ampla deste método. Seção II Seção III Seção IV Seção V Seção VI Seção V Seção VII SEÇÃO II. Background: Deep Learning No campo de Machine Learning, Deep Learning (DL) refere-se a métodos que dependem do uso de DNNs, , redes neurais artificiais (ou métodos de aprendizado de máquina relacionados) contendo mais de uma camada oculta. Uma das primeiras referências a arquiteturas de deep learning foi publicada em 1967 , mas foi somente na década de 2010 que o DL ganhou tração, primeiro em reconhecimento de fala, depois em detecção de objetos em imagens, pela capacidade de capturar relações complexas em dados de alta dimensionalidade. Estima-se que o Deep Learning represente a maioria das aplicações de IA em 2022, com mais de 75% das organizações usando DNNs para aplicações que poderiam usar métodos clássicos. Os métodos de DL foram definidos como “ ” . Esses circuitos algébricos são geralmente organizados em camadas, que formam etapas no cálculo. O termo refere-se a algoritmos que consistem em mais de uma camada. ou seja [](javascript:void()) 4 técnicas de aprendizado de máquina nas quais as hipóteses assumem a forma de circuitos algébricos complexos com forças de conexão ajustáveis [](javascript:void()) profundo Existem duas estruturas principais de DNN: redes neurais feed-forward e redes neurais recorrentes. Ambos os tipos de DNNs podem ser representados como gráficos de computação, sendo a principal diferença que as redes feed-forward podem ser representadas como grafos acíclicos direcionados (DAGs), enquanto as redes neurais recorrentes podem conter ciclos. As redes neurais recorrentes são construídas para sequências de dados, onde cada ponto de dados tem uma dependência potencial com pontos de dados anteriores na sequência, enquanto as redes neurais feed-forward não consideram interações entre pontos em uma sequência de dados. O restante deste artigo considerará o caso de DNNs feed-forward. 5 SEÇÃO III. Modelagem de Inferência Distribuída Esta Seção apresenta um modelo para representar propriedades de DNN e rede, a fim de prever latências de computação, latências de transmissão e a taxa de transferência de inferência final de uma determinada solução de particionamento. A. Representação de DNN e Rede Uma DNN feed-forward de N camadas é modelada como um DAG G =(L,E) com L=(L1,…,LL) sendo as camadas da DNN. As arestas (Li,Lj)∈E são as conexões entre as camadas Li e Lj . Cada camada Li tem um consumo de computação associado ci , medido no número de operações de ponto flutuante necessárias para computar uma passagem para frente pela camada. As arestas (Li,Lj) têm um peso atribuído si,j correspondente ao tamanho dos dados que transitam entre as camadas Li e Lj em bytes. A rede física é modelada como um grafo totalmente conectado G=(N,V) onde N=(N1,…,NN) é o conjunto de nós de computação e V é o conjunto de links entre os nós. Assume-se que os nós de computação N1,…,NN têm taxas de processamento η1,…,ηN , respectivamente, medidas em operações de ponto flutuante por segundo. Finalmente, a taxa de transferência do link entre dois nós adjacentes Na e Nb é denotada por θa,b , medida em bytes por segundo. Cada nó Ni está conectado a si mesmo com taxa de transferência infinita para representar o link de loopback, e os links são assumidos como simétricos, , θa,b=θb,a . ou seja Particionamentos são definidos como mapas P:L→N , , um particionamento atribui um número de nó a cada camada na DNN. Um particionamento pode ser descrito como uma matriz P de dimensão (N×L) , N sendo o número de nós na rede e L o número de camadas da DNN e, com Pa,i=1 se a camada Li estiver colocada no nó Na , 0 caso contrário. Com o exemplo dado na , L=7 camadas e N=2 nós de computação, o particionamento exibido com as camadas {L1,L2,L3,L6,L7} no nó N1 , e as camadas {L4,L5} no nó N2 , é representado como: ou seja figura 2 Dado um particionamento, uma é definida como um grupo de camadas consecutivas entre dois pontos de divisão, executado sequencialmente no mesmo nó. No exemplo acima, o nó N1 executará duas threads, a primeira contendo as camadas {L1,L2,L3} e a segunda contendo {L6,L7} . thread Com essas notações definidas, o restante desta Seção deriva uma expressão fechada da taxa de transferência de inferência alcançada por um determinado particionamento, como uma função das latências de inferência ( ) e transmissão ( ). Seção III-B Seção III-C B. Previsão de Latência de Inferência Dada uma partição, esta Seção analisa a previsão de latência de inferência em um nó isolado. A latência induzida pela computação de uma camada Li com consumo ci , a ser computada no nó Na , com taxa de processamento ηa é expressa como Tci(Na)=ci/ηa . Dado um conjunto de camadas L′⊂L entre todas as threads executadas no nó Na com taxa de processamento ηa , a latência de inferência pode ser expressa como: Esta expressão é uma aproximação de primeira ordem de uma estimativa de latência de inferência baseada no número de operações de ponto flutuante (FLOPs) necessárias para processar a DNN, , o número de operações de multiplicação-adição no modelo. ou seja A estimativa da latência de inferência em dispositivos de borda é complicada por otimizações em tempo de execução. Soluções existentes como nn-Meter preveem a latência de inferência com base em FLOPs. Outras soluções dependem de uma tabela de consulta com tempos de inferência pré-computados para inferência de latência. Por exemplo, BRP-NAS usa uma rede convolucional treinada para prever latências de inferência, levando em conta otimizações de modelo em tempo de execução. [](javascript:void()) [](javascript:void()) Na , assume-se ainda que os processadores utilizam sua capacidade total, o que implica que processadores multi-core são modelados como processadores single-core com uma taxa de processamento igual à soma de suas taxas de processamento de núcleo. Assume-se também que o recurso computacional é compartilhado igualmente entre as threads, , um processador aloca a mesma proporção de seu tempo para cada thread. equação 1 ou seja Em todos os nós, a thread com a maior latência define a taxa de transferência de inferência para a DNN distribuída. Omitindo as latências de transmissão, isso implica que, assim que essa thread limitante terminar de computar um quadro de dados, ela começa diretamente a processar o próximo. Outras threads terão tempo ocioso antes de processar o próximo quadro de dados porque sua latência de inferência é menor do que essa latência máxima, como mostrado na . figura 1 Dada uma matriz de particionamento P , as latências de inferência podem ser expressas como um único vetor Tc de tamanho N onde o a -ésimo componente é a maior latência de thread de inferência no nó Na , , Tca=Tc(Na) : ou seja onde H é a matriz diagonal das taxas de processamento inversas dos nós diag(η−11,…,η−1N) e c é o vetor coluna das consumos individuais de camada (c1,…,cL) . C. Previsão de Latência de Transmissão A latência de transmissão pode ser prevista da seguinte forma: o tempo necessário para enviar a quantidade de dados si,j entre as camadas Li e Lj no link (Na,Nb) com taxa de transferência medida θa,b é Tti,j(Na,Nb)=si,j/θa,b . O tempo para realizar transferências de dados si,j∈E′⊂E sobre o link (Na,Nb) é: Semelhante à previsão de latência de inferência, isso implica que os links são compartilhados igualmente entre as transferências de dados de Na para Nb . A previsão de latência de transmissão depende da estimativa da taxa de transferência do link entre os nós, mais precisamente do , , a quantidade de dados úteis transmitidos por segundo. goodput ou seja Semelhante à estimativa de latência de inferência, esta é uma aproximação de primeira ordem, que oferece eficientemente bons resultados de previsão, como mostrado na c, com um coeficiente de correlação de R2=0.9998 . A desvantagem deste método é a sua exigência de saturar os links para obter uma estimativa de taxa de transferência. figura 3 Dada uma matriz de particionamento P , a matriz de latência de transmissão Tt pode ser definida como uma matriz quadrada de tamanho L , com Tta,b=Tt(Na,Nb) : onde ° é o produto termo a termo, ou produto de Hadamard, Θ é a matriz de throughput inversa, , uma matriz quadrada de tamanho N com Θa,b=θ−1a,b e S é a matriz de tamanho de transmissão, , uma matriz quadrada de tamanho L com Si,j=si,j se Li envia dados para Lj , 0 caso contrário. ou seja ou seja SEÇÃO IV. Particionamento de DNN O objetivo do particionamento de DNN neste estudo é maximizar a taxa de transferência de inferência, denotada por C , que corresponde ao inverso da latência máxima entre todas as diferentes latências de computação e transmissão. Dada uma partição P , a taxa de transferência de inferência é definida como: Maximizar a taxa de transferência de inferência equivale a encontrar o min-max conjunto entre todos os termos de Tc e Tt . Isso pode ser definido como um problema de otimização discreta: com Ji,j sendo a matriz de todos uns de tamanho i×j , as condições e exigem que cada camada seja colocada em um e apenas um nó. (6) (7) Este problema de otimização é um problema de Mixed Integer Non-linear Programming (MINLP). A matriz de particionamento pode ser vista como a versão one-hot encoded de um vetor de tamanho (1×L) com valores em [[1,N]] . Problemas MINLP são NP-difíceis, implicando que a complexidade de encontrar um particionamento ótimo de DNN é O(NL) já que cada uma das L camadas pode ser colocada em N nós. Existem várias heurísticas para obter soluções ótimas ou sub-ótimas para este problema em menos tempo do que um algoritmo de força bruta, , Algoritmos Genéticos (GA) , Particle Swarm Optimization (PSO) , ou Branch and Bound (B&B) . A metodologia escolhida é uma implementação adaptada de B&B, que é apresentada na . por exemplo [](javascript:void()) [](javascript:void()) [](javascript:void()) Seção IV-A A. Algoritmo Branch and Bound Esta Seção apresenta a adaptação branch and bound (B&B) para o problema de otimização de particionamento de DNN definido na . Seção IV Em algoritmos B&B, o espaço de soluções é representado por uma árvore. O processo consiste em eliminar ramos inteiros da árvore com base na avaliação do score do nó raiz. Isso implica a existência de uma topologia de árvore que cria uma relação entre o score de um nó na árvore e os limites nos scores de todas as suas folhas. Essa representação em árvore do espaço de soluções favorece o uso do algoritmo B&B neste estudo. Assumindo que ps é uma lista parcial de tamanho s , os filhos do nó ps na topologia da árvore são todas as listas que começam com ps , , todos os particionamentos onde as primeiras s camadas são colocadas de acordo com ps . O nó folha abaixo de ps correspondente a ps preenchido com o último valor de ps é rotulado ps~ . Por exemplo, se L=5 e p2=(2,1) , então p2~=(2,1,1,1,1) . Dado Ttmax=maxTt(ps~) o valor máximo da matriz ou seja