为什么您的人工智能不再需要云计算就能运行得更快了

作者： Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen 摘要： 在流数据上进行深度神经网络（DNN）推理需要计算资源来满足推理吞吐量要求。然而，对于延迟和隐私敏感的深度学习应用来说，由于潜在的传输成本以及对第三方云提供商缺乏信任，它们无法将计算卸载到远程云。在提高性能的同时将计算保留在受限环境中的解决方案中，硬件加速可能会很繁重，模型优化需要 extensive 的设计工作，同时会损害准确性。DNN 分区是第三种互补的方法，它包括将推理工作负载分布到几个可用的边缘设备上，同时考虑到边缘网络的特性和 DNN 的结构，目标是最大化推理吞吐量（每秒推理次数）。本文介绍了一种预测多线程分布式 DNN 部署的推理和传输延迟的方法，并定义了一个优化过程来最大化推理吞吐量。然后，介绍并分析了一个分支定界求解器，以量化实现的性能和复杂性。该分析 dẫn đến 加速区域的定义，该区域描述了 DNN 分区有利的 DNN 和网络特性的确定性条件。最后，实验结果证实了模拟，并显示了示例边缘部署中的推理吞吐量改进。 边缘的 DNN 分区可在提高推理吞吐量的同时，降低带宽使用量和到中心化服务器（例如云）的延迟。 引言 互联设备每天产生约 25 亿字节的数据。 在此背景下，人工智能（AI）是能够最好地应对不断增长的数据量的一项技术，其应用领域包括计算机视觉中的物体检测、面部识别、语音识别、自然语言处理或自动驾驶。AI，特别是深度学习（DL），除了大量数据外，还需要显著的处理能力和内存能力，这使得云计算成为 AI 工作负载的“事实上的”托管解决方案。因此，2019 年，96% 的 AI 任务在云端运行。 1 2 AI 应用可能面临严格的延迟限制，例如在自动驾驶、制造监控或任何涉及现实世界交互的实时推理中。例如，自动驾驶的平均响应时间要求低于 100 毫秒 ，这使得往返云端的延迟对于此类应用来说过长。同样，某些应用可能会在网络上造成显著的链路使用，例如在计算机视觉中的高质量视频处理的情况下，这会阻止它们在云端运行。数据隐私政策或数据保护法规也可能禁止数据离开特定环境。这鼓励了 AI 在边缘计算中的部署，边缘计算是将计算任务从数据中心迁移到更靠近边缘设备的位置，即靠近数据源。 [](javascript:void()) 与公共云相比，边缘是一个资源受限的环境，存在重要的限制 ，因此为边缘开发 AI 与为云开发 AI 本质上不同。由于设备容量较低、可用资源缺乏弹性以及边缘网络的异构性，在靠近数据源的地方分析数据可能具有挑战性。降低计算能力意味着降低可实现的推理吞吐量，这进一步增加了将重负载从云迁移到边缘的难度。在某些应用中，推理吞吐量，即 DNN 的每秒可实现的推理次数，可能与 DNN 的准确性相关，例如在视频流中的对象跟踪中，将推理速率从每秒 15 次降低到 5 次已被证明会使对象检测器的 F1 分数__3__降低 10% 。换句话说，推理吞吐量低的部署可能导致关键信息丢失，例如视频监控应用中的检测丢失。 [](javascript:void()) [](javascript:void()) 在受限的边缘网络上满足性能要求主要有两种可用方法：模型压缩或硬件加速。*模型压缩*包括减少和优化神经网络，使其成为轻量级、通常性能较低的模型版本。标准的模型压缩方法包括剪枝 ，即去除模型中不必要的参数；量化 ，即减少存储模型的内存分配；以及知识蒸馏 ，即使用从大型神经网络中提取的知识来训练一个小型神经网络。模型优化需要 extensive 的设计工作，并且可能阻碍模型准确性。*硬件加速*在边缘设备上意味着寻找既节能又轻量级，同时仍能以足够性能运行推理的硬件。边缘加速的候选硬件有多种类型，效率和特异性各不相同，但标准处理单元无法满足预期，而 ASIC 等专用硬件被发现不切实际且昂贵 。 [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) DNN 分区是一种通过利用边缘网络上现有设备的数量来加速推理的互补方法，它将推理计算分布开——可以单独使用，也可以与其他两种方法结合使用。DNN 分区包括将神经网络视为一个要分割成多个分区的管道，并将这些分区分发到边缘设备上。这些分区的放置基于 DNN 和底层网络的特性。DNN 分区依赖于识别分割点，即模型图中模型被分割成分子的点。在运行时，分区按顺序运行，每个分区将中间推理结果发送到下一个分区。这使得每个分区可以开始计算下一个输入数据，而其他设备则继续处理已卸载的数据，从而提高推理吞吐量，如图 1 所示。在本文的其余部分，DNN 分区将通过视频流上的实时推理示例进行说明。 A. 相关工作 源自移动边缘云卸载的 DNN 分区方法旨在优化计算延迟、能耗、资源利用率、成本或吞吐量等各种性能指标。DNN 分区依赖于将一个或多个这些指标关联起来以定义优化目标，以及一种利用该指标来查找分区方案的方法。例如，Neurosurgeon 寻找一个分割点，将第一个分区保留在边缘，将第二个分区卸载到云端，以最小化延迟和能耗。物联网应用也考虑了多个 DNN 的联合分区和卸载，以优化能耗、延迟和/或成本，使用不同的求解器，如结合了粒子群优化（PSO）和遗传算法（GA）的 SPSO-GA ，或使用深度强化学习 DDPQN 来查找分区方案。其他例子包括 DINA ，它定义了一个整数非线性规划（INLP）问题，并使用基于匹配理论的求解器来优化雾网络的延迟和资源利用率。优化推理吞吐量的方法包括 DNN surgery ，它利用中间 DNN 层输出的较小尺寸在边缘和云之间划分推理计算。两种算法都创建了两个分区，一个在边缘，另一个在云端。移动边缘计算领域的其他研究 也包括云中的多线程计算，以进一步加速整体推理吞吐量。依赖云进行第二个分区推理计算假定网络连接良好，但对于某些孤立边缘部署的连接不良情况来说，这可能是不确定的。Edgent 将先前的方法应用于移动设备和可用的边缘服务器，放宽了卸载到云端的限制。这种方法与特定的训练和模型架构相关，并且仍然将分区限制为两个分区。其他方法考虑了多个分割点，例如 IONN ，它描述了最小化延迟和能耗的分区问题，同时也考虑了将模型上传到边缘服务器的时间。 [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) [](javascript:void()) 这些方法要么与远程云交互，要么在分区的性质上受到限制，例如，要求恰好分为两部分，有或没有多线程。上面列出的 DNN 分区研究都没有同时考虑多个分割点和多线程。 B. 贡献 本文提出了一种分布式推理框架，用于最大化流数据上实时 DNN 计算的推理吞吐量，该框架具有多个分割点和多线程分区。本文的贡献如下： 一个用于预测分布式 DNN 的计算和传输延迟的模型，通过该模型可以估计给定分区方案的预期推理吞吐量。 DNN 分区的优化问题公式化，该问题的分支定界求解器实现，及其复杂性评估。 模拟以探索不同网络和 DNN 属性可能带来的性能改进。 识别网络和 DNN 属性中导致最优分区存在的确定性区域以及计算这些解的成本，即 DNN 分区有利的条件。 实验结果说明了模拟中定义的区域，以及同构和异构环境中预测准确性和最终推理吞吐量加速。 在本文的其余部分，为避免混淆，将分区深度神经网络称为*DNN*，将*网络*一词表示底层物理通信网络。 C. 论文大纲 本文的其余部分组织如下。 介绍了深度学习的背景以及本研究如何表示 DNN。 详细介绍了用于 的推理和传输延迟预测方法，该节定义了优化问题以及用于做出分区决策的分支定界算法。 展示了模拟结果，以量化分支定界算法的性能和复杂性，以及导致同构网络中存在提高推理吞吐量的分区的条件。 展示了实验结果，证实了 的模拟，并在异构实验设置中显示了推理吞吐量的改进。最后， 讨论了结果并扩展了该方法的更广泛适用性。 第二节 第三节 第四节 第五节 第六节 第五节 第七节 第二节。 背景：深度学习 在机器学习领域，深度学习（DL）是指依赖于使用 DNN 的方法，即包含多个隐藏层的*人工神经网络（或相关的机器学习方法）。深度学习架构的最早参考之一发表于 1967 年 ，但直到 2010 年代，DL 才获得关注，首先是在语音识别领域，然后是在图像物体检测领域，因为它能够捕捉高维数据中的复杂关系。据估计，深度学习将占 2022 年 AI 应用的大部分，超过 75% 的组织使用 DNN 来应用经典的经典方法。 DL 方法被定义为“*机器学习技术，其中假设采取具有可调连接强度的复杂代数电路的形式*” 。这些代数电路通常组织成层，构成计算的步骤。*深度*一词指的是包含两个以上层（译者注：原文此处为 'more than one layer'，根据上下文，应为“两个以上层”）的算法。 [](javascript:void()) 4 [](javascript:void()) 有两种主要的 DNN 结构：前馈神经网络和循环神经网络。两种类型的 DNN 都可以表示为计算图，主要区别在于前馈网络可以表示为有向无环图（DAG），而循环神经网络可能包含循环。循环神经网络专为数据序列而构建，其中每个数据点可能与序列中的先前数据点相关，而前馈神经网络不考虑数据序列中点之间的交互。 本文的其余部分将考虑前馈 DNN 的情况。 5 第三节。 分布式推理建模 本节介绍了一个模型来表示 DNN 和网络属性，以便预测给定分区解决方案的计算延迟、传输延迟和最终推理吞吐量。 A. DNN 和网络表示 由 N 层组成的前馈 DNN 表示为一个 DAG GA=(L,E) ，其中 L=(L1,…,LL) 是 DNN 的层。边 (Li,Lj)∈E 是层 Li 和 Lj 之间的连接。每层 Li 都有一个相关的计算消耗 ci ，以完成一层前向传递所需的浮点运算次数来衡量。边 (Li,Lj) 被分配一个权重 si,j ，表示层 Li 和 Lj 之间传输的数据大小（以字节为单位）。 物理网络表示为一个全连接图 G=(N,V) ，其中 N=(N1,…,NN) 是计算节点集， V 是节点之间的链路集。假设计算节点 N1,…,NN 的处理速率分别为 η1,…,ηN ，以每秒浮点运算次数来衡量。最后，两个相邻节点 Na 和 Nb 之间的链路吞吐量表示为 θa,b ，以每秒字节数衡量。每个节点 Ni 都连接到自身，具有无限吞吐量以表示回送链路，并且链路假定为对称的，即 θa,b=θb,a 。 分区定义为映射 P:L→N ，即分区将一个节点编号分配给 DNN 中的每一层。分区可以描述为一个维度为 (N×L) 的矩阵 P ，其中 N 是网络中的节点数，L 是 DNN 层数，并且当层 Li 放置在节点 Na 上时， Pa,i=1 ，否则为 0。在图 2 所示的示例中，假设有 L=7 层和 N=2 个计算节点，图示的分区将层 {L1,L2,L3,L6,L7} 放在节点 N1 上，将层 {L4,L5} 放在节点 N2 上，表示为： 给定一个分区，*线程*被定义为两个分割点之间的连续层组，在同一节点上顺序运行。在上面的示例中，节点 N1 将运行两个线程，第一个包含层 {L1,L2,L3} ，第二个包含 {L6,L7} 。 在定义了这些表示法之后，本节的其余部分将推导出给定分区实现的推理吞吐量的封闭表达式，作为推理（ ）和传输（ ）延迟的函数。 第三节-B 第三节-C B. 推理延迟预测 给定一个分区，本节将考察单个节点上的推理延迟预测。层 Li 的计算引起的延迟，其消耗为 ci ，要在节点 Na 上计算，其处理速率为 ηa ，表示为 Tci(Na)=ci/ηa 。给定一组层 L′⊂L ，分布在节点 Na 上运行的各个线程中，处理速率为 ηa ，推理延迟可表示为： 此表达式是基于处理 DNN 所需的浮点运算次数（FLOPs），即模型中的乘加运算次数的推理延迟估计的一阶近似。 边缘设备上的推理延迟估计因运行时优化而变得复杂。现有解决方案，如 nn-Meter ，基于 FLOPs 预测推理延迟。其他解决方案则依赖于查找表，其中包含预先计算的延迟推理时间。例如，BRP-NAS 使用预训练的图卷积网络来预测推理延迟，同时考虑运行时模型优化。 [](javascript:void()) [](javascript:void()) 在 中，还假设处理器使用其全部容量，这意味着多核处理器被建模为单核处理器，其处理速率等于其核心处理速率之和。还假设计算资源在线程之间平均分配，即处理器为其每个线程分配相同比例的时间。 方程 1 在所有节点中，延迟最高的线程决定了分布式 DNN 的推理吞吐量。忽略传输延迟，这意味着一旦这个限制性线程完成数据帧的计算，它就会直接处理下一个数据帧。其他线程将在处理下一个数据帧之前有空闲时间，因为它们的推理延迟低于此最大延迟，如 所示。 图 1 给定分区矩阵 P ，推理延迟可以表示为单个向量 Tc ，大小为 N ，其中第 a 个分量是节点 Na 上最高的线程推理延迟，即 Tca=Tc(Na) ： 其中 H 是逆节点处理速率的对角矩阵 diag(η−11,…,η−1N) ， c 是单个层消耗的列向量 (c1,…,cL) 。 C. 传输延迟预测 传输延迟可以按如下方式预测：在边 (Na,Nb) 上，将层 Li 和 Lj 之间的数据量 si,j 通过吞吐量为 θa,b 的链路发送所需的时间为 Tti,j(Na,Nb)=si,j/θa,b 。在链路 (Na,Nb) 上实现数据传输 si,j∈E′⊂E 的时间为： 与推理延迟预测类似，这表示链路在数据传输之间平均分配。传输延迟预测依赖于链路吞吐量的估计，特别是*实际吞吐量*（goodput），即每秒传输的有用数据量。 与推理延迟估计类似，这是一个一阶近似，可以有效地提供良好的预测结果，如 c 所示，相关系数为 R2=0.9998 。此方法的一个缺点是需要饱和链路才能获得吞吐量估计。 图 3 给定分区矩阵 P ，传输延迟矩阵 Tt 可以定义为一个大小为 L 的方阵，其中 Tta,b=Tt(Na,Nb) ： 其中 ° 是逐项乘积，或称为 Hadamard 乘积， Θ 是逆吞吐量矩阵，即一个大小为 N 的方阵，其中 Θa,b=θ−1a,b ，而 S 是传输大小矩阵，即一个大小为 L 的方阵，其中 Si,j=si,j 如果 Li 发送数据到 Lj ，否则为 0。 第四节。 DNN 分区 本研究中 DNN 分区的目标是最大化推理吞吐量，表示为 C ，它等于所有不同计算和传输延迟之间最大延迟的倒数。给定分区 P ，推理吞吐量定义为： 最大化推理吞吐量相当于找到 Tc 和 Tt 之间所有项的联合最小-最大值。这可以定义为一个离散优化问题： 其中 Ji,j 是大小为 i×j 的全一矩阵，条件 和 要求每个层都放置在一个且仅一个节点上。 (6) (7) 此优化问题是一个混合整数非线性规划（MINLP）问题。分区矩阵可以看作是大小为 (1×L) 的向量的独热编码版本，其值在 [[1,N]] 范围内。MINLP 问题是 NP 难的，这意味着找到最优 DNN 分区的复杂性为 O(NL) ，因为 L 个层中的每一个都可以放置在 N 个节点上。存在多种启发式方法可以在比暴力算法更短的时间内获得该问题的最优或次优解，例如遗传算法（GA） 、粒子群优化（PSO） 或分支定界（B&B） 。所选方法是经过调整的 B&B 实现，将在 中介绍。 [](javascript:void()) [](javascript:void()) [](javascript:void()) 第四节-A A. 分支定界算法 本节介绍了分支定界（B&B）方法对 中定义的 DNN 分区优化问题的适应。 第四节 在 B&B 算法中，解空间由一棵树表示。该过程包括根据根节点分数的评估来消除树中的整个分支。这意味着存在一个树形拓扑，它在树中节点的分数与其所有叶子节点分数的界限之间建立关系。 此解决方案空间的树形表示有利于在本研究中使用 B&B 算法。假设 ps 是一个大小为 s 的局部列表，节点 ps 的子节点是所有以 ps 开头的所有列表，即，所有第一个 s 层根据 ps 放置的分区。 ps 下方对应于用 ps 的最后一个值填充的 ps 的叶节点标记为 ps~ 。例如，如果 L=5 且 p2=(2,1) ，则 p2~=(2,1,1,1,1) 。给定 Ttmax=maxTt(ps~) ，即分区 ps~ 的最大传输延迟值， ps 下方的所有叶节点 p 的最大传输延迟将高于 ps~ ，即 ∀p,maxTt(p)≥Ttmax 。这是因为，给定一个局部分区，其他层中的任何位移只会增加节点之间的传输数据。 在寻找最优分区 p （最大化推理吞吐量 C(p,GA,GN) ）的过程中，并给定当前可达到的最佳吞吐量 best_throughput ，B&B 优化包括通过评估局部分区中的传输时间来消除树的整个分支。这个过程使得 B&B 优化能够比暴力算法更快地消除许多情况。例如，如果节点之间的吞吐量与计算能力相比很低，例如，节点通过低吞吐量无线连接，则最优解决方案通常是将所有计算保留在一个节点上。B&B 算法的优势在于，在这种简单情况下，它在第一阶段通过消除所有局部分区后在 N 次操作后终止。相反，在链路吞吐量较高的情况下，B&B 的复杂性可能会更高，因为它无法消除大分支。 B. 分支定界复杂性 在此方法中，忽略了实际实现中所有分区总数造成的开销。此附加延迟与分区总数相关。每次分区，从网络接口控制器（NIC）到内存的数据传输都会引起额外的延迟，这与 PCIe 吞吐量、内存吞吐量和传输数据的大小有关。假设数据传输吞吐量受内存吞吐量限制，对该延迟的简化评估将 中的计算延迟更改为： 方程 1 在此表达式中， ν 是内存吞吐量，即读/写内存的速度，而 (i,j)∈C 是所有层 Li 和 Lj ，使得边 (Li,Lj) 是一个分割点，并伴随数据传输 si,j 。 1) 提前停止 随着分区的增加，性能和推理延迟预测的准确性都会下降。因此，并且为了在网络吞吐量高的情况下增加复杂性，添加了一个提前停止机制来限制最终分区中的分割点数量，即，B&B 将只探索最多 S 个分割点的局部分区，进一步限制了所探索树的大小。带有有限分割点的完整 B&B 算法如图 所示。 算法 1 算法 1 分支定界算法 限制分割点的数量降低了此 MINLP 问题的复杂性。对于 N 个节点数和 L 个 DNN 层数，算法考虑的分区总数现在降低为： 而不是暴力算法的 O(NL) 。 第五节。 模拟 本节介绍模拟，以评估算法参数对 B&B 算法性能和复杂性的影响。B&B 的最坏情况复杂性在 中描述，当局部分区中计算的所有传输时间都超过已实现的最佳时间时，但有效的 B&B 复杂性根据 DNN 和网络属性而变化。以下变量被探讨： 方程 9 节点数 N 与最大允许分割点数 S 之间的关系，这决定了达到最优解所需的 B&B 迭代次数。 链路吞吐量 θ 与节点处理速率 η 之间的关系，这决定了存在改进推理吞吐量的分区的条件。 这些交互通过以下指标进行评估，这些指标可用于将所提出的方法与现有文献进行比较： 实现的推理吞吐量，以每秒推理次数衡量。 达到解所需的 B&B 迭代次数，即解树中探索的分区数量。此指标代替了计算时间，目的是抽象所使用的设备性能。作为参考，在具有 Intel Core i7 处理器的台式计算机上运行 B&B 时，通过 102 次迭代需要 17 毫秒，通过 104 次迭代需要 1.269 秒，通过 106 次迭代需要 5 分钟。 为了隔离每个变量的贡献，模拟在同构网络场景下运行，即所有节点具有相同的处理速率，所有链路具有相同的吞吐量。 A. 节点数和分割点数 设置包括一个同构网络，处理速率设置为 5GHz（标准边缘设备的处理速率，例如 Raspberry Pi 4__8__），链路吞吐量为 10MBps（802.11 连接的有效吞吐量）。网络中的计算节点数 N 在 1 到 6 之间变化，最大分割点数 S 在 0（将所有计算保留在一个节点上）到 5（总共 6 个分区，分布在网络上）之间变化。 a 还说明，当最大分割点数超过 S>3 时，可实现的最佳吞吐量不再提高。对于给定的处理速率和链路吞吐量值，增加最大分割点数不会影响实现的推理吞吐量。此观察的主要优点是为限制 B&B 最大分割点值 S 增加了一个论据。由于分数保持不变，而复杂性显著增加，因此在这些条件下选择 S=3 既能保持合理的复杂性又能达到最优解。 图 5 这可以解释如下