为什么您的人工智能不再需要云端才能运行得更快

```html 作者： Thomas Feltin Léo Marchó Juan-Antonio Cordero-Fuertes Frank Brockners Thomas H. Clausen 摘要： 在流数据上进行深度神经网络 (DNN) 推理需要计算资源来满足推理吞吐量要求。然而，延迟和隐私敏感的深度学习应用程序由于隐含的传输成本和对第三方云提供商缺乏信任，无法将计算卸载到远程云。在提高性能的同时将计算保留在受限环境中的解决方案中，硬件加速可能会很繁重，模型优化需要大量的开发工作，同时会影响准确性。DNN 分区是第三种补充方法，它包括将推理工作负载分发到几个可用的边缘设备上，同时考虑边缘网络属性和 DNN 结构，目标是最大化推理吞吐量（每秒推理次数）。本文介绍了一种预测多线程分布式 DNN 部署的推理和传输延迟的方法，并定义了一个优化过程来最大化推理吞吐量。然后，将介绍并分析一个分支定界求解器，以量化所实现的性能和复杂性。该分析已用于定义加速区域，该区域描述了 DNN 分区有益的 DNN 和网络属性上的确定性条件。最后，实验结果证实了模拟，并显示了在示例边缘部署中推理吞吐量的改进。 边缘的 DNN 分区可以加速推理吞吐量，同时降低到中心服务器（例如云）的带宽使用和延迟。 引言 到 2020 年，互联设备每天产生约 25 亿字节的数据。 在此背景下，人工智能（AI）是最能应对不断增长的数据量的技术之一，其应用领域广泛，包括计算机视觉中的物体检测、面部识别、语音识别、自然语言处理或自动驾驶。AI，特别是深度学习（DL），除了大量数据外，还需要强大的处理能力和内存，这使得云计算成为 AI 工作负载的“事实”托管解决方案。因此，2019 年 96% 的 AI 任务在云端运行。 1 2 AI 应用可能具有严格的延迟限制，例如在自动驾驶、制造监控或任何涉及真实世界交互的实时推理中。例如，自动驾驶的平均响应时间要求低于 100 毫秒 ，这使得往返云端的时间对于此类应用来说太长。同样，某些应用可能会在网络上产生大量的链路使用，例如在高品质视频处理的计算机视觉应用中，这会阻止它们在云端运行。数据隐私策略或数据保护法规也可能禁止数据离开特定环境。这鼓励将 AI 部署到边缘计算中，即计算任务从数据中心迁移到更靠近边缘设备的地方，即靠近数据源。 [[1]](javascript:void()) 与公共云相比，边缘是一个资源受限的环境，存在重要的限制 ，因此为边缘开发 AI 与为云开发 AI 本质上是不同的。由于设备容量较低、可用资源弹性差以及边缘网络异构性，在靠近其源头的地方分析数据可能具有挑战性。降低计算能力意味着降低可实现的推理吞吐量，这进一步增加了将繁重的工作负载从云端迁移到边缘的难度。在某些应用中，推理吞吐量，即 DNN 可实现的每秒推理次数，可能与 DNN 精度相关，例如在视频流中的物体跟踪中，将推理速率从每秒 15 次降低到 5 次已显示会使目标检测器的 F1 分数__3__降低 10% 。换句话说，推理吞吐量低的部署可能会导致关键信息丢失，例如视频监控应用中的漏检。 [[2]](javascript:void()) [[3]](javascript:void()) 有两种主要方法可以满足受限边缘网络上的性能要求：模型压缩或硬件加速。*模型压缩*包括将神经网络简化和优化为轻量级、通常性能较低的模型版本。标准的模型压缩方法包括剪枝 ，即去除模型中不必要的参数；量化 ，即减少存储模型的分配内存；以及知识蒸馏 ，即使用从大型神经网络中提取的知识来训练一个更小的神经网络。模型优化需要大量的开发工作，并且可能阻碍模型精度。*硬件加速*在边缘设备上意味着找到既节能又轻量级，同时仍能提供足够性能进行推理的硬件。边缘加速的硬件有几种类型，效率和特异性各不相同，但标准处理单元无法满足预期，专用的 ASIC 等硬件被发现不切实际且昂贵 。 [[4]](javascript:void()) [[5]](javascript:void()) [[6]](javascript:void()) [[7]](javascript:void()) DNN 分区是一种补充方法，通过利用边缘网络中现有设备的数量来加速推理，从而分发推理计算——该方法可以单独使用，也可以与其他两种方法结合使用。DNN 分区包括将神经网络视为一个流水线，将其分割成多个分区，并将这些分区分发到边缘设备上。这些分区的放置基于 DNN 和底层网络的特性。DNN 分区依赖于识别分割点，即模型图中模型被分成分区的点。在运行时，分区按顺序运行，每个分区将中间推理结果发送到下一个分区。这使得每个分区能够开始计算下一个输入数据，而其他设备继续处理已卸载的数据，从而提高推理吞吐量，如图 所示。在本文的其余部分，DNN 分区将通过实时视频流推理的示例进行说明。 1 A. 相关工作 源自移动边缘云计算的 DNN 分区方法旨在优化各种性能指标，例如计算延迟、能耗、资源利用率、成本或吞吐量。DNN 分区依赖于一个或多个这些指标的关联来定义优化目标，以及一种利用该指标来查找分区方案的方法。例如，Neurosurgeon 寻求一个分割点，将第一个分区保留在边缘，将第二个分区卸载到云端，以最小化延迟和能耗。物联网应用也考虑了多个 DNN 的联合分区和卸载，以优化能耗、延迟和/或成本，使用不同的求解器，如结合了粒子群优化（PSO）和遗传算法（GA）的 SPSO-GA ，或使用深度强化学习 DDPQN 来查找分区方案。其他示例包括 DINA ，它定义了一个整数非线性规划（INLP）问题，并使用基于匹配理论的求解器来优化雾网络的延迟和资源利用率。优化推理吞吐量的方法包括 DNN surgery ，该方法利用中间 DNN 层输出的较小尺寸在边缘和云之间划分推理计算。这两种算法都创建了两个分区，一个在边缘，另一个在云端。移动边缘云计算领域的其他研究 也包括在云端进行多线程计算，以进一步加速整体推理吞吐量。依赖云进行第二个分区推理计算假设网络连接良好，这对于某些隔离的边缘部署的网络连接较差可能是不确定的。Edgent 将以前的方法应用于移动设备和可用的边缘服务器，放宽了卸载到云端的限制。该方法与特定的训练和模型架构相关，并且仍然将分区限制为两个分区。其他方法则考虑了多个分割点，例如 IONN ，它描述了最小化延迟和能耗的分区问题，同时还考虑了将模型上传到边缘服务器的时间。 [[8]](javascript:void()) [[9]](javascript:void()) [[10]](javascript:void()) [[11]](javascript:void()) [[12]](javascript:void()) [[13]](javascript:void()) [[14]](javascript:void()) [[15]](javascript:void()) 这些方法要么与远程云交互，要么在分区性质上受到限制，例如要求正好分成两部分，有或没有多线程。所列的 DNN 分区研究均未同时考虑多个分割点和多线程。 B. 贡献 本文提出了一个分布式推理框架，用于最大化流数据上实时 DNN 计算的推理吞吐量，具有多个分割点和多线程分区。本文的贡献如下： 一个用于计算和传输分布式 DNN 延迟的模型，通过该模型可以估计给定分区方案的预期推理吞吐量。 DNN 分区的优化问题公式化，该问题的分支定界求解器实现，以及对其复杂性的评估。 模拟以探索使用变化的Hola网络和 DNN 属性可能实现的性能改进。 识别出网络和 DNN 属性中导致最优分区存在的确定性区域以及计算这些解决方案的成本，即 DNN 分区有益的条件。 实验结果说明了模拟中定义的区域，以及预测的准确性和同构和异构环境中最终的推理吞吐量加速。 在本文的其余部分，为避免混淆，分区深度神经网络将称为*DNN*，而*网络*一词将表示底层的物理通信网络。 C. 论文大纲 本文其余部分组织如下。 介绍了深度学习的背景以及本研究中 DNN 的表示方式。 详细介绍了用于 的推理和传输延迟预测方法，该节定义了优化问题以及用于进行分区决策的分支定界算法。 展示了模拟结果，以量化分支定界算法的性能和复杂性，以及在同构网络中导致推理吞吐量改进的分区存在的条件。 展示了证实 模拟结果的实验结果，并在异构实验设置中显示了推理吞吐量的改进。最后， 讨论了结果以及该方法的更广泛适用性。 第二节 第三节 第四节 第五节 第六节 第五节 第七节 第二节。 背景：深度学习 在机器学习领域，深度学习（DL）指的是依赖于使用 DNN 的方法，即包含一个以上隐藏层的、人工智能神经网络（或相关的机器学习方法）。最早关于深度学习架构的参考之一发表于 1967 年 ，但直到 2010 年代，DL 才开始受到关注，首先是在语音识别领域，然后是在图像物体检测领域，因为它能够捕获高维数据中的复杂关系。据估计，到 2022 年，深度学习将占 AI 应用的大部分，超过 75% 的组织使用 DNN 来处理可以采用经典方法的应用程序。 DL 方法被定义为“ *假设采用具有可调连接强度的复杂代数电路的机器学习技术* ” 。这些代数电路通常组织成层，构成计算的步骤。*深度*一词指的是包含一个以上层的算法。 [[16]](javascript:void()) 4 [[17]](javascript:void()) 有两种主要的 DNN 结构：前馈神经网络和循环神经网络。这两种类型的 DNN 都可以表示为计算图，主要区别在于前馈网络可以表示为有向无环图（DAG），而循环神经网络可能包含循环。循环神经网络是为序列数据构建的，其中每个数据点可能与序列中的先前数据点相关，而前馈神经网络不考虑数据序列中的点之间的交互。 本文的其余部分将考虑前馈 DNN 的情况。 5 第三节。 分布式推理建模 本节介绍了一个模型来表示 DNN 和网络属性，以便预测计算延迟、传输延迟以及给定分区解决方案的最终推理吞吐量。 A. DNN 和网络表示 一个具有 N 个层的 N 层前馈 DNN 被建模为一个 DAG GA=(L,E)，其中 L=(L1,…,LL) 是 DNN 的层。边 (Li,Lj)∈E 是层 Li 和 Lj 之间的连接。每层 Li 具有相关的计算消耗 ci，以计算通过该层的前向传递所需的浮点运算次数来衡量。边 (Li,Lj) 被赋予权重 si,j，对应于层 Li 和 Lj 之间传输的数据大小（以字节为单位）。 物理网络被建模为一个全连接图 G=(N,V)，其中 N=(N1,…,NN) 是计算节点集，V 是节点之间的链路集。假设计算节点 N1,…,NN 的处理速率分别为 η1,…,ηN，以每秒浮点运算次数为单位。最后，两个相邻节点 Na 和 Nb 之间的链路吞吐量表示为 θa,b，以每秒字节数为单位。每个节点 Ni 与自身相连，具有无限吞吐量，以表示回环链路，并且链路假定是对称的，即，θa,b=θb,a 。 分区被定义为映射 P:L→N，即分区将节点编号分配给 DNN 中的每个层。分区可以用一个维度为 (N×L) 的矩阵 P 来描述，其中 N 是网络上的节点数，L 是 DNN 层数，并且 Pa,i=1 表示层 Li 放置在节点 Na 上，否则为 0。在图 2 所示的示例中，L=7 层，N=2 个计算节点，节点 N1 上的 {L1,L2,L3,L6,L7} 层，节点 N2 上的 {L4,L5} 层的显示分区表示为： 给定一个分区，*线程*被定义为在同一节点上按顺序运行的两个分割点之间的连续层组。在上面的示例中，节点 N1 将运行两个线程，第一个线程包含 {L1,L2,L3} 层，第二个线程包含 {L6,L7} 层。 定义了这些表示法后，本节的其余部分将根据推理（第三节 B）和传输（第三节 C）延迟推导出给定分区实现的推理吞吐量的封闭表达式。 B. 推理延迟预测 给定一个分区，本节将研究单个节点上的推理延迟预测。计算层 Li（其消耗为 ci）在节点 Na 上计算时引起的延迟，其处理速率为 ηa，表示为 Tci(Na)=ci/ηa 。给定一组层 L′⊂L，在节点 Na 上运行的、处理速率为 ηa 的所有线程中，推理延迟可以表示为： 此表达式是基于处理 DNN 所需的浮点运算次数（FLOPs）的推理延迟估算的初步近似，即模型中的乘加运算次数。 边缘设备上的推理延迟估算因运行时优化而变得复杂。现有解决方案，如 nn-Meter ，根据 FLOPs 预测推理延迟。其他解决方案则依赖于一个查找表，其中包含预先计算的延迟推理时间。例如，BRP-NAS 使用预先训练的图卷积网络来预测推理延迟，同时考虑运行时模型优化。 [[18]](javascript:void()) [[19]](javascript:void()) 在 中，还假定处理器使用其全部容量，这意味着多核处理器被建模为单核处理器，其处理速率等于其核心处理速率的总和。还假定计算资源在线程之间平均分配，即处理器将相同比例的时间分配给每个线程。 公式 1 在所有节点中，延迟最高的线程决定了分布式 DNN 的推理吞吐量。忽略传输延迟，这意味着一旦这个限制线程完成计算数据帧，它就会直接处理下一个数据帧。其他线程将在处理下一个数据帧之前有空闲时间，因为它们的推理延迟低于此最大延迟，如图 所示。 1 给定一个分区矩阵 P，推理延迟可以表示为单个向量 Tc，大小为 N，其中第 a 个分量是节点 Na 上的最高线程推理延迟，即 Tca=Tc(Na) ： 其中 H 是反向节点处理速率的对角矩阵 diag(η−11,…,η−1N)，c 是各个层消耗的列向量 (c1,…,cL)。 C. 传输延迟预测 传输延迟可以预测如下：在具有测量吞吐量 θa,b 的边 (Na,Nb) 上发送层 Li 和 Lj 之间的数据量 si,j 所需的时间为 Tti,j(Na,Nb)=si,j/θa,b 。在链接 (Na,Nb) 上实现数据传输 si,j∈E′⊂E 的时间为： 与推理延迟预测类似，这暗示链路在 Na 到 Nb 的数据传输之间平均分配。传输延迟预测依赖于链路吞吐量（更具体地说，是*有效吞吐量*，即每秒传输的有用数据量）的估计。 与推理延迟估算类似，这是初步近似，可以有效地提供良好的预测结果，如图 c 所示，相关系数 R2=0.9998 。此方法的缺点是需要使链路饱和才能获得吞吐量估算。 3 给定一个分区矩阵 P，传输延迟矩阵 Tt 可以定义为一个大小为 L 的方阵，其中 Tta,b=Tt(Na,Nb) ： 其中 ° 是逐项乘积，或 Hadamard 乘积，Θ 是反向吞吐量矩阵，即一个大小为 N 的方阵，其中 Θa,b=θ−1a,b ，S 是传输大小矩阵，即一个大小为 L 的方阵，其中 Si,j=si,j 如果 Li 发送数据到 Lj，否则为 0。 第四节。 DNN 分区 本研究中 DNN 分区的目标是最大化推理吞吐量 C，它等于所有不同计算和传输延迟之间最大延迟的倒数。给定一个分区 P，推理吞吐量定义为： 最大化推理吞吐量相当于在 Tc 和 Tt 的所有项之间找到联合的 min-max。这可以定义为一个离散优化问题： 其中 Ji,j 是大小为 i×j 的全 1 矩阵，条件 和 要求每个层放置在一个且仅一个节点上。 (6) (7) 此优化问题是一个混合整数非线性规划（MINLP）问题。分区矩阵可以看作是大小为 (1×L) 且取值在 [[1,N]] 中的向量的 one-hot 编码版本。MINLP 问题是 NP-hard 的，这意味着找到最优 DNN 分区的复杂度为 O(NL)，因为 L 个层中的每一个都可以放置在 N 个节点中的一个上。有几种启发式方法可以在比穷举搜索算法更短的时间内获得该问题的最优或次优解，例如遗传算法（GA） 、粒子群优化（PSO） 或分支定界（B&B） 。所选择的方法是改编的分支定界实现，这在第四节 A 中进行了介绍。 [[21]](javascript:void()) [[22]](javascript:void()) [[23]](javascript:void()) A. 分支定界算法 本节介绍分支定界（B&B）算法对第四节中定义的 DNN 分区优化问题的适应。 在 B&B 算法中，解空间由一棵树表示。该过程包括根据根节点分数的评估来消除树中的整个分支。这暗示存在一种树拓扑，它在树中节点的分数与其所有叶子节点的分数界之间创建关系。 解空间的这种树表示有利于在本研究中使用 B&B 算法。假设 ps 是一个大小为 s 的部分列表，节点 ps 的子节点是所有以 ps 开头的列表，即，所有前 s 层按照 ps 放置的分区。与 ps 对应的 ps 下的叶子节点被标记为 ps~。例如，如果 L=5 且 p2=(2,1)，则 p2~=(2,1,1,1,1)。给定 Ttmax=maxTt(ps~) 是分区 ps~ 的传输延迟矩阵的最大值， ps 下的所有叶子节点 p 将具有比 ps~ 更高的最大传输延迟，即，∀p,maxTt(p)≥Ttmax 。这是因为，给定一个部分分区，其他层中的任何移动只会增加节点之间的数据传输。这可以通过在树的第一阶段通过消除所有部分分区来解释，例如，如果节点之间的吞吐量远低于计算能力，例如，节点通过低吞吐量无线连接连接，则最优解通常是将所有计算保留在一个节点上。B&B 算法的优点是它在这种简单情况下仅在 N 次操作后终止，通过消除树的第一阶段中的所有部分分区。相反，在链路吞吐量较高的情况下，B&B 的复杂度可能会更高，因为它无法消除大的分支。 在寻找最优分区 p，最大化推理吞吐量 C(p,GA,GN) 的过程中，并给定当前可达到的最佳吞吐量 best_throughput，B&B 优化包括通过评估部分分区中的传输时间来消除树中的整个分支。与穷举算法相比，此过程允许 B&B 优化快速消除许多情况。例如，如果节点之间的吞吐量远低于计算能力，例如，节点通过低吞吐量无线连接连接，则最优解通常是将所有计算保留在一个节点上。B&B 算法的优点是它在这种简单情况下仅在 N 次操作后终止，通过消除树的第一阶段中的所有部分分区。相反，在链路吞吐量较高的情况下，B&B 的复杂度可能会更高，因为它无法消除大的分支。 B. 分支定界复杂性 此方法忽略了实际实现中总分区数造成的开销。添加的延迟与总分区数相关。对于每个分区，从网络接口控制器（NIC）到内存的数据传输会引起额外的延迟，这与 PCIe 吞吐量、内存吞吐量和传输数据的大小有关。假设数据传输吞吐量受内存吞吐量限制，此延迟的简化评估将公式 1 中的计算延迟更改为： 在此表达式中，ν 是内存吞吐量，即读/写内存的速度，并且 (i,j)∈C 是所有层 Li 和 Lj，使得边 (Li,Lj) 是一个分割点，并伴随着数据传输 si,j 。 1) 提前停止 随着分区数量的增加，性能和推理延迟预测的准确性都会下降。因此，并且为了提高高可用网络吞吐量情况下的复杂性，添加了提前停止机制来限制最终分区中的分割点数量，即，B&B 将只探索最多 S 个分割点的部分分区，从而进一步限制了所探索树的大小。完整的带有限制分割点的 B&B 算法显示在算法 1 中。 算法 1 分支定界算法 限制分割点的数量降低了此 MINLP 问题的复杂性。对于 N 个节点数和 L 个 DNN 层数，算法考虑的分区数现在降低到： 而不是穷举算法的 O(NL)。 第五节。 模拟 本节介绍模拟以评估算法参数对 B&B 算法性能和复杂性的影响。B&B 的最坏情况复杂度在公式 9 中描述，当部分分区中计算的所有传输时间都超过了最佳已达到时间时，但有效的 B&B 复杂度会根据 DNN 和网络属性而变化。以下变量被探讨： 节点数 N 与允许的最大分割点数 S 之间的关系，它决定了达到最优解所需的 B&B 迭代次数。 链路吞吐量 θ 与节点处理速率 η 之间的关系，它决定了改进推理吞吐量的分区是否存在。 这些交互通过以下指标进行评估，这些指标可用于将所提出的方法与现有文献进行比较： 实现的推理吞吐量，以每秒推理次数衡量。 达到解所需的 B&B 迭代次数，即解决方案树中探索的分区数。使用此指标而不是计算时间，是为了抽象所用设备的性能。作为参考，在具有 Intel Core i7 处理器的台式计算机上运行 B&B 时，运行 102 次迭代需要 17 毫秒，运行 104 次迭代需要 1.269 秒，运行 106 次迭代需要 5 分钟。 为了隔离每个变量的贡献，模拟在同构网络场景下运行，即所有节点具有相同的处理速率，所有链路具有相同的吞吐量。 A. 节点数和分割点数 设置包括一个同构网络，处理速率设置为 5GHz（标准边缘设备，例如 Raspberry Pi 4__8__的有效处理速率），链路吞吐量设置为 10MBps（802.11 连接的有效吞吐量）。网络上的计算节点 N 的数量在 1 到 6 之间变化，分割点的最大数量 S 从 0（将所有计算保留在一个节点上）到 5（总共 6 个分区，分布在网络上）不等。 a 还表明，当最大分割点数 S>3 时，最佳可达吞吐量不再提高。给定处理速率和链路吞吐量值，增加最大分割点数不会影响已实现的推理吞吐量。此观察的主要优点是它增加了限制 B&B 最大分割点值 S 的论据。由于分数保持不变，而复杂性显著增加，在这种条件下选择 S=3，既能保持合理的复杂性又能达到最优解。 图 5 这种限制可以这样解释：对于给定的 DNN 和网络属性，在 N=3 个节点和最大分割点数 S=3 时找到的最优放置，向网络添加新节点或允许另一个分割点将不会导致更好的分区。在同构网络中，这意味着任何将层移到另一个节点的操作都将涉及高于当前分区最大计算延迟的传输延迟。这导致了 S 值的一个上限，之后最优分区是可达到的最佳分区。此上限可以表示为： 其中 T 是将所有计算保留在一个节点上的计算延迟，T 是层位移引起的传输延迟，η 和 θ 是同构网络中的节点处理速率和链路吞吐量值，∑ c 是 DNN 中所有层消耗的总和，s 是最小层间数据传输大小。此表达式可用于定义 S 的上限，并限制 B&B 的计算时间。 cmono tdisp Li∈L i min 在本文的其余部分，实验和模拟将以最大分割点数 S=3 进行，以限制算法的复杂性，并获得接近最优的分区，这对应于典型的边缘场景。 B. 处理速率和链路吞吐量 该设置包括 YOLOv2 的标准实现，部署在具有 N=4 个计算节点的网络上。B&B 以最大分割点数 S=3 运行，节点处理速率在 0.1GHz 和 100GHz 之间，链路吞吐量在 1MBps 和 10GBps 之间。选择处理速率和链路吞吐量的数值范围是为了覆盖广泛的边缘场景： [[20]](javascript:void()) 0.1GHz 到 100GHz 的处理速率涵盖了片上系统（SoC）的 CPU，例如 Qualcomm Snapdragon 系列__9__，其处理速率在几百兆赫兹到 1GHz 之间，以及专用 AI 嵌入式系统，例如 NVIDIA Jetson TX2 模块， ，在第六节的实验中处理速率为 30.7 GHz。 10 1MBps 到 10GBps 的链路吞吐量对应于几兆字节每秒的 802.11g 连接以及千兆以太网链路的链路吞吐量。