1,329 讀數

如何实现 1000 倍的 LLM 速度以实现高效且经济高效的培训、测试和部署

经过 Thomas Cherickal11m2023/11/14

太長; 讀書

如何以当前成本、时间和人力需求的一小部分来创建法学硕士？这是一种可行的方法，其简单性和有效性会让您大吃一惊。

featured image - 如何实现 1000 倍的 LLM 速度以实现高效且经济高效的培训、测试和部署

‘mdjrny-v4 style Incredible Awesome Beautiful Unbelievable Future’ Image created by HackerNoon AI Image Generator

所有图像均由 Bing Image Creator 创建。

LLM 中的二进制数表示

原创的研究理念

在某些情况下，甚至在一般情况下，与浮点向量相比，二进制表示可以实现更有效的存储和计算。

由于二进制向量只需要存储 0 和 1，因此它们需要更少的内存，并且可以更快地处理某些操作，例如汉明距离计算。

这对于训练、测试、部署和生产中的非常大的矢量数据集可能是有利的。

目前法学硕士的首要问题是创建它们需要大量资金。如果这种方法成功，这种情况可能会成为过去。

然而，转换为二进制也有一些潜在的缺点。

将密集、高精度浮点向量简化为稀疏二进制表示时，可能会丢失信息。

二进制编码方案需要仔细设计，以保留尽可能多的语义。

更复杂的向量（例如来自大型变压器模型的向量）可能更难在不降级的情况下进行二值化。

对于相似性搜索和检索任务，当模型经过训练以生成高质量的二进制代码时，二进制表示可以很好地工作。

关键是优化模型以最大限度地减少信息丢失，以便语义相似的项目仍然映射到相似的二进制向量。

这是一个活跃的研究领域。

这样的系统如何工作？

一种方法是训练自动编码器将来自 LLM 的密集浮点向量压缩为更紧凑的二进制代码，最好是在硬件中。

自动编码器的编码器部分将学习将高维向量映射到低维二进制代码，而解码器则重建原始向量。

该模型经过优化以最大限度地减少重建误差，因此二进制代码保留了尽可能多的信息。

经过训练后，编码器可用于生成新向量的二进制代码。

训练自动编码器时的关键超参数包括代码大小（二进制代码中的位数）和损失函数。

较小的代码效率更高，但信息丢失的风险更高。

损失函数（例如均方误差或余弦相似度）决定了向量的哪些方面被保留。

余弦相似度损失往往会改善语义。

另一种方法是使用局部敏感哈希(LSH) 等哈希技术对向量进行二值化。

LSH 使用随机投影将相似的向量以高概率映射到相同的“桶”。

可以选择散列函数，使得二进制代码之间的汉明距离反映原始向量的余弦相似度。

在查询时，可以通过汉明距离计算而不是余弦相似度来比较查询和数据库向量的二进制代码，以实现更快的检索。

然后可以使用精确的余弦分数对候选者重新排名。

直接在 LLM 向量上训练二值化模型可以帮助专门针对该向量空间定制编码。

然而，迁移学习也可能效果很好，特别是对于像 GPT-3 这样的大型模型，直接训练自动编码器的成本很高。

还存在可能的混合方法，其中某些向量分量被二值化，而其他向量分量保留为浮点数。

例如，一些语义信息可以用二进制编码，而位置信息（如词序）的精度则保留在浮点数中。

最佳编码方案可能取决于特定的法学硕士、用例和数据集的大小。

二进制表示有望改善大规模向量搜索和检索，但仍需要对复杂语言模型嵌入的有损向量压缩技术进行更多研究。

为了取得适当的平衡，必须仔细调整和评估信息损失与效率增益。

优化二进制编码的 LLM

我的想法是这样的：

Binary Transformer - 设计专门用于二进制计算（例如二进制自注意力）的变压器架构变体。可以提供 10-100 倍的加速。
二元神经架构搜索- 使用 NAS 自动化模型设计，专注于二进制构建块以提高效率。
二进制生成建模- 训练 VAE 等二进制潜变量模型来压缩和生成文本。
二元强化学习- 应用 RL 学习文本摘要等任务的二元策略。
二进制可微分编程- 将模型编译为二进制电路以实现定制硬件加速。
二进制图算法- 优化关键算法，例如用于二进制图嵌入的 PageRank 和图卷积。
二元对抗正则化- 使用对抗训练来提高二元向量的鲁棒性。
二进制剪枝- 删除冗余的二进制权重以利用模型稀疏性。
二进制量化蒸馏- 将较大模型中的知识蒸馏为量化的二进制模型。
二进制编码理论- 将霍夫曼编码等信息论概念应用于激活压缩。
二进制嵌入-用紧凑的二进制向量而不是浮点数表示单词和标记嵌入可以显着减少内存占用并加快相似性计算。（这个太明显了！）
二进制激活- 使用低位二进制值进行神经网络激活可以压缩模型大小并实现更快的整数数学运算。
二进制矩阵乘法- 二进制矩阵乘法的专用算法可以优化关键计算瓶颈。
二进制哈希- 位置敏感哈希将相似的项目嵌入二进制代码中，以进行快速近似最近邻搜索。
低位量化- 浮点可以量化为低位整数（例如 8 位），并且 4 倍压缩的精度损失最小。
利用稀疏性- 跳过稀疏二进制向量中的零值可以避免浪费计算。
并行化操作- 矩阵乘法等二进制计算可以在多个设备上有效地并行化。
紧凑参数- 以二进制格式存储参数可减少模型大小。
定制二进制硬件- 针对二进制运算进行优化的专用硬件可以提供加速，甚至可以达到 10,000 倍（粗略估计将浮点算术与位操作进行比较，特别是使用专用硬件和专用矢量处理甚至矩阵处理时。

性能加速

虽然 1000 倍或更高的理论峰值加速在纸面上似乎是可能的，但一些实际的工程挑战将限制实现的增益。

对于训练而言，分布式并行训练期间梯度同步的通信瓶颈可能会限制加速。

虽然二进制表示减少了通信带宽需求，但核心计算吞吐量将依赖于跨多个设备的并行化。

数据并行性有所帮助，但可能需要模型并行方法才能充分利用并行的数千个设备。

这引入了额外的软件复杂性。

可能的二值化程度也受到精度考虑的限制。

某些组件（例如注意力机制）很难在不影响模型质量的情况下完全二值化。

结合二进制和浮点运算的混合方法可能效果更好。为每个模型找到适当的平衡是关键

。

ASIC 等定制硬件可以显着加速二进制矩阵乘法和其他基本运算。但它们牺牲了可编程性，并使部署改进的模型架构变得更加困难。

FPGA 可以提供更大的灵活性，但峰值吞吐量较低。

大规模生产部署带来了围绕低延迟并行推理的额外系统工程挑战。

仔细优化数据管道、批处理策略和硬件配置对于在不出现延迟峰值的情况下最大化吞吐量至关重要。

因此，虽然二进制优化可以提供数量级的改进，但实际限制取决于模型架构、硬件组合、延迟和吞吐量之间的用例权衡以及工程工作。

需要进行细致入微的评估来确定给定大型语言模型工作流程的实际加速潜力。

但这仍然是一个令人兴奋且有希望继续研究的领域！

变形计算

是的，这个词不存在。

我刚才创造了它。

灵感来自神经形态计算。

神经形态计算旨在模仿生物神经网络，并可能为神经网络式计算提供大规模并行性、低功耗和优化性能等优势。

这使得它成为探索加速基于深度神经网络的大型语言模型的有趣方法。

神经形态硬件可以帮助优化大型语言模型的一些潜在方式：

自定义尖峰神经网络架构，可以有效运行基于变压器的模型，同时利用神经形态并行性和事件驱动处理。
专为稀疏、异步神经形态硬件量身定制的新颖训练方法和算法。这可以实现更快、更有效的训练。
专门的神经形态芯片，旨在加速大型语言模型中使用的矩阵乘法、注意力机制和其他核心运算。
片上学习技术可更新参数并实现对已部署的神经形态系统的持续适应。
用于高效推理大型语言模型的低功耗神经形态加速器。

神经形态计算仍然是下一代人工智能加速的一个令人兴奋的研究领域。

并行处理：
神经形态系统本质上是并行的，就像大脑一样。
这意味着它们可以同时处理许多操作，这与传统的 CPU 基本上是顺序的不同。
这可能会导致可并行任务的大幅加速，例如处理语言模型的不同部分或同时处理多个请求。

能源效率：
神经形态芯片比传统硬件更加节能，因为它们只在需要时消耗电力，类似于仅在激活时才会放电的神经元。
这种效率可以让更大的模型以更少的功率运行，从而降低成本并实现更可持续的运营。

低延迟处理：
由于其设计，神经形态系统可以具有非常低的延迟，这有利于实时语言处理任务。
这可以提高翻译、语音助手和交互式聊天机器人等应用中语言模型的响应能力。

稀疏性利用：
语言模型通常处理稀疏数据，其中大多数元素为零。
神经形态硬件可以利用这种稀疏性来跳过不必要的计算，从而提高速度。

这是因为它们可以被设计为仅处理和传输非零数据，就像神经元仅在达到某个阈值时才会放电一样。

片上学习：
神经形态系统可以支持片上学习，这意味着它们可以实时适应和优化，而不需要在处理器和内存之间进行大量数据传输。
这可以减少更新语言模型所需的时间和资源。

模拟计算：
如果神经形态硬件使用模拟计算来执行某些任务，那么它可以比数字计算更快地执行操作并且消耗更少的能量，特别是对于本质上不是二进制的操作。

在没有特定硬件和模型细节的情况下估计加速是一项挑战，但仅考虑并行处理能力，就可以预期某些任务的性能会得到数量级的提高。

例如，如果以前在传统 CPU 上需要花费数小时的任务可以在数千个神经形态核心上并行化，那么它可能会在几分钟甚至几秒钟内完成。

其影响是惊人的！

GPU 和 TPU 使用情况

在某些情况下，使用 GPU 和 TPU 来处理二进制数据而不是浮点数据确实可以改变游戏规则。

GPU 和 TPU 是高度并行的处理器，非常适合处理大数据块并同时对多个数据点执行相同的操作。

以下是使用 GPU/TPU 处理二进制数据的特别优势：

提高吞吐量：二进制运算比浮点运算更简单、更快。 GPU 拥有数千个核心，可以以更高的吞吐量执行二进制运算，从而可能显着加快处理时间。
降低精度要求：与浮点数据相比，二进制数据需要较低的精度。这意味着 GPU 的内存带宽和存储可以得到更有效的利用，因为二进制数据占用的空间更少。这种效率可以允许并行处理更大的数据集，或者将更多数据存储在更快的内存层次结构（如缓存）中，从而提高性能。
能源效率：二进制运算比浮点运算消耗更少的电力。当在 GPU 上运行时，这可能会带来更节能的处理，这对于大规模计算和关注功耗的环境至关重要。
简化计算：处理二进制数据时可以降低算法的复杂性。这种简化可以使算法在 GPU 上的优化和实现变得更加容易，从而有可能减少开发时间和错误。
专用硬件的潜力：如果所有数据都是二进制的，则可能会推动 GPU 或其他处理器专门针对二进制计算进行优化。这可能会导致专用硬件在处理二进制数据方面比当前的 GPU 更加高效。
改进的并行性：二进制数据可以带来更加统一和可预测的计算时间，这对于 GPU/TPU 的高度并行架构来说是理想的选择。这可以提高 GPU 使用效率，并减少某些核心空闲而其他核心仍在工作的情况。