所有图像均由 Bing Image Creator 创建。  LLM 中的二进制数表示 原创的研究理念 在某些情况下，甚至在一般情况下，与浮点向量相比，二进制表示可以实现更有效的存储和计算。 由于二进制向量只需要存储 0 和 1，因此它们需要更少的内存，并且可以更快地处理某些操作，例如 计算。 汉明距离 这对于训练、测试、部署和生产中的非常大的矢量数据集可能是有利的。 目前 的首要问题是创建它们需要大量资金。 法学硕士 如果这种方法成功，这种情况可能会成为过去。 然而，转换为二进制也有一些潜在的缺点。 将密集、高精度浮点向量简化为稀疏二进制表示时，可能会丢失信息。 二进制编码方案需要仔细设计，以保留尽可能多的语义。 更复杂的向量（例如来自大型变压器模型的向量）可能更难在不降级的情况下进行二值化。 对于相似性搜索和检索任务，当模型经过训练以生成高质量的二进制代码时，二进制表示可以很好地工作。 关键是优化模型以最大限度地减少信息丢失，以便语义相似的项目仍然映射到相似的二进制向量。 这是一个活跃的研究领域。 这样的系统如何工作？  一种方法是训练自动编码器将来自 LLM 的密集浮点向量压缩为更紧凑的二进制代码，最好是在硬件中。 自动编码器的编码器部分将学习将高维向量映射到低维二进制代码，而解码器则重建原始向量。 该模型经过优化以最大限度地减少重建误差，因此二进制代码保留了尽可能多的信息。 经过训练后，编码器可用于生成新向量的二进制代码。 训练自动编码器时的关键超参数包括代码大小（二进制代码中的位数）和损失函数。 较小的代码效率更高，但信息丢失的风险更高。 损失函数（例如均方误差或余弦相似度）决定了向量的哪些方面被保留。 损失往往会改善语义。 余弦相似度 另一种方法是使用 (LSH) 等哈希技术对向量进行二值化。 局部敏感哈希  LSH 使用随机投影将相似的向量以高概率映射到相同的“桶”。 可以选择散列函数，使得二进制代码之间的汉明距离反映原始向量的余弦相似度。 在查询时，可以通过汉明距离计算而不是余弦相似度来比较查询和数据库向量的二进制代码，以实现更快的检索。 然后可以使用精确的余弦分数对候选者重新排名。 直接在 LLM 向量上训练二值化模型可以帮助专门针对该向量空间定制编码。 然而，迁移学习也可能效果很好，特别是对于像 GPT-3 这样的大型模型，直接训练自动编码器的成本很高。 还存在可能的混合方法，其中某些向量分量被二值化，而其他向量分量保留为浮点数。 例如，一些语义信息可以用二进制编码，而位置信息（如词序）的精度则保留在浮点数中。 最佳编码方案可能取决于特定的法学硕士、用例和数据集的大小。 二进制表示有望改善大规模向量搜索和检索，但仍需要对复杂语言模型嵌入的有损向量压缩技术进行更多研究。 为了取得适当的平衡，必须仔细调整和评估信息损失与效率增益。 优化二进制编码的 LLM  我的想法是这样的：    - 设计专门用于二进制计算（例如二进制自注意力）的变压器架构变体。可以提供 10-100 倍的加速。 Binary Transformer - 使用 NAS 自动化模型设计，专注于二进制构建块以提高效率。 二元神经架构搜索 - 训练 VAE 等二进制潜变量模型来压缩和生成文本。 二进制生成建模 - 应用 RL 学习文本摘要等任务的二元策略。 二元强化学习 - 将模型编译为二进制电路以实现定制硬件加速。 二进制可微分编程 - 优化关键算法，例如用于二进制图嵌入的 PageRank 和图卷积。 二进制图算法 - 使用对抗训练来提高二元向量的鲁棒性。 二元对抗正则化 - 删除冗余的二进制权重以利用模型稀疏性。 二进制剪枝 - 将较大模型中的知识蒸馏为量化的二进制模型。 二进制量化蒸馏 - 将霍夫曼编码等信息论概念应用于激活压缩。 二进制编码理论 - 二进制嵌入 用紧凑的二进制向量而不是浮点数表示单词和标记嵌入可以显着减少内存占用并加快相似性计算。 （这个太明显了！） - 使用低位二进制值进行神经网络激活可以压缩模型大小并实现更快的整数数学运算。 二进制激活 - 二进制矩阵乘法的专用算法可以优化关键计算瓶颈。 二进制矩阵乘法 - 位置敏感哈希将相似的项目嵌入二进制代码中，以进行快速近似最近邻搜索。 二进制哈希 - 浮点可以量化为低位整数（例如 8 位），并且 4 倍压缩的精度损失最小。 低位量化 - 跳过稀疏二进制向量中的零值可以避免浪费计算。 利用稀疏性 - 矩阵乘法等二进制计算可以在多个设备上有效地并行化。 并行化操作 - 以二进制格式存储参数可减少模型大小。 紧凑参数 - 针对二进制运算进行优化的专用硬件可以提供加速，甚至可以达到 10,000 倍（粗略估计将浮点算术与位操作进行比较，特别是使用专用硬件和专用矢量处理甚至矩阵处理时。 定制二进制硬件 性能加速 虽然 1000 倍或更高的理论峰值加速在纸面上似乎是可能的，但一些实际的工程挑战将限制实现的增益。 对于训练而言，分布式并行训练期间梯度同步的通信瓶颈可能会限制加速。 虽然二进制表示减少了通信带宽需求，但核心计算吞吐量将依赖于跨多个设备的并行化。 数据并行性有所帮助，但可能需要模型并行方法才能充分利用并行的数千个设备。 这引入了额外的软件复杂性。 可能的二值化程度也受到精度考虑的限制。 某些组件（例如注意力机制）很难在不影响模型质量的情况下完全二值化。 结合二进制和浮点运算的混合方法可能效果更好。为每个模型找到适当的平衡是关键 。   ASIC 等定制硬件可以显着加速二进制矩阵乘法和其他基本运算。但它们牺牲了可编程性，并使部署改进的模型架构变得更加困难。   FPGA 可以提供更大的灵活性，但峰值吞吐量较低。 大规模生产部署带来了围绕低延迟并行推理的额外系统工程挑战。 仔细优化数据管道、批处理策略和硬件配置对于在不出现延迟峰值的情况下最大化吞吐量至关重要。 因此，虽然二进制优化可以提供数量级的改进，但实际限制取决于模型架构、硬件组合、延迟和吞吐量之间的用例权衡以及工程工作。 需要进行细致入微的评估来确定给定大型语言模型工作流程的实际加速潜力。 但这仍然是一个令人兴奋且有希望继续研究的领域！ 变形计算 是的，这个词不存在。 我刚才创造了它。 灵感来自 神经形态计算。 神经形态计算旨在模仿生物 ，并可能为神经网络式计算提供大规模并行性、低功耗和优化性能等优势。 神经网络 这使得它成为探索加速基于深度神经网络的大型语言模型的有趣方法。 神经形态硬件可以帮助优化大型语言模型的一些潜在方式： 自定义尖峰神经网络架构，可以有效运行基于变压器的模型，同时利用神经形态并行性和事件驱动处理。 专为稀疏、异步神经形态硬件量身定制的新颖训练方法和算法。这可以实现更快、更有效的训练。 专门的神经形态芯片，旨在加速大型语言模型中使用的矩阵乘法、注意力机制和其他核心运算。 片上学习技术可更新参数并实现对已部署的神经形态系统的持续适应。 用于高效推理大型语言模型的低功耗神经形态加速器。 神经形态计算仍然是下一代人工智能加速的一个令人兴奋的研究领域。 ： 并行处理 神经形态系统本质上是并行的，就像大脑一样。 这意味着它们可以同时处理许多操作，这与传统的 CPU 基本上是顺序的不同。 这可能会导致可并行任务的大幅加速，例如处理语言模型的不同部分或同时处理多个请求。 ： 能源效率 神经形态芯片比传统硬件更加节能，因为它们只在需要时消耗电力，类似于仅在激活时才会放电的神经元。 这种效率可以让更大的模型以更少的功率运行，从而降低成本并实现更可持续的运营。 ： 低延迟处理 由于其设计，神经形态系统可以具有非常低的延迟，这有利于实时语言处理任务。 这可以提高翻译、语音助手和交互式聊天机器人等应用中语言模型的响应能力。 ： 稀疏性利用 语言模型通常处理稀疏数据，其中大多数元素为零。 神经形态硬件可以利用这种稀疏性来跳过不必要的计算，从而提高速度。 这是因为它们可以被设计为仅处理和传输非零数据，就像神经元仅在达到某个阈值时才会放电一样。 ： 片上学习 神经形态系统可以支持片上学习，这意味着它们可以实时适应和优化，而不需要在处理器和内存之间进行大量数据传输。 这可以减少更新语言模型所需的时间和资源。 ： 模拟计算 如果神经形态硬件使用模拟计算来执行某些任务，那么它可以比数字计算更快地执行操作并且消耗更少的能量，特别是对于本质上不是二进制的操作。 在没有特定硬件和模型细节的情况下估计加速是一项挑战，但仅考虑并行处理能力，就可以预期某些任务的性能会得到数量级的提高。 例如，如果以前在传统 CPU 上需要花费数小时的任务可以在数千个神经形态核心上并行化，那么它可能会在几分钟甚至几秒钟内完成。 其影响是惊人的！  GPU 和 TPU 使用情况 在某些情况下，使用 GPU 和 TPU 来处理二进制数据而不是浮点数据确实可以改变游戏规则。  GPU 和 TPU 是高度并行的处理器，非常适合处理大数据块并同时对多个数据点执行相同的操作。 以下是使用 GPU/TPU 处理二进制数据的特别优势： ：二进制运算比浮点运算更简单、更快。 GPU 拥有数千个核心，可以以更高的吞吐量执行二进制运算，从而可能显着加快处理时间。 提高吞吐量 ：与浮点数据相比，二进制数据需要较低的精度。这意味着 GPU 的内存带宽和存储可以得到更有效的利用，因为二进制数据占用的空间更少。这种效率可以允许并行处理更大的数据集，或者将更多数据存储在更快的内存层次结构（如缓存）中，从而提高性能。 降低精度要求 ：二进制运算比浮点运算消耗更少的电力。当在 GPU 上运行时，这可能会带来更节能的处理，这对于大规模计算和关注功耗的环境至关重要。 能源效率 ：处理二进制数据时可以降低算法的复杂性。这种简化可以使算法在 GPU 上的优化和实现变得更加容易，从而有可能减少开发时间和错误。 简化计算 ：如果所有数据都是二进制的，则可能会推动 GPU 或其他处理器专门针对二进制计算进行优化。这可能会导致专用硬件在处理二进制数据方面比当前的 GPU 更加高效。 专用硬件的潜力 ：二进制数据可以带来更加统一和可预测的计算时间，这对于 GPU/TPU 的高度并行架构来说是理想的选择。这可以提高 GPU 使用效率，并减少某些核心空闲而其他核心仍在工作的情况。 改进的并行性 在大型语言模型和其他人工智能应用程序的背景下，二进制数据的使用可能更加细致。 量化等技术已经旨在降低数据的精度，以加快计算速度并减小模型大小，但这是性能和准确性之间的权衡。 如果语言模型可以使用二进制数据有效运行，而不会显着降低准确性，那么使用 GPU 确实可以在速度和效率方面改变游戏规则。 结论 总之，在优化大型语言模型的背景下对神经形态硬件和 GPU 的探索为我们提供了对计算效率和性能未来的令人着迷的一瞥。  GPU/TPU 已经成为高性能计算的基石，特别是在机器学习和数据处理领域，如果它们处理的数据是二进制的，那么它们的效用可能会发生革命性的飞跃。 二进制运算的简单性和速度，与这些设备的大规模并行处理能力相结合，可以带来前所未有的吞吐量和能源效率。 这将改变游戏规则，尤其是在数据量不断增长、并且始终存在对更快、更高效处理的需求的时代。 然而，重要的是要认识到向二进制数据的转变将涉及权衡，特别是在浮点数提供的信息的精度和粒度方面。 这种转变的实际适用性将取决于每个应用的具体要求以及可以保持准确性的程度。 神经形态硬件和优化的 GPU/TPU 在处理二进制数据方面的潜力证明了推动软件工程行业发展的创新精神。 它强调了质量保证、时间管理和以用户为中心的方法在开发满足未来需求的技术方面的重要性。   随着我们不断突破可能的界限，软件工程师的作用将在塑造一个使这些先进的计算策略成为现实的世界中发挥不可或缺的作用，从而增强大型语言模型的功能及其支持的无数应用程序。 所有图像均由 Bing Image Creator 创建。

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Hire Me to  Write Your Next Viral Article

Portfolio

Newsletter

Buy Me a Coffee

Support Me On Patreon

Independent Research Systems Engineer

該音頻是用故事的原始語言製作的！

太長; 讀書

Make resilience your competitive advantage

如何实现 1000 倍的 LLM 速度以实现高效且经济高效的培训、测试和部署

About Author

註釋

標籤

这篇文章刊登在

Related Stories

扬帆起航：利用数据湖开发生产级 RAG 应用程序

数字游民请注意：您需要了解泰国新推出的 DTV 签证

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

成功云迁移的完整指南：策略和最佳实践

扬帆起航：利用数据湖开发生产级 RAG 应用程序

数字游民请注意：您需要了解泰国新推出的 DTV 签证

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

成功云迁移的完整指南：策略和最佳实践

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps