144 讀數

将 AI 引入数据中心

经过 DataStax5m2023/06/20

太長; 讀書

将 AI 引入数据中心，而不仅仅是云端，是让所有公司都能参与其中的变革性 AI 技术浪潮的另一个非常重要的步骤。

根据我们对企业数据和云技术的进步所做的所有假设，有一个经常被忽视的明显事实：大多数最重要的企业数据仍保留在企业数据中心。

这有很多原因——有些是合理的，有些则不那么合理。在某些情况下，这是因为数据的高度敏感性，无论是 HIPAA 合规性、敏感的银行数据还是其他隐私问题。在其他情况下，数据驻留在难以迁移到云端的系统中（想想遗留的企业资源规划数据或 PB 级的科学研究数据）。有时，这只是惯性。这不是一个很好的借口，但它一直在发生。

无论出于何种原因，企业服务器机架上的数据已被证明是许多企业利用 AI 转变业务的真正障碍，因为几乎不可能提供驱动 AI 所需的强大计算能力支撑大多数数据中心的基础设施。

但是，通过一小群初创公司和大型设备制造商，正在开展一项运动，以优化机器学习模型，并为数据不在云端的公司提供人工智能。这将改变游戏规则。

处理能力问题

图形处理单元或 GPU 是为处理高强度视频处理应用程序而开发的，例如现代视频游戏和高分辨率电影所需的应用程序。但是这些处理器将复杂的任务分解成更小的任务并并行执行它们的能力也使得这些高性能的专用集成电路 (ASIC) 对于人工智能非常有用。毕竟，人工智能需要大量数据流来改进和训练机器学习模型。

另一方面，CPU 是服务器灵活的大脑，因此，它们可以处理各种各样的操作，例如访问硬盘驱动器数据，或将数据从缓存移动到存储，但它们缺乏以下能力：并行执行这些任务（多核处理器可以处理并行任务，但不能达到 GPU 级别）。它们根本不是为处理 AI 所需的那种高吞吐量工作负载而构建的。

高性能 GPU 非常昂贵，直到最近，由于加密矿工对这些高性能芯片的依赖，它们一直很稀缺。在大多数情况下，它们是云提供商的领域。事实上，高性能计算服务是公司将数据迁移到云端的一个重要原因。谷歌的张量处理单元，或 TPU，是专门为加速机器学习工作负载而开发的定制 ASIC。亚马逊也有自己的芯片来支持 AI/ML 工作负载。

为人工智能优化

GPU 一直是最近占据头条新闻的 AI 创新热潮的基础。这些备受瞩目的发展大多是由公司推动的，他们在没有过多考虑效率或优化的情况下挑战可能的极限。因此，新的 AI 工具产生的工作量非常大，因此有必要在云端进行管理。

但在过去六个月左右的时间里，情况发生了变化。一方面，驱动所有这些尖端 AI 工具的庞大 ML 模型正在得到显着压缩，但仍会产生同样强大的结果。

我安装了骆马例如，我手机上的应用程序。这是一个 130 亿参数的模型，可以像 ChatGPT 一样执行并实时运行，就在我的手机上。它根本不在云中——它是一个驻留在设备上的应用程序。

Vicuna 项目源于大型模型系统组织，加州大学伯克利分校、加州大学戴维斯分校和卡内基梅隆大学之间的合作，其使命是“通过共同开发开放数据集、模型、系统和评估工具，让每个人都能访问大型模型。”

这是大型科技公司不会忽视的使命。 Apple 最新的台式机和 iPhone 具有专门的处理功能，可以加速 ML 过程。谷歌和苹果也在做很多工作来优化他们的机器学习软件。

初创公司中也有大量才华横溢的工程师，他们致力于以一种让 AI/ML 更易于访问的方式提高硬件的性能。

第三AI是一个很好的例子。该公司提供基于软件的引擎，可以使用 CPU 训练大型深度学习模型。 DataStax 已经与 ThirdAI 团队进行了数月的试验，并对他们的开发成果印象深刻——以至于上周我们宣布与该公司建立合作伙伴关系，使任何组织都可以使用复杂的大型语言模型 (LLM) 和其他人工智能技术，无论他们的数据位于何处。（阅读有关合作新闻的更多信息这里).