在基础设施技术领域，事情发展得很快。就在不久前，人们还认为在 上运行数据库过于棘手而不值得。但那是昨天的问题。云原生应用程序的构建者已经擅长运行有状态的工作负载，因为 Kubernetes 是一种快速高效地创建虚拟数据中心的强大方法。 Kubernetes 上次我写这篇文章时，我稍微扩大了视野以考虑虚拟数据中心中应用程序堆栈的其他部分——特别是流式工作负载和分析。 随着这两个成为 Kubernetes 的主流，关于用例的讨论变得更加有趣。 如果我们可以访问这些基础数据工具，我们将如何处理它们？值得庆幸的是，我们不必调查得太深，因为业界已经选择了方向：   。 AI/ML workloads 推动这一趋势的是需要更快、更敏捷的 MLOps 来支持 ，也称为实时人工智能 (AI)。  和 等公司都是早期采用者，但是有许多很棒的项目可以帮助您更快地使用 Kubernetes。 在线预测 Uber Netflix 盛宴特色服务 构建和维护机器学习 (ML) 模型正在走出后台，在生产中更接近用户。特征存储充当数据和机器学习模型之间的桥梁，为模型在离线和在线阶段访问数据提供一致的方式。它管理模型训练期间的数据处理需求，并在在线阶段提供对模型的低延迟实时访问。这样可以保证两个阶段的数据一致性，满足线上线下的要求。 是在 Kubernetes 中运行的特征存储的示例。它是开源的，使组织能够为离线培训和在线推理一致地存储和提供功能。 Feast 通过提供时间点正确性等专门功能超越了传统数据库。 盛宴 使用 KServe 进行模型服务 是一个 API 端点，用于在 Kubernetes 中部署机器学习模型，处理模型获取、加载以及确定是否需要 CPU 或 GPU。它与 事件集成以实现横向扩展，并提供指标和日志记录等可观察性功能。最好的部分？使用简单。只需将 KServe 指向您的模型文件，它将创建一个 API 并处理其余部分。 服务 KNative 解释器功能可以深入了解为什么为每个预测做出决定，提供特征重要性并突出模型中导致特定结果的因素。这可用于检测模型漂移和偏差，这是机器学习中一些“重要但困难”的部分。这些功能减少了 MLOps 中涉及的工作量并建立了对应用程序的信任。 KServe 最近从 Google KubeFlow 项目中分离出来，并一直 由彭博社作为其构建 ML 推理平台的努力的一部分。 突出显示 矢量相似性搜索 矢量相似性搜索 (VSS) 是一种机器学习工具，它增强了我们查找数据的传统方式，它使用矢量数学来查找两个事物彼此之间的“接近”程度。这是通过 K 最近邻（  ) 算法，它将数据表示为向量。然后使用 CPU 密集型 KNN 算法对数据进行矢量化，并为 CPU 密集型搜索建立索引。最终用户可以提供一个向量并使用 VSS 服务器提供的查询机制找到与其接近的东西。您可以在 Kubernetes 中部署的开源 VSS 服务器包括 和  。两者都提供了将相似性搜索添加到应用程序堆栈所需的一切。   KNN Weaviate Milvus 组建团队 结合我的 有了这个，你就有了在 Kubernetes 中部署完整堆栈的方法。每个组织都应该努力实现的结果是提高生产力和降低成本。最近的 表明数据领域的领导者在 Kubernetes 中部署数据基础架构时发现了这两者。 上一篇文章 调查   工作负载可能是您刚刚开始探索的内容，因此现在可能是正确开始的最佳时机。提到的三个领域——特征服务、模型服务和向量相似性搜索——都包含在我与杰夫卡彭特合着的书中，“ ”应用程序堆栈中 AI/ML 的大局：实时需求将很快在大多数 AI 应用程序中变得普遍。使用 Kubernetes 快速运行并可靠地构建不再是 AI 的幻觉。 AI/ML 使用 Kubernetes 管理云原生数据 也发布 在这里。

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

該音頻是用故事的原始語言製作的！

在 Kubernetes 上部署 AI/ML 工作负载的 3 个关键工具

About Author

註釋

標籤

这篇文章刊登在

Related Stories

看不见的层面：为什么用户访谈是不可替代的资产

成功云迁移的完整指南：策略和最佳实践

架构师指南：构建 AI/ML 数据湖参考架构

看不见的层面：为什么用户访谈是不可替代的资产

成功云迁移的完整指南：策略和最佳实践

架构师指南：构建 AI/ML 数据湖参考架构

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps