在 Kubernetes 上部署 AI/ML 工作负载的 3 个关键工具

在基础设施技术领域，事情发展得很快。就在不久前，人们还认为在Kubernetes上运行数据库过于棘手而不值得。但那是昨天的问题。云原生应用程序的构建者已经擅长运行有状态的工作负载，因为 Kubernetes 是一种快速高效地创建虚拟数据中心的强大方法。

上次我写这篇文章时，我稍微扩大了视野以考虑虚拟数据中心中应用程序堆栈的其他部分——特别是流式工作负载和分析。

随着这两个成为 Kubernetes 的主流，关于用例的讨论变得更加有趣。

如果我们可以访问这些基础数据工具，我们将如何处理它们？值得庆幸的是，我们不必调查得太深，因为业界已经选择了方向： AI/ML workloads 。

推动这一趋势的是需要更快、更敏捷的 MLOps 来支持在线预测，也称为实时人工智能 (AI)。 Uber和Netflix等公司都是早期采用者，但是有许多很棒的项目可以帮助您更快地使用 Kubernetes。

盛宴特色服务

构建和维护机器学习 (ML) 模型正在走出后台，在生产中更接近用户。特征存储充当数据和机器学习模型之间的桥梁，为模型在离线和在线阶段访问数据提供一致的方式。它管理模型训练期间的数据处理需求，并在在线阶段提供对模型的低延迟实时访问。这样可以保证两个阶段的数据一致性，满足线上线下的要求。

盛宴是在 Kubernetes 中运行的特征存储的示例。它是开源的，使组织能够为离线培训和在线推理一致地存储和提供功能。 Feast 通过提供时间点正确性等专门功能超越了传统数据库。

使用 KServe 进行模型服务

服务是一个 API 端点，用于在 Kubernetes 中部署机器学习模型，处理模型获取、加载以及确定是否需要 CPU 或 GPU。它与KNative事件集成以实现横向扩展，并提供指标和日志记录等可观察性功能。最好的部分？使用简单。只需将 KServe 指向您的模型文件，它将创建一个 API 并处理其余部分。

解释器功能可以深入了解为什么为每个预测做出决定，提供特征重要性并突出模型中导致特定结果的因素。这可用于检测模型漂移和偏差，这是机器学习中一些“重要但困难”的部分。这些功能减少了 MLOps 中涉及的工作量并建立了对应用程序的信任。 KServe 最近从 Google KubeFlow 项目中分离出来，并一直突出显示由彭博社作为其构建 ML 推理平台的努力的一部分。

矢量相似性搜索

矢量相似性搜索 (VSS) 是一种机器学习工具，它增强了我们查找数据的传统方式，它使用矢量数学来查找两个事物彼此之间的“接近”程度。这是通过 K 最近邻（ KNN ) 算法，它将数据表示为向量。然后使用 CPU 密集型 KNN 算法对数据进行矢量化，并为 CPU 密集型搜索建立索引。最终用户可以提供一个向量并使用 VSS 服务器提供的查询机制找到与其接近的东西。您可以在 Kubernetes 中部署的开源 VSS 服务器包括Weaviate和Milvus 。两者都提供了将相似性搜索添加到应用程序堆栈所需的一切。

组建团队

结合我的上一篇文章有了这个，你就有了在 Kubernetes 中部署完整堆栈的方法。每个组织都应该努力实现的结果是提高生产力和降低成本。最近的调查表明数据领域的领导者在 Kubernetes 中部署数据基础架构时发现了这两者。

AI/ML工作负载可能是您刚刚开始探索的内容，因此现在可能是正确开始的最佳时机。提到的三个领域——特征服务、模型服务和向量相似性搜索——都包含在我与杰夫卡彭特合着的书中，“使用 Kubernetes 管理云原生数据”应用程序堆栈中 AI/ML 的大局：实时需求将很快在大多数 AI 应用程序中变得普遍。使用 Kubernetes 快速运行并可靠地构建不再是 AI 的幻觉。

也发布在这里。