3 herramientas clave para implementar cargas de trabajo de IA/ML en Kubernetes

Las cosas se mueven rápido en el mundo de la tecnología de infraestructura. No hace mucho tiempo, cuando se consideraba que ejecutar una base de datos en Kubernetes era demasiado complicado para que valiera la pena. Pero ese fue el problema de ayer. Los desarrolladores de aplicaciones nativas de la nube se han vuelto buenos para ejecutar cargas de trabajo con estado porque Kubernetes es una forma poderosa de crear centros de datos virtuales de manera rápida y eficiente.

La última vez que escribí sobre esto, amplié un poco la apertura para considerar otras partes de la pila de aplicaciones en el centro de datos virtual, en particular, la transmisión de cargas de trabajo y el análisis.

Con estos dos moviéndose a la corriente principal en Kubernetes, la discusión sobre los casos de uso se vuelve más interesante.

¿Qué haremos con estas herramientas de datos fundamentales si tenemos acceso a ellas? Afortunadamente, no tenemos que investigar demasiado, porque la industria ya ha elegido la dirección: cargas de trabajo de IA/ML .

Lo que impulsa esto es la necesidad de MLOps más rápidos y ágiles para respaldarpredicción en línea , también conocida como inteligencia artificial (IA) en tiempo real. Empresas como Uber y Netflix han sido las primeras en adoptar, pero hay una gran cantidad de grandes proyectos disponibles para que pueda trabajar más rápido con Kubernetes.

Característica Sirviendo con Festín

La creación y el mantenimiento de modelos de aprendizaje automático (ML, por sus siglas en inglés) están saliendo del back office y acercándose a los usuarios en producción. Un almacén de características actúa como un puente entre los datos y los modelos de aprendizaje automático, proporcionando una forma coherente para que los modelos accedan a los datos tanto en las fases fuera de línea como en línea. Gestiona los requisitos de procesamiento de datos durante el entrenamiento del modelo y proporciona acceso en tiempo real de baja latencia a los modelos durante la fase en línea. Esto garantiza la consistencia de los datos para ambas fases y cumple con los requisitos en línea y fuera de línea.

Banquete es un ejemplo de una tienda de funciones que se ejecuta en Kubernetes. Es de código abierto y permite que las organizaciones almacenen y brinden funciones de manera constante para la capacitación fuera de línea y la inferencia en línea. Feast va más allá de las bases de datos tradicionales al proporcionar características especializadas como la corrección de un punto en el tiempo.

Servicio modelo con KServe

Kservir es un punto final de API para implementar modelos de aprendizaje automático en Kubernetes, manejar la obtención y carga de modelos y determinar si se requiere CPU o GPU. Se integra con los eventos de KNative para el escalado horizontal y ofrece características de observabilidad como métricas y registro. ¿La mejor parte? Es fácil de usar. Simplemente apunte KServe a su archivo de modelo y creará una API y manejará el resto.

La función explicativa brinda información sobre por qué se tomó una decisión para cada predicción, ofreciendo la importancia de la función y destacando los factores en el modelo que condujeron a un resultado particular. Esto se puede usar para detectar la deriva y el sesgo del modelo, que son algunas de las partes "importantes pero difíciles" del aprendizaje automático. Estas características reducen el esfuerzo involucrado en MLOps y generan confianza en la aplicación. KServe se separó recientemente del proyecto Google KubeFlow y ha sido resaltado por Bloomberg como parte de sus esfuerzos para construir una plataforma de inferencia ML.

Búsqueda de similitud vectorial

Mejorando las formas tradicionales en que encontramos datos, la búsqueda de similitud de vectores (VSS) es una herramienta de aprendizaje automático que utiliza matemáticas vectoriales para encontrar qué tan "cerca" están dos cosas entre sí. Esto se hace a través del vecino más cercano K ( KNN ) algoritmo, que expresa los datos como un vector. Luego, los datos se vectorizan utilizando un algoritmo KNN intensivo en CPU y se indexan para una búsqueda menos intensiva en CPU. Los usuarios finales pueden proporcionar un vector y encontrar elementos que estén cerca de él mediante el mecanismo de consulta proporcionado por los servidores VSS. Los servidores VSS de código abierto que puede implementar en Kubernetes incluyen Weaviate y Milvus . Ambos proporcionan todo lo que necesita para agregar una búsqueda de similitud a su pila de aplicaciones.

armar el equipo

combinar mi Artículo anterior con este, tiene una receta para la pila completa implementada en Kubernetes. El resultado que toda organización debería tratar de lograr es una mayor productividad y costos reducidos. Reciente encuestas muestran que los líderes en el espacio de datos están encontrando ambos cuando implementan infraestructura de datos en Kubernetes.

Las cargas de trabajo de IA/ML pueden ser algo que recién está comenzando a explorar, por lo que ahora podría ser el mejor momento para comenzar con el pie derecho. Las tres áreas mencionadas (servicio de funciones, servicio de modelos y búsqueda de similitud de vectores) están cubiertas en el libro del que soy coautor con Jeff Carpenter, “ Gestión de datos nativos de la nube con Kubernetes .” El panorama general de AI/ML en la pila de aplicaciones: los requisitos en tiempo real pronto prevalecerán en la mayoría de las aplicaciones de AI. Usar Kubernetes para ir rápido y construir de manera confiable ya no es una alucinación de IA.

También publicado aquí.