Las cosas se mueven rápido en el mundo de la tecnología de infraestructura. No hace mucho tiempo, cuando se consideraba que ejecutar una base de datos en   era demasiado complicado para que valiera la pena. Pero ese fue el problema de ayer. Los desarrolladores de aplicaciones nativas de la nube se han vuelto buenos para ejecutar cargas de trabajo con estado porque Kubernetes es una forma poderosa de crear centros de datos virtuales de manera rápida y eficiente. Kubernetes  La última vez que escribí sobre esto, amplié un poco la apertura para considerar otras partes de la pila de aplicaciones en el centro de datos virtual, en particular, la transmisión de cargas de trabajo y el análisis.  Con estos dos moviéndose a la corriente principal en Kubernetes, la discusión sobre los casos de uso se vuelve más interesante.  ¿Qué haremos con estas herramientas de datos fundamentales si tenemos acceso a ellas? Afortunadamente, no tenemos que investigar demasiado, porque la industria ya ha elegido la dirección:   . cargas de trabajo de IA/ML  Lo que impulsa esto es la necesidad de MLOps más rápidos y ágiles para respaldar  , también conocida como inteligencia artificial (IA) en tiempo real. Empresas como   y   han sido las primeras en adoptar, pero hay una gran cantidad de grandes proyectos disponibles para que pueda trabajar más rápido con Kubernetes. predicción en línea Uber Netflix  Característica Sirviendo con Festín  La creación y el mantenimiento de modelos de aprendizaje automático (ML, por sus siglas en inglés) están saliendo del back office y acercándose a los usuarios en producción. Un almacén de características actúa como un puente entre los datos y los modelos de aprendizaje automático, proporcionando una forma coherente para que los modelos accedan a los datos tanto en las fases fuera de línea como en línea. Gestiona los requisitos de procesamiento de datos durante el entrenamiento del modelo y proporciona acceso en tiempo real de baja latencia a los modelos durante la fase en línea. Esto garantiza la consistencia de los datos para ambas fases y cumple con los requisitos en línea y fuera de línea.  es un ejemplo de una tienda de funciones que se ejecuta en Kubernetes. Es de código abierto y permite que las organizaciones almacenen y brinden funciones de manera constante para la capacitación fuera de línea y la inferencia en línea. Feast va más allá de las bases de datos tradicionales al proporcionar características especializadas como la corrección de un punto en el tiempo.   Banquete  Servicio modelo con KServe  es un punto final de API para implementar modelos de aprendizaje automático en Kubernetes, manejar la obtención y carga de modelos y determinar si se requiere CPU o GPU. Se integra con los eventos   para el escalado horizontal y ofrece características de observabilidad como métricas y registro. ¿La mejor parte? Es fácil de usar. Simplemente apunte KServe a su archivo de modelo y creará una API y manejará el resto.   Kservir de KNative  La función explicativa brinda información sobre por qué se tomó una decisión para cada predicción, ofreciendo la importancia de la función y destacando los factores en el modelo que condujeron a un resultado particular. Esto se puede usar para detectar la deriva y el sesgo del modelo, que son algunas de las partes "importantes pero difíciles" del aprendizaje automático. Estas características reducen el esfuerzo involucrado en MLOps y generan confianza en la aplicación. KServe se separó recientemente del proyecto Google KubeFlow y ha sido  por Bloomberg como parte de sus esfuerzos para construir una plataforma de inferencia ML.   resaltado  Búsqueda de similitud vectorial  Mejorando las formas tradicionales en que encontramos datos, la búsqueda de similitud de vectores (VSS) es una herramienta de aprendizaje automático que utiliza matemáticas vectoriales para encontrar qué tan "cerca" están dos cosas entre sí. Esto se hace a través del vecino más cercano K (  ) algoritmo, que expresa los datos como un vector. Luego, los datos se vectorizan utilizando un algoritmo KNN intensivo en CPU y se indexan para una búsqueda menos intensiva en CPU. Los usuarios finales pueden proporcionar un vector y encontrar elementos que estén cerca de él mediante el mecanismo de consulta proporcionado por los servidores VSS. Los servidores VSS de código abierto que puede implementar en Kubernetes incluyen   y   . Ambos proporcionan todo lo que necesita para agregar una búsqueda de similitud a su pila de aplicaciones.   KNN Weaviate Milvus  armar el equipo  combinar mi  con este, tiene una receta para la pila completa implementada en Kubernetes. El resultado que toda organización debería tratar de lograr es una mayor productividad y costos reducidos. Reciente  muestran que los líderes en el espacio de datos están encontrando ambos cuando implementan infraestructura de datos en Kubernetes.   Artículo anterior   encuestas  Las cargas de trabajo   pueden ser algo que recién está comenzando a explorar, por lo que ahora podría ser el mejor momento para comenzar con el pie derecho. Las tres áreas mencionadas (servicio de funciones, servicio de modelos y búsqueda de similitud de vectores) están cubiertas en el libro del que soy coautor con Jeff Carpenter, “  .” El panorama general de AI/ML en la pila de aplicaciones: los requisitos en tiempo real pronto prevalecerán en la mayoría de las aplicaciones de AI. Usar Kubernetes para ir rápido y construir de manera confiable ya no es una alucinación de IA. de IA/ML   Gestión de datos nativos de la nube con Kubernetes  También publicado  aquí.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Este audio es producido en el idioma original de la historia!

3 herramientas clave para implementar cargas de trabajo de IA/ML en Kubernetes

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps