As coisas mudam rapidamente no mundo da tecnologia de infraestrutura. Não faz muito tempo, executar um banco de dados no   era considerado complicado demais para valer a pena. Mas esse foi o problema de ontem. Os criadores de aplicativos nativos de nuvem ficaram bons na execução de cargas de trabalho com estado porque o Kubernetes é uma maneira poderosa de criar centros de dados virtuais com rapidez e eficiência. Kubernetes  A última vez que escrevi sobre isso, ampliei um pouco a abertura para considerar outras partes da pilha de aplicativos no data center virtual – em particular, streaming de cargas de trabalho e análises.  Com esses dois se tornando populares no Kubernetes, a discussão sobre casos de uso fica mais interessante.  O que faremos com essas ferramentas de dados fundamentais se tivermos acesso a elas? Felizmente, não precisamos investigar muito profundamente, porque o setor já escolheu a direção:   . cargas de trabalho de IA/ML  O que está impulsionando isso é a necessidade de MLOps mais rápidos e ágeis para dar suporte  , também conhecida como inteligência artificial (IA) em tempo real. Empresas como   e   foram as primeiras a adotar, mas uma série de grandes projetos estão disponíveis para acelerar o Kubernetes. previsão online Uber Netflix  Recurso Servir com Festa  A construção e manutenção de modelos de aprendizado de máquina (ML) estão saindo do back office e se aproximando dos usuários na produção. Um armazenamento de recursos atua como uma ponte entre os dados e os modelos de aprendizado de máquina, fornecendo uma maneira consistente para os modelos acessarem os dados nas fases offline e online. Ele gerencia os requisitos de processamento de dados durante o treinamento do modelo e fornece acesso em tempo real de baixa latência aos modelos durante a fase online. Isso garante consistência de dados para ambas as fases e atende aos requisitos online e offline.  é um exemplo de armazenamento de recursos em execução no Kubernetes. É de código aberto e permite que as organizações armazenem e forneçam recursos de forma consistente para treinamento off-line e inferência on-line. O Feast vai além dos bancos de dados tradicionais, fornecendo recursos especializados, como correção pontual.   Celebração  Serviço de modelo com KServe  é um endpoint de API para implantar modelos de aprendizado de máquina no Kubernetes, lidar com a busca de modelo, carregamento e determinar se CPU ou GPU é necessária. Ele se integra ao   eventing para expansão e oferece recursos de observabilidade, como métricas e registro. A melhor parte? É simples de usar. Apenas aponte o KServe para o seu arquivo de modelo e ele criará uma API e cuidará do resto.   KServeGenericName KNative  O recurso explicador fornece informações sobre por que uma decisão foi tomada para cada previsão, oferecendo a importância do recurso e destacando fatores no modelo que levaram a um determinado resultado. Isso pode ser usado para detectar o desvio e o viés do modelo, que são algumas das partes “importantes, mas difíceis” do aprendizado de máquina. Esses recursos reduzem o esforço envolvido em MLOps e criam confiança no aplicativo. O KServe recentemente se separou do projeto Google KubeFlow e foi  pela Bloomberg como parte de seus esforços para construir uma plataforma de inferência de ML.   destacado  Pesquisa de similaridade vetorial  Aumentando as formas tradicionais de encontrar dados, a pesquisa de similaridade vetorial (VSS) é uma ferramenta de aprendizado de máquina que usa matemática vetorial para descobrir o quão "próximos" duas coisas estão uma da outra. Isso é feito por meio do K vizinho mais próximo (  ), que expressa os dados como um vetor. Os dados são então vetorizados usando um algoritmo KNN intensivo de CPU e indexados para pesquisa menos intensiva de CPU. Os usuários finais podem fornecer um vetor e encontrar coisas próximas a ele usando o mecanismo de consulta fornecido pelos servidores VSS. Os servidores VSS de código aberto que você pode implantar no Kubernetes incluem   e   . Ambos fornecem tudo o que você precisa para adicionar uma pesquisa de similaridade à sua pilha de aplicativos.   KNN Weaviate Milvus  Reúna a equipe  combinar meu  com este e você tem uma receita para a pilha completa implantada no Kubernetes. O resultado que toda organização deve tentar obter é maior produtividade e custos reduzidos. Recente  mostram que os líderes no espaço de dados estão encontrando ambos ao implantar a infraestrutura de dados no Kubernetes.   artigo anterior   pesquisas  Cargas de trabalho   podem ser algo que você está apenas começando a explorar, então agora pode ser o melhor momento para começar com o pé direito. As três áreas mencionadas — serviço de recurso, serviço de modelo e pesquisa de similaridade vetorial — são todas abordadas no livro que escrevi em coautoria com Jeff Carpenter, “  .” A visão geral para AI/ML na pilha de aplicativos: os requisitos de tempo real logo se tornarão predominantes na maioria dos aplicativos de IA. Usar Kubernetes para ir rápido e construir de forma confiável não é mais uma alucinação de IA. AI/ML   Gerenciando dados nativos da nuvem com o Kubernetes  Também publicado  aqui.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Este áudio é produzido no idioma original da história!

3 ferramentas principais para implantar cargas de trabalho AI/ML no Kubernetes

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps