3 ferramentas principais para implantar cargas de trabalho AI/ML no Kubernetes

As coisas mudam rapidamente no mundo da tecnologia de infraestrutura. Não faz muito tempo, executar um banco de dados no Kubernetes era considerado complicado demais para valer a pena. Mas esse foi o problema de ontem. Os criadores de aplicativos nativos de nuvem ficaram bons na execução de cargas de trabalho com estado porque o Kubernetes é uma maneira poderosa de criar centros de dados virtuais com rapidez e eficiência.

A última vez que escrevi sobre isso, ampliei um pouco a abertura para considerar outras partes da pilha de aplicativos no data center virtual – em particular, streaming de cargas de trabalho e análises.

Com esses dois se tornando populares no Kubernetes, a discussão sobre casos de uso fica mais interessante.

O que faremos com essas ferramentas de dados fundamentais se tivermos acesso a elas? Felizmente, não precisamos investigar muito profundamente, porque o setor já escolheu a direção: cargas de trabalho de IA/ML .

O que está impulsionando isso é a necessidade de MLOps mais rápidos e ágeis para dar suporteprevisão online , também conhecida como inteligência artificial (IA) em tempo real. Empresas como Uber e Netflix foram as primeiras a adotar, mas uma série de grandes projetos estão disponíveis para acelerar o Kubernetes.

Recurso Servir com Festa

A construção e manutenção de modelos de aprendizado de máquina (ML) estão saindo do back office e se aproximando dos usuários na produção. Um armazenamento de recursos atua como uma ponte entre os dados e os modelos de aprendizado de máquina, fornecendo uma maneira consistente para os modelos acessarem os dados nas fases offline e online. Ele gerencia os requisitos de processamento de dados durante o treinamento do modelo e fornece acesso em tempo real de baixa latência aos modelos durante a fase online. Isso garante consistência de dados para ambas as fases e atende aos requisitos online e offline.

Celebração é um exemplo de armazenamento de recursos em execução no Kubernetes. É de código aberto e permite que as organizações armazenem e forneçam recursos de forma consistente para treinamento off-line e inferência on-line. O Feast vai além dos bancos de dados tradicionais, fornecendo recursos especializados, como correção pontual.

Serviço de modelo com KServe

KServeGenericName é um endpoint de API para implantar modelos de aprendizado de máquina no Kubernetes, lidar com a busca de modelo, carregamento e determinar se CPU ou GPU é necessária. Ele se integra ao KNative eventing para expansão e oferece recursos de observabilidade, como métricas e registro. A melhor parte? É simples de usar. Apenas aponte o KServe para o seu arquivo de modelo e ele criará uma API e cuidará do resto.

O recurso explicador fornece informações sobre por que uma decisão foi tomada para cada previsão, oferecendo a importância do recurso e destacando fatores no modelo que levaram a um determinado resultado. Isso pode ser usado para detectar o desvio e o viés do modelo, que são algumas das partes “importantes, mas difíceis” do aprendizado de máquina. Esses recursos reduzem o esforço envolvido em MLOps e criam confiança no aplicativo. O KServe recentemente se separou do projeto Google KubeFlow e foi destacado pela Bloomberg como parte de seus esforços para construir uma plataforma de inferência de ML.

Pesquisa de similaridade vetorial

Aumentando as formas tradicionais de encontrar dados, a pesquisa de similaridade vetorial (VSS) é uma ferramenta de aprendizado de máquina que usa matemática vetorial para descobrir o quão "próximos" duas coisas estão uma da outra. Isso é feito por meio do K vizinho mais próximo ( KNN ), que expressa os dados como um vetor. Os dados são então vetorizados usando um algoritmo KNN intensivo de CPU e indexados para pesquisa menos intensiva de CPU. Os usuários finais podem fornecer um vetor e encontrar coisas próximas a ele usando o mecanismo de consulta fornecido pelos servidores VSS. Os servidores VSS de código aberto que você pode implantar no Kubernetes incluem Weaviate e Milvus . Ambos fornecem tudo o que você precisa para adicionar uma pesquisa de similaridade à sua pilha de aplicativos.

Reúna a equipe

combinar meu artigo anterior com este e você tem uma receita para a pilha completa implantada no Kubernetes. O resultado que toda organização deve tentar obter é maior produtividade e custos reduzidos. Recente pesquisas mostram que os líderes no espaço de dados estão encontrando ambos ao implantar a infraestrutura de dados no Kubernetes.

Cargas de trabalho AI/ML podem ser algo que você está apenas começando a explorar, então agora pode ser o melhor momento para começar com o pé direito. As três áreas mencionadas — serviço de recurso, serviço de modelo e pesquisa de similaridade vetorial — são todas abordadas no livro que escrevi em coautoria com Jeff Carpenter, “ Gerenciando dados nativos da nuvem com o Kubernetes .” A visão geral para AI/ML na pilha de aplicativos: os requisitos de tempo real logo se tornarão predominantes na maioria dos aplicativos de IA. Usar Kubernetes para ir rápido e construir de forma confiável não é mais uma alucinação de IA.

Também publicado aqui.