Construído no Lance, um formato de dados colunares de código aberto, o LanceDB possui alguns recursos interessantes que o tornam atraente para IA/ML. Por exemplo, LanceDB suporta vetorização explícita e implícita com a capacidade de lidar com vários tipos de dados. LanceDB está integrado às principais estruturas de ML, como  e  . Mais legal ainda é a busca rápida de vizinhos do LanceDB, que permite a recuperação eficiente de vetores semelhantes usando algoritmos de vizinhos mais próximos aproximados. Tudo isso se combina para criar um banco de dados vetorial rápido, fácil de usar e tão leve que pode ser implantado em qualquer lugar.   PyTorch   TensorFlow  LanceDB é capaz de consultar dados em armazenamento de objetos compatível com S3. Essa combinação é ideal para construir sistemas de recuperação e armazenamento de dados de ML de alto desempenho, escalonáveis e nativos da nuvem. MinIO traz à equação desempenho e flexibilidade incomparável em diversos hardwares, locais e ambientes de nuvem, tornando-o a escolha natural para tais implantações.  Após a conclusão deste tutorial, você estará preparado para usar LanceDB e MinIO para enfrentar qualquer desafio de dados.  O que é Lance?  O  formato de arquivo é um formato de dados colunar otimizado para fluxos de trabalho e conjuntos de dados de ML. Ele foi projetado para ser fácil e rápido de versão, consulta e uso para treinamento e é adequado para vários tipos de dados, incluindo imagens, vídeos, nuvens de pontos 3D, áudio e dados tabulares. Além disso, suporta acesso aleatório de alto desempenho: com  100 vezes mais rápido que o Parquet nas consultas. A velocidade do Lance é em parte o resultado de sua implementação no Rust e de seu design nativo da nuvem, que inclui recursos como controle de versão de cópia zero e operações vetoriais otimizadas.   Lança Benchmarks de relatórios do Lance  Um de seus  é a capacidade de realizar pesquisa vetorial, permitindo que os usuários encontrem  em menos de 1 milissegundo e combine consultas OLAP com pesquisa vetorial. Outras aplicações de produção para o formato lance incluem bancos de dados de vetores de baixa latência implantados na borda para aplicações de ML, armazenamento, recuperação e processamento em grande escala de dados multimodais em empresas de automóveis autônomos e pesquisa personalizada de vetores em escala superior a bilhões em e -empresas de comércio. Parte do apelo do formato de arquivo Lance é sua compatibilidade com ferramentas e plataformas populares como Pandas  , Polares e  . Mesmo se você não usar o LanceDB, ainda poderá aproveitar o formato de arquivo Lance em sua pilha de dados.   características principais   vizinhos mais próximos   PatoDB   Pyarrow  Criado para IA e aprendizado de máquina  Bancos de dados vetoriais como LanceDB oferecem vantagens distintas para aplicações de IA e aprendizado de máquina, graças à sua eficiência  e arquiteturas de computação e recuperação de representações vetoriais de dados de alta dimensão. Aqui estão alguns casos de uso importantes:   armazenamento desacoplado   Processamento de Linguagem Natural (PNL):    Encontre documentos ou passagens semelhantes a uma consulta com base no significado, não apenas em palavras-chave. Isso potencializa respostas de chatbot, recomendações de conteúdo personalizadas e sistemas de recuperação de conhecimento. Pesquisa Semântica:    entenda e responda perguntas complexas, encontrando passagens de texto relevantes com base na semelhança semântica. Resposta a perguntas:    descubra tópicos latentes em grandes coleções de texto, úteis para agrupamento de documentos e análise de tendências. Modelagem de tópicos:   Visão Computacional:    pesquise imagens ou vídeos semelhantes com base em conteúdo visual, crucial para recuperação de imagens com base em conteúdo, pesquisa de produtos e análise de vídeo. Recuperação de imagens e vídeos:    melhore a precisão dos modelos de detecção e classificação de objetos recuperando com eficiência dados de treinamento semelhantes. Detecção e classificação de objetos:    : recomende vídeos semelhantes com base no conteúdo visual de vídeos assistidos anteriormente. Recomendação de vídeo  Entre a infinidade de bancos de dados vetoriais no mercado, o LanceDB é particularmente adequado para IA e aprendizado de máquina, porque oferece suporte a consultas em armazenamento compatível com S3. Seus dados estão em todo lugar, seu banco de dados também deve estar em todo lugar.  Arquitetando para o Sucesso  Usar MinIO com LanceDB oferece vários benefícios, incluindo:  : O design nativo da nuvem do MinIO foi desenvolvido para escalabilidade e armazenamento e recuperação de alto desempenho. Ao aproveitar a escalabilidade e o desempenho do MinIO, o LanceDB pode lidar com eficiência com grandes quantidades de dados, tornando-o adequado para cargas de trabalho modernas de ML.   Escalabilidade e desempenho  : MinIO é altamente disponível, imutável e altamente durável. Isso garante que os dados armazenados no MinIO estejam protegidos contra falhas de hardware e forneça alta disponibilidade e tolerância a falhas, que são cruciais para aplicações com uso intensivo de dados, como o LanceDB.   Alta disponibilidade e tolerância a falhas  : a replicação ativa-ativa em vários locais permite a replicação quase síncrona de dados entre várias implantações de MinIO. Esse processo robusto garante alta durabilidade e redundância, tornando-o ideal para proteger dados em ambientes de produção de missão crítica. Replicação ativa-ativa  A combinação de MinIO e LanceDB fornece uma solução nativa da nuvem escalável e de alto desempenho para gerenciar e analisar conjuntos de dados de ML em grande escala.  Requisitos  Para acompanhar este tutorial, você precisará usar  . Você pode instalar os binários Docker Engine e Docker Compose separadamente ou em conjunto usando Docker Desktop. A opção mais simples é instalar o Docker Desktop.   Composição do Docker  Certifique-se de que o Docker Compose esteja instalado executando o seguinte comando:   docker compose version  Você também precisará instalar o Python. Você pode baixar Python em  . Durante a instalação, certifique-se de marcar a opção de adicionar Python ao PATH do seu sistema.   aqui  Opcionalmente, você pode optar por criar um Ambiente Virtual. É uma boa prática criar um ambiente virtual para isolar dependências. Para fazer isso, abra um terminal e execute:   python -m venv venv  Para ativar o ambiente virtual:  No Windows:   .\venv\Scripts\activate  No macOS/Linux:   source venv/bin/activate  Começando  Comece clonando o projeto de  . Feito isso, navegue até a pasta onde você baixou os arquivos em uma janela de terminal e execute:   aqui   docker-compose up minio  Isso iniciará o contêiner MinIO. Você pode navegar até '  ' para dar uma olhada no console do MinIO.    http://172.20.0.2:9001  Faça login com o nome de usuário e senha   . minioadmin:minioadmin  Em seguida, execute o seguinte comando para criar um bucket MinIO chamado   . lance     docker compose up mc  Este comando executa uma série de  (mc) comandos dentro de um shell.   Cliente MinIO  Aqui está uma análise de cada comando:    ;: Este comando tenta repetidamente configurar um host MinIO chamado   com os parâmetros especificados (endpoint, chave de acesso e chave secreta) até obter sucesso. Durante cada tentativa, ele ecoa uma mensagem de espera e pausa por 1 segundo. até (/usr/bin/mc config host add minio http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && sleep 1; done minio    Este comando remove (exclui) à força todo o conteúdo do balde   no MinIO. /usr/bin/mc rm -r --force minio/lance;: lance    : este comando cria um novo bucket chamado   no MinIO. /usr/bin/mc mb minio/lance; lance    : este comando define a política do   bucket como pública, permitindo acesso público de leitura. /usr/bin/mc conjunto de políticas public minio/lance; lance    : este comando garante que o script saia com um código de status 0, indicando uma execução bem-sucedida. saída 0;  LanceDB  Infelizmente, o LanceDB não tem suporte nativo ao S3 e, como resultado, você terá que usar algo como boto3 para se conectar ao contêiner MinIO que você criou. À medida que o LanceDB amadurece, esperamos obter suporte nativo ao S3 que tornará a experiência do usuário ainda melhor.  O script de exemplo abaixo irá ajudá-lo a começar.  Instale os pacotes necessários usando pip. Crie um arquivo chamado requisitos.txt com o seguinte conteúdo:   lancedb~=0.4.1 boto3~=1.34.9 botocore~=1.34.9  Em seguida, execute o seguinte comando para instalar os pacotes:   pip install -r requirements.txt  Você precisará alterar suas credenciais se o método de criação do contêiner MinIO for diferente daquele descrito acima.  Salve o script abaixo em um arquivo, por exemplo,   . lancedb_script.py   import lancedb import os import boto3 import botocore import random def generate_random_data(num_records): data = [] for _ in range(num_records): record = { "vector": [random.uniform(0, 10), random.uniform(0, 10)], "item": f"item_{random.randint(1, 100)}", "price": round(random.uniform(5, 100), 2) } data.append(record) return data def main(): # Set credentials and region as environment variables os.environ["AWS_ACCESS_KEY_ID"] = "minioadmin" os.environ["AWS_SECRET_ACCESS_KEY"] = "minioadmin" os.environ["AWS_ENDPOINT"] = "http://localhost:9000" os.environ["AWS_DEFAULT_REGION"] = "us-east-1" minio_bucket_name = "lance" # Create a boto3 session with path-style access session = boto3.Session() s3_client = session.client("s3", config=botocore.config.Config(s3={'addressing_style': 'path'})) # Connect to LanceDB using path-style URI and s3_client db_uri = f"s3://{minio_bucket_name}/" db = lancedb.connect(db_uri) # Create a table with more interesting data table = db.create_table("mytable", data=generate_random_data(100)) # Open the table and perform a search result = table.search([5, 5]).limit(5).to_pandas() print(result) if __name__ == "__main__": main()  Este script criará uma tabela Lance a partir de dados gerados aleatoriamente e a adicionará ao seu bucket MinIO. Novamente, se você não usar o método da seção anterior para criar um bucket, precisará fazê-lo antes de executar o script. Lembre-se de alterar o script de amostra acima para corresponder ao nome do seu bucket MinIO.  Por fim, o script abre a tabela, sem tirá-la do MinIO, e usa o Pandas para fazer uma busca e imprimir os resultados.  O resultado do script deve ser semelhante ao abaixo. Lembre-se de que os próprios dados são gerados aleatoriamente a cada vez.  vector item price _distance 0 [5.1022754, 5.1069164] item_95 50.94 0.021891 1 [4.209107, 5.2760105] item_100 69.34 0.701694 2 [5.23562, 4.102992] item_96 99.86 0.860140 3 [5.7922664, 5.867489] item_47 56.25 1.380223 4 [4.458882, 3.934825] item_93 9.90 1.427407  Expanda por conta própria  Há muitas maneiras de desenvolver essa base oferecida neste tutorial para criar arquiteturas de ML/IA de alto desempenho, escalonáveis e preparadas para o futuro. Você tem dois blocos de construção de código aberto e de ponta em seu arsenal – armazenamento de objetos MinIO e banco de dados vetorial LanceDB – considere este o seu bilhete premiado para ML/AI  .   torneio  Não pare aqui. LanceDB oferece uma ampla gama de  e tutoriais para expandir o que você construiu neste tutorial, incluindo um curso Udacity anunciado recentemente sobre  . De particular interesse é  receita para conversar com seus documentos. Somos todos a favor de quebrar barreiras para aproveitar ao máximo seus dados.   receitas   Construindo soluções generativas de IA com bancos de dados vetoriais   esse  Por favor, mostre-nos o que você está construindo e se precisar de orientação em sua nobre missão, não hesite em nos enviar um e-mail para hello@minio.io ou participe de nossa mesa redonda em    . Folga

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

LanceDB: seu corcel confiável no duelo contra a complexidade dos dados

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps