Os clientes trazem MinIO para seus ambientes para obter armazenamento de objetos de alto desempenho compatível com S3 que pode ser executado em qualquer hardware físico ou virtual e Kubernetes. Nossos   demonstram que o MinIO é o armazenamento de objetos mais rápido disponível, mas só pode ser executado na velocidade do hardware e da rede que você fornece. O desempenho é um grande foco da nossa equipe, por isso fazemos tudo o que podemos para ajudar os administradores a aproveitar ao máximo o MinIO. Para verificar se a infraestrutura subjacente pode oferecer suporte ideal ao MinIO, fornecemos dois métodos para avaliar o desempenho e identificar possíveis gargalos: WARP e Speedtest. benchmarks publicados  Aplicativos modernos como IA/ML, análises avançadas e bancos de dados exigem armazenamento de objetos de alto desempenho. A combinação de escalabilidade e alto desempenho do MinIO coloca todas as cargas de trabalho, não importa quão exigentes sejam, ao seu alcance. Quando o desempenho é crítico, você precisa saber que está alcançando o melhor desempenho possível. Os resultados do WARP e do Speedtest podem ser usados para monitorar o desempenho ao longo do tempo e identificar proativamente possíveis problemas antes que se tornem problemas sérios.  WARP é um software de avaliação de desempenho S3 de código aberto e completo, desenvolvido para conduzir testes entre clientes WARP e hosts de armazenamento de objetos. WARP mede o desempenho GET e PUT de vários clientes em um cluster MinIO. O WARP possui muitas opções, configuradas por linha de comando ou variáveis ambientais, permitindo criar testes alinhados às suas cargas de trabalho. Lembre-se: é absolutamente crítico avaliar o desempenho de maneira significativa e testar usando dados e uma carga de trabalho que represente as condições reais nas quais seu armazenamento de objetos opera.  Por outro lado, o Speedtest é um teste de desempenho automatizado fácil de usar que fornece uma experiência simplificada e resultados concisos.   em novembro para fornecer aos administradores do MinIO a capacidade de executar uma avaliação de desempenho distribuída de seus clusters MinIO com um único comando. O Speedtest executa PUTS e, em seguida, GETS, aumentando gradativamente a carga para identificar o rendimento agregado máximo. Os testes podem levar de alguns segundos a vários minutos para serem executados, dependendo do cluster MinIO. Apresentamos o Speedtest  Existem algumas diferenças importantes entre WARP e Speedtest. WARP é uma ferramenta completa que testa o desempenho do seu cluster MinIO por meio de operações conduzidas por clientes WARP. As máquinas clientes estão conduzindo PUTS e GETS de objetos pela rede para seu cluster MinIO distribuído. Isso torna o WARP um excelente mecanismo para testar o desempenho cliente-servidor previsto. Por outro lado, o Speedtest é executado em instâncias MinIO para conduzir PUTS e GETS de objetos para outras instâncias MinIO no mesmo cluster. Dessa forma, o Speedtest informa do que o lado do servidor da equação de desempenho é capaz.  WARP contém praticamente todos os testes (GET, PUT, DELETE, LIST, STAT, RETENTION) que você pode querer executar no armazenamento de objetos, e as execuções de testes podem incluir uma combinação personalizada de tamanhos de objetos para corresponder às suas cargas de trabalho. O Speedtest executa parâmetros de teste definidos para identificar rapidamente o rendimento máximo. Embora o WARP exija software adicional, o Speedtest está incluído no MinIO e pode ser executado a partir da interface mc ou do console MinIO. Para ajudar na solução de problemas, os clientes podem compartilhar os resultados do Speedtest com os engenheiros do MinIO com um único clique.  WARP: uma ferramenta completa de benchmarking de armazenamento de objetos  Primeiro, vamos dar uma olhada no WARP. WARP é uma ferramenta que permite avaliar minuciosamente o desempenho do MinIO, ou de qualquer armazenamento de objetos compatível com S3, sob uma variedade de condições. Por padrão, o WARP realizará um teste misto de leitura e gravação em todos os discos utilizados pelo MinIO rodando em modo distribuído.   Para esta demonstração. executaremos o WARP para testar o MinIO em execução na AWS em modo distribuído. Temos feito isso com bastante frequência ultimamente, para que possamos aconselhar clientes atuais e potenciais sobre as configurações de melhor desempenho que encontramos, testando-as.  WARP está localizado em um   , onde você também encontrará documentação detalhada. repositório GitHub  Começaremos implantando o MinIO em   . Você pode   e instalá-lo em seu ambiente sozinho ou pode seguir este   . modo distribuído baixar o MinIO tutorial para instalar o MinIO no AWS EC2  De qualquer forma, começaremos com uma implantação distribuída do MinIO:   Assim que o MinIO estiver instalado e funcionando, você poderá medir o desempenho com o WARP, então vamos começar.  Etapa 0: Crie 4 instâncias (também conhecidas como nós) com Distributed MinIO.  Para todas as UI da Amazon ou AWS CLI, siga as etapas da   para implantar instâncias, mas não configure armazenamento adicional. As instâncias que executam o WARP devem ser poderosas o suficiente para gerar objetos rapidamente e medir operações PUT e GET, mas não requerem o volume de armazenamento necessário para um nó MinIO.  postagem anterior do blog  Etapa 2: Adicione hosts no arquivo /etc/hosts nos clientes WARP.  Obtenha os endereços IP das instâncias MinIO  Obtenha os endereços IP dos clientes WARP  Adicione esses endereços no arquivo /etc/hosts:   172.31.23.237 host1 172.31.26.78 host2 172.31.26.90 host3 172.31.19.110 host4 172.31.27.18 warp1 172.31.23.81 warp2 172.31.19.28 warp3 172.31.19.7 warp4    Isso simplifica o lançamento do WARP a partir da linha de comando e facilita a localização de cada cliente WARP e host MinIO. Observe que recomendamos listar e trabalhar com hosts em ordem consecutiva.  Etapa 3: Instale o WARP nos clientes e execute-o.   [root@ip-172-31-19-7 ec2-user]# wget https://github.com/minio/warp/releases/download/v0.5.5/warp_0.5.5_Linux_arm64.tar.gz 2022-02-08 20:06:04 (66.3 MB/s) - 'warp_0.5.5_Linux_arm64.tar.gz' saved [3943887/3943887] [root@ip-172-31-19-7 ec2-user]# tar -xzvf warp_0.5.5_Linux_arm64.tar.gz LICENSE README.md warp_logo.png warp [root@ip-172-31-19-7 ec2-user]# ./warp client warp: Listening on :7761   Observe que cada cliente WARP está escutando na porta 7761  Etapa 4: execute o WARP e lance um benchmark misto.   [root@ip-172-31-27-18 ec2-user]# WARP_ACCESS_KEY=minioadmin WARP_SECRET_KEY=minioadmin ./warp mixed --warp-client warp{1...4}:7761 --host host{1...4}:9000 --duration 120s --obj.size 64M --concurrent 64 warp: Benchmark data written to "warp-remote-2022-02-08[201339]-qymu.csv.zst" Mixed operations. Operation: DELETE, 10%, Concurrency: 256, Ran 1m54s. * Throughput: 39.90 obj/s Operation: GET, 45%, Concurrency: 256, Ran 1m54s. * Throughput: 10903.28 MiB/s, 178.64 obj/s Operation: PUT, 15%, Concurrency: 256, Ran 1m54s. * Throughput: 3628.27 MiB/s, 59.45 obj/s Operation: STAT, 30%, Concurrency: 256, Ran 1m54s. * Throughput: 119.98 obj/s Cluster Total: 14501.38 MiB/s, 397.44 obj/s over 1m55s. warp: Cleanup done. [root@ip-172-31-27-18 ec2-user]#  Você concluiu um teste básico de desempenho em modo misto usando WARP. Embora tenhamos usado um teste de modo misto para demonstrar WARP, você normalmente obterá melhores resultados que estão mais alinhados ao uso no mundo real, dividindo operações individuais (GET, PUT, LIST) em suas próprias execuções de teste, em vez de executar um teste misto. teste de modo.  Recomendamos que você consulte a   para saber como executar mais cenários de teste. Por exemplo, você pode ativar o TLS e a criptografia no lado do servidor para medir o impacto no seu ambiente. Você pode sobrecarregar ainda mais a infraestrutura aumentando o número de testes simultâneos. Você pode usar uma combinação aleatória de tamanhos de objetos ou especificar um tamanho de objeto que corresponda ao seu ambiente e carga de trabalho atuais. Você pode configurar os testes para serem executados por um período de tempo definido ou para serem encerrados automaticamente, como fizemos acima. documentação  Os resultados WARP são mostrados na tela e salvos em um arquivo CSV local compactado usando zstandard.  Speedtest para uma avaliação de desempenho rápida e fácil  Caso você não queira a flexibilidade total do WARP, criamos uma maneira rápida e fácil de medir o desempenho do MinIO usando o Speedtest. O Speedtest é mais comumente executado no modo de ajuste automático, aumentando gradativamente a carga para identificar o rendimento agregado máximo.  Você pode usar mc para executar o Speedtest:   $ mc support perf object <alias>   [root@ip-172-31-77-115 ec2-user]# ./mc support perf object myminio THROUGHPUT IOPS PUT 2.4 GiB/s 38 objs/s GET 4.6 GiB/s 73 objs/s Speedtest: MinIO 2022-02-01T18:00:14Z, 4 servers, 16 drives, 64 MiB objects, 72 threads  Ou você pode executar o Speedtest no MinIO Console, a GUI baseada em navegador para configurar, gerenciar e gerar relatórios sobre clusters MinIO. Basta navegar até o menu Suporte, clicar em Desempenho e, a seguir, clicar no botão Iniciar.   O teste de desempenho será executado. Quando estiver concluído, o desempenho agregado de GET e PUT, bem como o desempenho de nós individuais, será exibido.  Para obter mais detalhes e exemplos do Speedtest, consulte este   . tutorial  Velocidade Warp à frente!  Comece   hoje mesmo. Junte-se à nossa   e troque ideias com outros usuários do MinIO. Se você tiver alguma dúvida específica sobre o uso do WARP, entre em contato conosco em nosso canal Slack (Matt Sarrel e Cesar Celis) ou envie-nos um e-mail para hello@minio.io. baixando o MinIO comunidade Slack  Também publicado   . aqui

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Comparando MinIO com WARP e Speedtest

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps