MinIO roda em qualquer coisa – bare metal, Kubernetes, Docker, Linux e muito mais. As organizações optam por executar o MinIO para hospedar seus dados em qualquer uma dessas plataformas e dependem cada vez mais de múltiplas plataformas para satisfazer diversos requisitos. A escolha do hardware e sistema operacional subjacentes é baseada em vários fatores, principalmente a quantidade de dados a serem armazenados no MinIO, além dos requisitos de integração com outros softwares nativos da nuvem, desempenho e segurança.  Muitos de nossos clientes executam MinIO em bare metal, enquanto a maioria executa em Kubernetes. A execução de várias instâncias do MinIO em uma arquitetura em contêiner orquestrada pelo Kubernetes é extremamente eficiente. Os clientes MinIO implementam novas regiões e atualizam serviços sem interrupções, com clusters Kubernetes separados em execução em cada região e o objetivo operacional de não compartilhar nada para maior resiliência e escalabilidade.  Os clientes mudam para o MinIO por vários motivos, incluindo:  API compatível com S3  Implantações agnósticas de nuvem multinuvem  Gerenciamento de ACL estilo IAM estilo S3  Armazenamento distribuído e tolerante a falhas usando Erasure Coding  Camadas e versionamento de objetos em vários clusters  Bucket e replicação site a site  Replicação em lote via Batch Framework  Objeto do lado do servidor e criptografia de dados do cliente  Criptografia de dados de rede da camada de transporte  Devido a esses diversos motivos e ambientes onde o MinIO pode ser utilizado e instalado, é realista presumir que há uma série de fontes de dados onde os dados já estão armazenados e que você gostaria de inserir no MinIO.  Nesta postagem, vamos revisar algumas das ferramentas disponíveis para obter dados do S3, FileSystem local, NFS, Azure, GCP, Hitachi Content Platform, Ceph e outros, e em clusters MinIO onde podem ser expostos à IA nativa da nuvem /ML e pacotes analíticos.  Cliente MinIO  Para começar, usaremos o   (mc) durante esta postagem para algumas dessas opções. Certifique-se de instalá-lo e definir o alias para o   em execução. MinIO Client MinIO Server   mc alias set destminio https://myminio.example.net minioadminuser minioadminpassword  Adicionaremos mais alguns aliases de “fonte” à medida que percorremos os diferentes métodos.  Sistemas de arquivos  A maioria dos casos de uso para migração de dados para o MinIO começa com um sistema de arquivos montado ou volume NFS. Nesta configuração simples, você pode usar   para sincronizar os dados da origem ao destino. Pense no   como um canivete suíço para sincronização de dados. Isso tira o fardo do usuário de determinar a melhor maneira de interagir com a fonte da qual você está buscando os objetos. Ele oferece suporte a várias fontes e, com base na fonte de onde você está extraindo, as funções corretas são usadas para habilitá-las. o mc mirror mc mirror  Por exemplo, vamos começar com um sistema de arquivos simples montado a partir de um disco rígido físico, disco virtual ou até mesmo algo como uma montagem GlusterFS. Contanto que seja um sistema de arquivos legível pelo sistema operacional, o MinIO também pode lê-lo:   filesystem kbytes used avail capacity mounted on /dev/root 6474195 2649052 3825143 41% / /dev/stand 24097 5757 18340 24% /stand /proc 0 0 0 0% /proc /dev/fd 0 0 0 0% /dev/fd /dev/_tcp 0 0 0 0% /dev/_tcp /dev/dsk/c0b0t0d0s4 10241437 4888422 5353015 48% /home /dev/dsk/c0b0t1d0sc 17422492 12267268 5155224 71% /home2  Vamos supor que seus objetos estejam em   , você executaria o seguinte comando para espelhar os objetos (se o bucket   ainda não existir, você teria que criá-lo primeiro): /home/mydata mydata   mc mirror /home/mydata destminio/mydata  Este comando garantirá que os objetos que não estão mais no local de origem sejam removidos do destino ou quando novos objetos forem adicionados à origem, eles serão copiados para o destino. Mas se você quiser sobrescrever objetos existentes modificados na fonte, passe o sinalizador   . --overwrite  NFS  O Network File Share (NFS) geralmente é usado para armazenar objetos ou dados que não são acessados com frequência porque, embora onipresente, muitas vezes o protocolo é muito lento na rede. No entanto, muitos ETL e alguns sistemas legados usam NFS como repositório de dados a serem usados para operações, análises, IA/ML e casos de uso adicionais. Faria mais sentido que esses dados residissem no MinIO devido à escalabilidade, segurança e alto desempenho de um cluster MinIO, juntamente com a capacidade do MinIO de fornecer serviços para aplicativos nativos da nuvem usando a API S3.  Instale os pacotes necessários para montar o volume NFS   apt install nfs-common  Certifique-se de adicionar o diretório   a  /home /etc/exports   /home client_ip(rw,sync,no_root_squash,no_subtree_check)  Nota: Certifique-se de reiniciar seu servidor NFS, por exemplo em servidores Ubuntu   systemctl restart nfs-kernel-server  Crie um diretório para montar a montagem NFS   mkdir -p /nfs/home  Monte o volume NFS   mount <nfs_host>:/home /nfs/home  Copie os dados do NFS para o MinIO   mc mirror /nfs/home destminio/nfsdata  Pronto, agora você pode mover seus objetos grandes do NFS para o MinIO.  S3  Como mencionamos anteriormente,   é um canivete suíço de sincronização de dados. Além dos sistemas de arquivos, ele também copia objetos de armazenamentos compatíveis com API S3 ou S3 e os espelha no MinIO. Um dos casos de uso mais populares é o espelhamento de um bucket do Amazon S3. mc mirror  Siga estas   para criar um bucket AWS S3 em sua conta. Se você já possui uma conta com dados, também podemos usá-la. etapas  Depois que um bucket for criado ou os dados forem adicionados a um bucket existente, crie uma nova   com chave de acesso e chave secreta permitindo acesso apenas ao nosso bucket. Salve as credenciais geradas para a próxima etapa. política IAM  Podemos trabalhar com qualquer armazenamento compatível com S3 usando o MinIO Client. A seguir, vamos adicionar um alias usando o nome do bucket S3 que criamos junto com as credenciais que baixamos   mc alias set s3 https://s3.amazonaws.com BKIKJAA5BMMU2RHO6IBB V7f1CwQqAcwo80UEIJEjc5gVQUSSx5ohQ9GSrr12 --api S3v4  Use   para copiar os dados do S3 para MinIO mc mirror   mc mirror s3/mybucket destminio/mydata  Dependendo da quantidade de dados, da velocidade da rede e da distância física da região onde os dados do bucket estão armazenados, pode levar alguns minutos ou mais para você espelhar todos os dados. Você verá uma mensagem quando mc terminar de copiar todos os objetos.  HDFS  Para o próximo conjunto de ferramentas, escrevemos scripts dedicados para satisfazer alguns dos requisitos não padrão de migração de dados de casos extremos que precisamos cumprir. Uma delas é a migração do HDFS e do Hadoop. Muitas empresas têm tantos dados armazenados no Hadoop que é impossível ignorá-los e começar do zero com uma plataforma nativa da nuvem. É mais viável transferir esses dados para algo mais moderno (e nativo da nuvem) como MinIO e executar seu ETL e outros processos dessa forma. É bastante simples de configurar.  Crie um arquivo chamado   com o seguinte conteúdo core-site.xml   <configuration> <property> <name>fs.s3a.path.style.access</name> <value>true</value> </property> <property> <name>fs.s3a.endpoint</name> <value>https://minio:9000</value> </property> <property> <name>fs.s3a.access.key</name> <value>minio-sample</value> </property> <property> <name>fs.s3a.secret.key</name> <value>minio-sample123</value> </property> </configuration>  Defina as seguintes variáveis de ambiente   export HDFS_SOURCE_PATH=hdfs://namenode:8080/user/minio/testdir export S3_DEST_PATH=s3a://mybucket/testdir  Baixe o seguinte arquivo, chmod +x e execute-o   curl -LSs -o https://github.com/minio/hdfs-to-minio/blob/master/hdfs-to-minio.sh chmod +x hdfs-to-minio.sh ./hdfs-to-minio.sh  Se você armazena dados no Hadoop há vários anos, esse processo pode levar várias horas. Se estiver em um cluster de produção, recomendamos migrar os dados fora do horário de expediente durante as janelas de manutenção para minimizar o impacto de qualquer degradação de desempenho em seu cluster Hadoop enquanto os dados estão sendo espelhados.  Mais detalhes sobre a migração do HDFS para o MinIO estão disponíveis neste   e também temos uma postagem no blog   . GitHub Repo Migrating from HDFS to Object Storage  Profissional de saúde  Anteriormente, escrevemos uma postagem incrível no blog sobre   e como migrar seus dados para um cluster MinIO. Eu recomendaria a leitura da postagem do blog para obter detalhes completos, mas o ponto crucial é o seguinte. Hitachi Content Platform  Depois de configurar o cluster HCP e o arquivo de entrada necessários,   e execute o seguinte comando para iniciar o processo de migração baixe a ferramenta de migração   $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt  Ceph  Por último, mas não menos importante, mantivemos o elefante na sala até o fim. Embora antigo, o Ceph é um armazenamento de dados popular e possui uma API compatível com S3. Ele é usado por outros projetos Kubernetes como backend para armazenamento de objetos, como Rook. Ceph, no entanto, é um gigante difícil de configurar e executar. Portanto, é natural que as pessoas queiram migrar seus dados para algo mais simples, mais fácil de manter e com maior desempenho.  Existem duas maneiras de copiar dados do Ceph:  Replicação de bucket: cria o objeto, mas se o objeto for excluído da origem, não o excluirá no destino.  https://min.io/docs/minio/linux/administration/bucket-replication.html  Espelho Mc: Sincroniza objetos e versões, vai até deletar objetos que não existem  https://min.io/docs/minio/linux/reference/minio-mc/mc-mirror.html  Semelhante ao S3, como o Ceph possui API compatível com S3, você pode adicionar um alias ao MinIO Client   mc alias set ceph http://ceph_host:port cephuser cephpass  Você pode então usar   para copiar os dados para o seu cluster MinIO mc mirror   mc mirror ceph/mydata destminio/mydata  Sugerimos que você execute o comando   com o sinalizador   para monitorar continuamente os objetos e sincronizá-los com o MinIO. mc mirror --watch  Migre seus dados para o MinIO hoje mesmo!  Existem apenas alguns exemplos que mostram como é fácil migrar seus dados para o MinIO. Não importa se você está usando protocolos legados mais antigos, como NFS, ou os melhores e mais recentes, como S3, o MinIO está aqui para apoiá-lo.  Neste post detalhamos como migrar de sistemas de arquivos e outros armazenamentos de dados, como NFS, sistema de arquivos, GlusterFS, HDFS, HCP e, por último, mas não menos importante, Ceph. Independentemente da pilha de tecnologia executada nele, o backend MinIO fornece uma solução de armazenamento de objetos definidos por software de alto desempenho, durável, segura e escalonável, mas simples.  Se você tiver alguma dúvida, sinta-se à vontade para entrar em contato conosco no   ! Slack  Também publicado   . aqui

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

As ferramentas de migração de dados para ajudá-lo a entrar no MinIO

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Uma breve introdução à teoria do cérebro de Boltzmann

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Uma breve introdução à teoria do cérebro de Boltzmann

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps