MinIO работает на чем угодно — на «голом железе», Kubernetes, Docker, Linux и т. д. Организации предпочитают использовать MinIO для размещения своих данных на любой из этих платформ и все чаще полагаются на несколько платформ для удовлетворения множества требований. Выбор базового оборудования и ОС основан на ряде факторов, в первую очередь на объеме данных, которые будут храниться в MinIO, а также на требованиях к интеграции с другим облачным программным обеспечением, производительности и безопасности.  Многие из наших клиентов используют MinIO на «голом железе», а большинство — на Kubernetes. Запуск нескольких экземпляров MinIO в контейнерной архитектуре, управляемой Kubernetes, чрезвычайно эффективен. Клиенты MinIO развертывают новые регионы и обновляют сервисы без сбоев, при этом в каждом регионе работают отдельные кластеры Kubernetes, а операционная цель — отсутствие общего доступа для максимальной отказоустойчивости и масштабируемости.  Клиенты переходят на MinIO по разным причинам, в том числе:  Совместимый с S3 API  Мультиоблачные агностические развертывания  Управление ACL в стиле IAM в стиле S3  Распределенное и отказоустойчивое хранилище с использованием Erasure Coding  Многоуровневое распределение и управление версиями объектов в нескольких кластерах  Репликация сегментов и репликация между площадками  Пакетная репликация через Batch Framework  Шифрование объектов на стороне сервера и данных клиента  Сетевое шифрование данных на транспортном уровне  Из-за этих разнообразных причин и сред, в которых можно использовать и устанавливать MinIO, вполне реально предположить, что существует ряд источников данных, в которых уже хранятся данные, которые вы хотели бы перенести в MinIO.  В этом посте давайте рассмотрим некоторые инструменты, доступные для получения данных из S3, локальной файловой системы, NFS, Azure, GCP, Hitachi Content Platform, Ceph и других, а также в кластеры MinIO, где они могут быть доступны облачному искусственному интеллекту. /ML и пакеты аналитики.  Клиент MinIO  Для начала в ходе этой статьи мы будем использовать   (mc) для некоторых из этих опций. Обязательно установите его и установите псевдоним для вашего работающего   . клиент MinIO сервера MinIO   mc alias set destminio https://myminio.example.net minioadminuser minioadminpassword  Мы добавим еще несколько псевдонимов «исходников» по мере изучения различных методов.  Файловые системы  Большинство вариантов использования переноса данных в MinIO начинаются с смонтированной файловой системы или тома NFS. В этой простой конфигурации вы можете использовать   для синхронизации данных из источника в пункт назначения. Думайте о   как о швейцарском армейском ноже для синхронизации данных. С пользователя снимается бремя определения наилучшего способа взаимодействия с источником, из которого вы извлекаете объекты. Он поддерживает несколько источников, и в зависимости от источника, из которого вы извлекаете, для их включения используются правильные функции. зеркало mc mc mirror  Например, давайте начнем с простой файловой системы, которая монтируется с физического жесткого диска, виртуального диска или даже с чего-то вроде монтирования GlusterFS. Пока это файловая система, читаемая ОС, MinIO тоже может ее читать:   filesystem kbytes used avail capacity mounted on /dev/root 6474195 2649052 3825143 41% / /dev/stand 24097 5757 18340 24% /stand /proc 0 0 0 0% /proc /dev/fd 0 0 0 0% /dev/fd /dev/_tcp 0 0 0 0% /dev/_tcp /dev/dsk/c0b0t0d0s4 10241437 4888422 5353015 48% /home /dev/dsk/c0b0t1d0sc 17422492 12267268 5155224 71% /home2  Предположим, что ваши объекты находятся в   , затем вам нужно выполнить следующую команду, чтобы отразить объекты (если корзина   еще не существует, вам придется сначала ее создать): /home/mydata mydata   mc mirror /home/mydata destminio/mydata  Эта команда гарантирует, что объекты, которых больше нет в исходном местоположении, будут удалены из места назначения или когда новые объекты будут добавлены в источник, они будут скопированы в место назначения. Но если вы хотите перезаписать существующие объекты, измененные в исходном коде, передайте флаг   . --overwrite  НФС  Сетевой файловый ресурс (NFS) обычно используется для хранения объектов или данных, к которым нечасто осуществляется доступ, поскольку, несмотря на повсеместное распространение, протокол часто работает в сети очень медленно. Тем не менее, многие ETL и некоторые устаревшие системы используют NFS в качестве хранилища данных, которые будут использоваться для операций, аналитики, искусственного интеллекта и машинного обучения и дополнительных вариантов использования. Было бы разумнее хранить эти данные в MinIO из-за масштабируемости, безопасности и высокой производительности кластера MinIO в сочетании со способностью MinIO предоставлять услуги облачным приложениям с использованием API S3.  Установите необходимые пакеты для монтирования тома NFS.   apt install nfs-common  Обязательно добавьте каталог   в  /home /etc/exports   /home client_ip(rw,sync,no_root_squash,no_subtree_check)  Примечание. Обязательно перезапустите сервер NFS, например, на серверах Ubuntu.   systemctl restart nfs-kernel-server  Создайте каталог для монтирования монтирования NFS.   mkdir -p /nfs/home  Подключите том NFS   mount <nfs_host>:/home /nfs/home  Скопируйте данные из NFS в MinIO.   mc mirror /nfs/home destminio/nfsdata  Вот и все, теперь вы можете перемещать большие объекты из NFS в MinIO.  S3  Как мы упоминали ранее,   — это швейцарский армейский нож для синхронизации данных. Помимо файловых систем, он также копирует объекты из хранилищ, совместимых с S3 или S3 API, и зеркалирует их в MinIO. Одним из наиболее популярных вариантов использования является зеркалирование корзины Amazon S3. mc mirror  Выполните следующие   , чтобы создать корзину AWS S3 в своей учетной записи. Если у вас уже есть существующая учетная запись с данными, мы также можем использовать ее. действия  После создания корзины или добавления данных в существующую корзину создайте новую   с ключом доступа и секретным ключом, разрешающим доступ только к нашей корзине. Сохраните сгенерированные учетные данные для следующего шага. политику IAM  Мы можем работать с любым хранилищем, совместимым с S3, используя клиент MinIO. Далее давайте добавим псевдоним, используя имя корзины S3, которое мы создали, и загруженные нами учетные данные.   mc alias set s3 https://s3.amazonaws.com BKIKJAA5BMMU2RHO6IBB V7f1CwQqAcwo80UEIJEjc5gVQUSSx5ohQ9GSrr12 --api S3v4  Используйте   для копирования данных из S3 в MinIO. зеркало mc   mc mirror s3/mybucket destminio/mydata  В зависимости от объема данных, скорости сети и физического расстояния от региона, в котором хранятся данные корзины, зеркалирование всех данных может занять несколько минут или больше. Вы увидите сообщение, когда mc завершит копирование всех объектов.  HDFS  Для следующего набора инструментов мы пишем специальные сценарии, чтобы удовлетворить некоторые нестандартные требования к миграции данных в крайних случаях, которые нам необходимо выполнить. Одним из них является переход с HDFS и Hadoop. Многие предприятия хранят в Hadoop так много данных, что невозможно игнорировать их и начать все заново с облачной платформы. Целесообразнее перенести эти данные во что-то более современное (и облачное), например MinIO, и таким образом запустить ETL и другие процессы. Это довольно просто настроить.  Создайте файл   со следующим содержимым. core-site.xml   <configuration> <property> <name>fs.s3a.path.style.access</name> <value>true</value> </property> <property> <name>fs.s3a.endpoint</name> <value>https://minio:9000</value> </property> <property> <name>fs.s3a.access.key</name> <value>minio-sample</value> </property> <property> <name>fs.s3a.secret.key</name> <value>minio-sample123</value> </property> </configuration>  Установите следующие переменные среды   export HDFS_SOURCE_PATH=hdfs://namenode:8080/user/minio/testdir export S3_DEST_PATH=s3a://mybucket/testdir  Загрузите следующий файл, chmod +x и запустите его.   curl -LSs -o https://github.com/minio/hdfs-to-minio/blob/master/hdfs-to-minio.sh chmod +x hdfs-to-minio.sh ./hdfs-to-minio.sh  Если вы храните данные в Hadoop уже несколько лет, то этот процесс может занять несколько часов. Если это производственный кластер, мы рекомендуем переносить данные в нерабочее время во время периодов обслуживания, чтобы свести к минимуму влияние любого снижения производительности вашего кластера Hadoop во время зеркалирования данных.  Более подробную информацию о переходе с HDFS на MinIO можно найти в этом   , а также у нас есть запись в блоге   ». репозитории GitHub «Миграция с HDFS на объектное хранилище  медицинский работник  Ранее мы написали замечательную публикацию в блоге о   и о том, как перенести ваши данные в кластер MinIO. Я бы порекомендовал прочитать сообщение в блоге для получения полной информации, но суть заключается в следующем. платформе контента Hitachi  После настройки необходимого кластера HCP и входного файла   и выполните следующую команду, чтобы начать процесс миграции. загрузите инструмент миграции   $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt  Цеф  И последнее, но не менее важное: мы сохранили слона в комнате до самого конца. Несмотря на старение, Ceph является популярным хранилищем данных и имеет API, совместимый с S3. Он используется другими проектами Kubernetes в качестве бэкэнда для хранения объектов, например Rook. Ceph, однако, является громоздким чудовищем для установки и запуска. Поэтому вполне естественно, что люди захотят переместить свои данные во что-то более простое, удобное в обслуживании и с большей производительностью.  Есть два способа копирования данных из Ceph:  Репликация сегмента: создает объект, но если объект удаляется из источника, он не удаляет его в месте назначения.  https://min.io/docs/minio/linux/administration/bucket-replication.html  Зеркало Mc: синхронизирует объекты и версии, даже удаляет несуществующие объекты   . https://min.io/docs/minio/linux/reference/minio-mc/mc-mirror.html  Подобно S3, поскольку Ceph имеет API-интерфейс, совместимый с S3, вы можете добавить псевдоним к клиенту MinIO.   mc alias set ceph http://ceph_host:port cephuser cephpass  Затем вы можете использовать   для копирования данных в кластер MinIO. mc mirror   mc mirror ceph/mydata destminio/mydata  Мы предлагаем вам запустить команду   с флагом   , чтобы постоянно отслеживать объекты и синхронизировать их с MinIO. mc mirror --watch  Перенесите свои данные в MinIO сегодня!  Вот лишь несколько примеров, показывающих, насколько легко перенести данные в MinIO. Неважно, используете ли вы старые устаревшие протоколы, такие как NFS, или новейшие и лучшие, такие как S3, MinIO всегда готов поддержать вас.  В этом посте мы подробно рассмотрели, как мигрировать из файловых систем и других хранилищ данных, таких как NFS, файловая система, GlusterFS, HDFS, HCP и, наконец, что не менее важно, Ceph. Независимо от технологического стека, серверная часть MinIO обеспечивает производительное, надежное, безопасное и масштабируемое, но простое программно-определяемое объектное решение для хранения данных.  Если у вас есть какие-либо вопросы, свяжитесь с нами в   ! Slack  Также опубликовано   . здесь

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Get Free Unlimited IP Geo Data With IPinfo Lite

Инструменты миграции данных, которые помогут вам освоить MinIO

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps