MinIO läuft auf allem – Bare Metal, Kubernetes, Docker, Linux und mehr. Unternehmen entscheiden sich für die Ausführung von MinIO, um ihre Daten auf einer dieser Plattformen zu hosten, und verlassen sich zunehmend auf mehrere Plattformen, um mehreren Anforderungen gerecht zu werden. Die Wahl der zugrunde liegenden Hardware und des Betriebssystems basiert auf einer Reihe von Faktoren, vor allem auf der Menge der in MinIO zu speichernden Daten sowie den Anforderungen für die Integration mit anderer Cloud-nativer Software, Leistung und Sicherheit.  Viele unserer Kunden betreiben MinIO auf Bare-Metal, während die Mehrheit auf Kubernetes läuft. Das Ausführen mehrerer MinIO-Instanzen in einer von Kubernetes orchestrierten Containerarchitektur ist äußerst effizient. MinIO-Kunden führen ohne Unterbrechung neue Regionen ein und aktualisieren Dienste, wobei in jeder Region separate Kubernetes-Cluster ausgeführt werden und das Betriebsziel „Shared-Nothing“ für höchste Ausfallsicherheit und Skalierbarkeit gilt.  Kunden wechseln aus verschiedenen Gründen zu MinIO, darunter:  S3-kompatible API  Multi-Cloud-Cloud-agnostische Bereitstellungen  ACL-Verwaltung im IAM-Stil im S3-Stil  Verteilter und fehlertoleranter Speicher mit Erasure Coding  Tiering und Versionierung von Objekten über mehrere Cluster hinweg  Bucket- und Site-to-Site-Replikation  Batch-Replikation über Batch Framework  Serverseitige Objekt- und Clientdatenverschlüsselung  Transportschicht-Netzwerkverschlüsselung von Daten  Aufgrund dieser unterschiedlichen Gründe und Umgebungen, in denen MinIO verwendet und installiert werden kann, ist es realistisch anzunehmen, dass es eine Reihe von Datenquellen gibt, in denen bereits Daten gespeichert sind, die Sie in MinIO übernehmen möchten.  In diesem Beitrag werfen wir einen Blick auf einige der verfügbaren Tools, um Daten aus S3, lokalen Dateisystemen, NFS, Azure, GCP, Hitachi Content Platform, Ceph und anderen in MinIO-Cluster zu übertragen, wo sie cloudnativer KI zugänglich gemacht werden können /ML- und Analysepakete.  MinIO-Client  Zunächst verwenden wir im Laufe dieses Beitrags für einige dieser Optionen den   (mc). Bitte installieren Sie es unbedingt und stellen Sie den Alias auf Ihren laufenden   ein. MinIO-Client MinIO-Server   mc alias set destminio https://myminio.example.net minioadminuser minioadminpassword  Wir werden einige weitere „Quellen“-Aliase hinzufügen, während wir die verschiedenen Methoden durchgehen.  Dateisysteme  Die meisten Anwendungsfälle für die Migration von Daten in MinIO beginnen mit einem gemounteten Dateisystem oder NFS-Volume. In dieser einfachen Konfiguration können Sie   verwenden, um die Daten von der Quelle zum Ziel zu synchronisieren. Stellen Sie sich   als ein Schweizer Taschenmesser für die Datensynchronisierung vor. Dadurch wird der Benutzer entlastet, die beste Art der Interaktion mit der Quelle zu bestimmen, von der Sie die Objekte abrufen. Es unterstützt eine Reihe von Quellen und je nach Quelle, aus der Sie ziehen, werden die richtigen Funktionen verwendet, um diese zu aktivieren. MC Mirror mc mirror  Beginnen wir beispielsweise mit einem einfachen Dateisystem, das von einer physischen Festplatte, einer virtuellen Festplatte oder sogar einem GlusterFS-Mount bereitgestellt wird. Solange es sich um ein vom Betriebssystem lesbares Dateisystem handelt, kann MinIO es auch lesen:   filesystem kbytes used avail capacity mounted on /dev/root 6474195 2649052 3825143 41% / /dev/stand 24097 5757 18340 24% /stand /proc 0 0 0 0% /proc /dev/fd 0 0 0 0% /dev/fd /dev/_tcp 0 0 0 0% /dev/_tcp /dev/dsk/c0b0t0d0s4 10241437 4888422 5353015 48% /home /dev/dsk/c0b0t1d0sc 17422492 12267268 5155224 71% /home2  Nehmen wir an, Ihre Objekte befinden sich in   , dann würden Sie den folgenden Befehl ausführen, um die Objekte zu spiegeln (wenn der   Bucket noch nicht vorhanden ist, müssten Sie ihn zuerst erstellen): /home/mydata mydata   mc mirror /home/mydata destminio/mydata  Dieser Befehl stellt sicher, dass Objekte, die sich nicht mehr am Quellspeicherort befinden, vom Ziel entfernt werden oder dass, wenn neue Objekte zur Quelle hinzugefügt werden, diese zum Ziel kopiert werden. Wenn Sie jedoch vorhandene, in der Quelle geänderte Objekte überschreiben möchten, übergeben Sie das Flag   . --overwrite  NFS  Network File Share (NFS) wird im Allgemeinen zum Speichern von Objekten oder Daten verwendet, auf die nicht oft zugegriffen wird, da das Protokoll zwar allgegenwärtig ist, im gesamten Netzwerk jedoch häufig sehr langsam ist. Dennoch verwenden viele ETL- und einige Legacy-Systeme NFS als Repository für Daten, die für Vorgänge, Analysen, KI/ML und weitere Anwendungsfälle verwendet werden. Aufgrund der Skalierbarkeit, Sicherheit und hohen Leistung eines MinIO-Clusters sowie der Fähigkeit von MinIO, mithilfe der S3-API Dienste für Cloud-native Anwendungen bereitzustellen, wäre es sinnvoller, diese Daten auf MinIO zu speichern.  Installieren Sie die erforderlichen Pakete, um das NFS-Volume bereitzustellen   apt install nfs-common  Stellen Sie sicher, dass Sie das Verzeichnis   zu   hinzufügen /home /etc/exports   /home client_ip(rw,sync,no_root_squash,no_subtree_check)  Hinweis: Stellen Sie sicher, dass Sie Ihren NFS-Server neu starten, beispielsweise auf Ubuntu-Servern   systemctl restart nfs-kernel-server  Erstellen Sie ein Verzeichnis zum Mounten des NFS-Mounts   mkdir -p /nfs/home  Mounten Sie das NFS-Volume   mount <nfs_host>:/home /nfs/home  Kopieren Sie die Daten von NFS nach MinIO   mc mirror /nfs/home destminio/nfsdata  Jetzt können Sie Ihre großen Objekte von NFS nach MinIO verschieben.  S3  Wie bereits erwähnt, ist   ein Schweizer Taschenmesser für die Datensynchronisierung. Neben Dateisystemen werden auch Objekte aus S3- oder S3-API-kompatiblen Speichern kopiert und auf MinIO gespiegelt. Einer der beliebtesten Anwendungsfälle hierfür ist die Spiegelung eines Amazon S3-Buckets. mc mirror  Befolgen Sie diese   , um einen AWS S3-Bucket in Ihrem Konto zu erstellen. Wenn Sie bereits über ein bestehendes Konto mit Daten verfügen, können wir dieses auch nutzen. Schritte  Sobald ein Bucket erstellt oder Daten zu einem vorhandenen Bucket hinzugefügt wurden, erstellen Sie eine neue   mit Zugriffsschlüssel und geheimem Schlüssel, die nur den Zugriff auf unseren Bucket ermöglicht. Speichern Sie die generierten Anmeldeinformationen für den nächsten Schritt. IAM-Richtlinie  Mit dem MinIO-Client können wir mit jedem S3-kompatiblen Speicher arbeiten. Als Nächstes fügen wir einen Alias hinzu, der den von uns erstellten S3-Bucket-Namen und die heruntergeladenen Anmeldeinformationen verwendet   mc alias set s3 https://s3.amazonaws.com BKIKJAA5BMMU2RHO6IBB V7f1CwQqAcwo80UEIJEjc5gVQUSSx5ohQ9GSrr12 --api S3v4  Verwenden Sie   , um die Daten von S3 nach MinIO zu kopieren MC Mirror   mc mirror s3/mybucket destminio/mydata  Abhängig von der Datenmenge, der Netzwerkgeschwindigkeit und der physischen Entfernung von der Region, in der die Bucket-Daten gespeichert sind, kann es einige Minuten oder länger dauern, bis Sie alle Daten gespiegelt haben. Sie sehen eine Meldung, wenn mc mit dem Kopieren aller Objekte fertig ist.  HDFS  Für die nächste Reihe von Tools schreiben wir spezielle Skripte, um einige der nicht standardmäßigen Edge-Case-Datenmigrationsanforderungen zu erfüllen, die wir erfüllen müssen. Eine davon ist die Migration von HDFS und Hadoop. Viele Unternehmen haben so viele Daten in Hadoop gespeichert, dass es unmöglich ist, sie zu ignorieren und mit einer Cloud-nativen Plattform neu anzufangen. Es ist praktikabler, diese Daten auf etwas Moderneres (und Cloud-natives) wie MinIO zu übertragen und Ihr ETL und andere Prozesse auf diese Weise auszuführen. Die Einrichtung ist recht einfach.  Erstellen Sie eine Datei namens   mit dem folgenden Inhalt core-site.xml   <configuration> <property> <name>fs.s3a.path.style.access</name> <value>true</value> </property> <property> <name>fs.s3a.endpoint</name> <value>https://minio:9000</value> </property> <property> <name>fs.s3a.access.key</name> <value>minio-sample</value> </property> <property> <name>fs.s3a.secret.key</name> <value>minio-sample123</value> </property> </configuration>  Legen Sie die folgenden Umgebungsvariablen fest   export HDFS_SOURCE_PATH=hdfs://namenode:8080/user/minio/testdir export S3_DEST_PATH=s3a://mybucket/testdir  Laden Sie die folgende Datei herunter, chmod +x, und führen Sie sie aus   curl -LSs -o https://github.com/minio/hdfs-to-minio/blob/master/hdfs-to-minio.sh chmod +x hdfs-to-minio.sh ./hdfs-to-minio.sh  Wenn Sie Daten seit mehreren Jahren in Hadoop speichern, kann dieser Vorgang mehrere Stunden dauern. Wenn es sich um einen Produktionscluster handelt, empfehlen wir die Datenmigration außerhalb der Geschäftszeiten während der Wartungsfenster, um die Auswirkungen von Leistungseinbußen auf Ihren Hadoop-Cluster während der Datenspiegelung zu minimieren.  Weitere Details zur Migration von HDFS zu MinIO finden Sie in diesem   , und wir haben auch einen Blog-Beitrag,   . GitHub-Repo Migration von HDFS zu Object Storage  HCP  Wir haben zuvor einen tollen Blogbeitrag über   und die Migration Ihrer Daten in einen MinIO-Cluster geschrieben. Ich würde empfehlen, den Blog-Beitrag zu lesen, um alle Einzelheiten zu erfahren, aber der Kernpunkt ist wie folgt. die Hitachi Content Platform  Sobald Sie den erforderlichen HCP-Cluster und die Eingabedatei konfiguriert haben,   und führen Sie den folgenden Befehl aus, um den Migrationsprozess zu starten laden Sie das Migrationstool herunter   $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt  Ceph  Zu guter Letzt haben wir den Elefanten bis zum Schluss im Raum gelassen. Obwohl Ceph in die Jahre gekommen ist, ist es ein beliebter Datenspeicher und verfügt über eine S3-kompatible API. Es wird von anderen Kubernetes-Projekten als Backend für die Objektspeicherung verwendet, beispielsweise von Rook. Allerdings ist Ceph beim Einrichten und Betreiben ein unhandlicher Gigant. Daher ist es nur natürlich, dass die Leute ihre Daten auf etwas übertragen möchten, das einfacher, leichter zu warten und leistungsfähiger ist.  Es gibt zwei Möglichkeiten, Daten von Ceph zu kopieren:  Bucket-Replikation: Erstellt das Objekt, aber wenn das Objekt aus der Quelle gelöscht wird, wird es nicht am Ziel gelöscht.  https://min.io/docs/minio/linux/administration/bucket-replication.html  Mc Mirror: Synchronisiert Objekte und Versionen und löscht sogar nicht vorhandene Objekte  https://min.io/docs/minio/linux/reference/minio-mc/mc-mirror.html  Ähnlich wie bei S3 können Sie, da Ceph über eine S3-kompatible API verfügt, dem MinIO-Client einen Alias hinzufügen   mc alias set ceph http://ceph_host:port cephuser cephpass  Anschließend können Sie   verwenden, um die Daten in Ihren MinIO-Cluster zu kopieren mc mirror   mc mirror ceph/mydata destminio/mydata  Wir empfehlen Ihnen, den Befehl   mit dem Flag   auszuführen, um kontinuierlich nach Objekten zu suchen und diese mit MinIO zu synchronisieren. mc mirror --watch  Migrieren Sie Ihre Daten noch heute zu MinIO!  Anhand einiger Beispiele soll Ihnen gezeigt werden, wie einfach die Migration Ihrer Daten nach MinIO ist. Es spielt keine Rolle, ob Sie ältere Legacy-Protokolle wie NFS oder die neuesten und besten wie S3 verwenden, MinIO ist hier, um Sie zu unterstützen.  In diesem Beitrag gingen wir ausführlich auf die Migration von Dateisystemen und anderen Datenspeichern wie NFS, Dateisystem, GlusterFS, HDFS, HCP und nicht zuletzt Ceph ein. Unabhängig vom zugrunde liegenden Tech-Stack bietet Backend-MinIO eine leistungsstarke, langlebige, sichere und skalierbare, aber dennoch einfache softwaredefinierte Objektspeicherlösung.  Wenn Sie Fragen haben, können Sie uns gerne über   kontaktieren! Slack  Auch   veröffentlicht. hier

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Die Datenmigrationstools, die Ihnen den Einstieg in MinIO erleichtern

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps