Migration ya ba données depuis Dell ECS na MinIO

Ba clusters ya Dell ECS epesaka yo nzela ya kosala migration ya ba données na yo na magasin nionso oyo ekokani na S3. Dell ECS ebengi fonctionnalité oyo « Mouvement ya ba données », oyo babengaka pe copie-à-cloud. Ezali fonctionnalité oyo ekotisami na ECS 3.8.0.1 oyo e permettre yo o copier ba objets depuis Dell ECS na MinIO oyo ezali plutôt populaire na ba clients na ba prospects oyo bazali ko moderniser stack ya stockage na bango pona ko soutenir ba besoins na bango ya infrastructure ya ba données AI. Mouvement ya ba données etongami likolo ya esaleli ya source ouverte ya ECS Sync oyo epesaka makoki ya kosala kopi ya ba données en parallèle.

Na botali oyo toko lakisa bino ndenge nini kosala migration ya ba données depuis Dell ECS na MinIO na ko focuser spécifiquement na oyo elandi:

• Configuration ya ba seau ya Source na ya cible
• Kobongisa ba Politiques ya Mouvement ya Ba Données
• Suivi mpe Kosala Enregistrement ya migration na MinIO

Configurer ba seau ya Source na ya cible

Yambo to banda kosala politique ya ko migrer ba données, tosala que ba seau source na cible ezala configuré pona Mouvement ya ba données.

Configurer seau ya source ya Dell ECS

Na kati politique ya Mouvement ya ba Données e scanner seau ya source pona kotanga biloko nionso pona mouvement ya ba données na kosalelaka Recherche ya Métadonnées (MD).

Pona Data Movement e déplacer vraiment ba données, esengeli osala que MD Search ezala activé na seau source ya Dell ECS pe o kotisa LastModified lokola champ indexé.

Ensuite to configurer MinIO, seau cible.

Configurer seau ya cible ya MiniIO

Pona ba données e transferer na MinIO, esengeli tosala ressource oyo na MInIO avant:

• Bafungola ya nzela ya kokɔta mpe ya sekele
• Kombo ya Seau
• Politiki ya IAM

Tango ozali kosala seau, sala makasi o activer versioning ya seau, longola se soki seau cible na MinIO e dédié kaka pona politique ya mouvement ya ba données. Kobosana te kosala note ya ba détails oyo ezali likolo sima ya ko créer yango lokola ba valeurs na yango esengeli sima.

Politiki ya IAM esengeli kopesa nzela na ba API oyo elandi:

• s3:ListBucket
• s3:KozwaEloko
• s3:KotiaEloko
• s3:KolongolaEloko

Landa guide oyo pona koyeba ndenge ya kosala ba politiques ya IAM, Access Keys na Buckets na console MinIO.

1. Tyá nkombo ya mosaleli oyo etiamaki ntango ozali kobongisa cluster.
2. Tyá mot de passe oyo etiamaki tango ozali ko configurer cluster.
3. Finá na esika bakomi “Kokɔta”

4. Navigateur ya objet : Ba seau oyo esalemi pe ba données oyo e uploader ekolakisama awa.

   
   

5. Bafungola ya bokɔti : Bafungola ya kokɔta na lolenge ya AWS IAM

   1. Créer clé d’accès : Finá awa mpo na kosala accès mpe secret oyo ekabwani na oyo tosalelaki mpo na ko lancer cluster.

   
   

6. Ba seau : Tanga ba seau nionso oyo ezali.

   1. Créer Seau : Soki ba seau ezali te, kende liboso pe sala ya sika.

   
   

7. Mibeko : Mibeko ya IAM

   
   

8. Identité : Kosala pe Kokangisa ba IDP ndenge na ndenge lokola OpenID na LDAP.

   
   

9. Bolandi : Kolandela makambo nionso ya cluster pe kutu kotinda yango na Prométheus.

Soki ba seau Source na Cible e configuré, to setup Politique ya Mouvement ya ba Données.

Politiki ya Mouvement ya ba Données

Politiki ya Botamboli ya Ba Données ezali ndimbola na Dell ECS oyo ekoki kozala na nzela ya UI to API oyo elimbolaka biloko nini na seau ya source ya Dell ECS esengeli ko copier na seau cible MinIO. Misala ya scanner ya politique ya Mouvement ya ba Données e déclenché automatiquement kasi ekoki ko pausé to kozongela na tango nionso. Oyo ekokani mingi na oyo ya MinIO replication ya batch kosala. Par défaut politique ya mouvement ya ba données ezo migrer ba données na MinIO na ordre ya temps LastModified.

Tokolakisa bino ba scénarios mibale ekeseni ya Mouvement ya Données mpo na kopesa bino likanisi ya ndenge nini oyo ekoki kosala, kasi lola ezali ndelo soki etali ndenge nini okolinga kosala Migration.

Mouvement ya ba Données na MiniIO

Na configuration oyo toko bakisa ba bits na ba bobs ya MinIO oyo esengeli pona Dell ECS e communiquer na yango. Etape ya liboso, soki MD Search efungolami, ezali ya ko activer Mobilité ya ba Données na ON ndenge elakisami awa na se.

Soki Mobilité ya ba Données etiamaki na ON , tokoki kokende liboso mpe ko configurer politique.

• Esika ya suka : Botia oyo na esika ya suka ya MinIO http://<minio_ip>:<minio_port>
• Access and Secret Key : Yango esalemaki na console ya MinIO mpe ebombamaki na étape moko ya kala.
• Kombo ya seau : Nkombo ya seau ya cible MiniIO
• Logging Bucket: Oyo ezali seau na Dell ECS oyo e enregistrer ba erreurs nionso na tango ya migration.

Ezali na ba paramètres mosusu, naleki na ba paramètres nionso te, kaka oyo ya motuya mingi. Tosengi oyeba ete soki ba données elongolami na seau ya source ya Dell ECS, ekolongolama te na seau cible ya MinIO sima ya migration esili.

Mouvement ya ba Données na Dremio na MinIO

Sikoyo totala ndenge nini migration ekozala na kosalela application oyo esalela Dremio.

Ezali na mwa ba étapes oyo esalemaka na tango ya migration oyo

1. Client oyo azali kokutana na application akomi na seau ya Dell ECS.
2. ECS ekopi na seau ya staging na kati ya MinIO configuré na kosalelaka politique ya mouvement ya ba données.
3. Ba données ezo copier likolo na seau ya scène.
4. Seau ya staging ya MinIO ekosalela Liyebisi ya likambo mpo na kotinda message na RabbitMQ, oyo Dremio akozala abonné na yango.
5. Dremio atangi message mpe a ingérer ba données oyo ewutaka na seau ya staging MinIO na seau ya Dremio na MinIO.
6. Soki ba données e ingérer, okoki ko nettoyer seau ya staging MinIO na nzela ya a politiki ya zingazinga ya bomoi .

Oyo ezali kaka bandakisa mibale kasi okoki kosalela méthodologie oyo mpo na kosala migration na application nionso oyo esalelaka Dell ECS na MinIO.

Bolandi mpe Bokangami ya Mouvement ya ba Données

Na tango ya processus ya migration ya ba données, ezali important kozala na liso na processus ya migration mobimba tango ezali ko déplacer ba données na MinIO. GUI ya Dell ECS epesaka ba tableaux de bord ya aperçu na suivi avancé oyo elakisaka total ya ba objets copiés, total ya ba octets copiés, retard ya marque eau, ba erreurs totales, objets copiés, ba copies ya ba octets, parmi d’autres.

Okoki lisusu ko percer na se pona kolakisa ba informations spécifiques ya source/cible lokola nombre ya objet na taille ya seau na période oyo oponi na tango ya processus ya migration.

Na diagramme ya liboso na ebandeli ya blog oyo to lakisi seau ya journal oyo tozali na yango na côté ya ECS, awa nde ba opérations nionso oyo ewutaka na Mouvement ya ba Données e enregistrer. Yango ezali na litomba mingi mpo na ko déboguer ba problèmes nionso na tango ya processus ya migration surtout tango ezo zua temps très long en raison ya ba contraintes matérielles na physiques.

Talá ndakisa ya ndenge oyo ba logs ezali komonana:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

Mpo na nini kosala migration na MiniIO?

MinIO ezali binaire Go moko oyo ekoki ko lancer na ba types ebele ya cloud na ba environnements on-prem. Ezali très léger, mais ezali pe fonctionnalité ebele na biloko lokola replication na encryption, pe epesaka ba intégrations na ba applications ndenge na ndenge.

Tosili kosala... oyo esalemi na ndenge ya kotalela makambo yango na 325 GiB/s (349 GB/s) na ba GET mpe 165 GiB/s (177 GB/s) na ba PUT oyo ezali kaka na 32 noeuds ya ba SSD NVMe oyo ezali na plateau te – mpe esalelamaka mpo na kotonga ba lacs ya ba données/ba ndaku ya lac mpe ba charges ya mosala ya analyse na AI/ML.

Ezali kaka wana te kasi libanda ya boîte MinIO ezali mpe na:

• Encryption: MiniIO esungaka chiffrement nionso mibale na Kopema mpe na Transit ya koleka . Yango e assure que ba données ezala chiffrées na ba facettes nionso ya transaction depuis moment oyo appel esalemi ti objet etie na seau.

  
  

• Bobateli ya Bitrot : Ezali na bantina mingi oyo esalaka ete ba données ekoki kobebisama na ba disques physiques. Ekoki kozala mpo na ba spikes ya tension, ba bugs na firmware, ba lectures mpe ba écrites misdirected parmi d’autres choses. MiniIO e assure que oyo ekangama pe e fixer na vol pona ko assurer intégrité ya ba données.

  
  

• Codage ya Effacer : Na esika ya ko assurer redundance ya ba données en utilisant RAID oyo ebakisi ba frais généraux ya kobakisa na performance, MinIO esalela fonctionnalité oyo ya redundance ya ba données na disponibilité pona ko reconstruire ba objets en vol sans matériel to logiciel ya kobakisa.

  
  

• Ba ACL ya Accès sécurisé mpe PBAC: Esungaka ba politiques ya style IAM S3 na IDP oyo etongami na kati, tala Misala ya malamu ya MiniIO - Bobateli mpe Bopesi nzela ya bokɔti mpo na koyeba makambo mosusu.

  
  

• Kosala ba niveaux : Pona ba données oyo ezuaka accès te comme souvent okoki ko siphon off ba données na stockage froid mosusu oyo ezali kosala MinIO po o optimiser ba données ya sika na matériel na yo ya malamu sans que ba données oyo osaleli te ezua espace.

  
  

• Bokangami mpe Bokangami ya Biloko : MinIO esungaka blocage ya objet (retention) oyo e forcer kokoma mbala moko mpe prêt ba opérations ebele mpo na durée basée mpe hold juridique indéfinie. Yango epesi nzela na botosi ya bobateli ba données ya ntina mpe ekokisi masengi ya SEC17a-4(f), FINRA 4511(C), mpe CFTC 1.31(c)-(d).

  
  

Koloba te, logiciel ya malamu ezali eloko te soki soutien ya malamu ezali te. MinIO epesaka moko ya lisungi ya malamu koleka kuna na kosalelaka ya biso SUBNET portail ya portail. Tozali na ba ingénieurs oyo basalaka na base ya code ya moboko ya MinIO bayanolaka na mituna directement na moyen interactif mpe collaboratif ya style Slack. Tango osololi na ingénieur au lieu ya ko escaler sans fin problème na yo na ingénieur ya niveau oyo elandi ba folks oyo osololaka na bango baza capable ya ko résoudre problème nionso okokutana na yango. Tosali kutu na ba clients bazonga epayi na biso sima ya kokende na plateforme ya stockage ya concurrent mpo na manque ya soutien propre. Ezala soki o conçoivre stockage na yo na ba fonctionnalités nionso na se ya moyi, soki o soutenir noki client na yo te alors eza na tina te. Pona biso ko soutenir ba clients na biso pe kosala que ba succès eza priorité na biso #1.

Soki ozali na mituna na ndenge ya kosala migration ya ba données na yo depuis Dell ECS na migration MinIO sala sûr ya kokutana na biso na Kolɛmba nzoto !