Migrácia dát z Dell ECS na MinIO

Klastre Dell ECS vám umožňujú migrovať vaše údaje do akéhokoľvek obchodu kompatibilného s S3. Dell ECS nazýva túto funkciu „Data Movement“, nazývaná aj copy-to-cloud. Je to funkcia predstavená v ECS 3.8.0.1, ktorá vám umožňuje kopírovať objekty z Dell ECS do MiniIO, čo je pomerne obľúbené u zákazníkov a potenciálnych zákazníkov, ktorí modernizujú svoj zásobník na podporu svojich požiadaviek na dátovú infraštruktúru AI. Data Movement je postavený na vrchole nástroja ECS Sync open-source, ktorý poskytuje možnosť paralelného kopírovania údajov.

V tomto prehľade vám ukážeme, ako migrovať údaje z Dell ECS do MiniIO, pričom sa zameriame konkrétne na nasledujúce:

• Konfigurácia zdrojových a cieľových segmentov
• Nastavenie pravidiel pre presun údajov
• Monitorovanie a protokolovanie migrácie na MinIO

Konfigurácia zdrojových a cieľových segmentov

Skôr než začneme vytvárať politiku na migráciu údajov, ubezpečme sa, že zdrojové a cieľové segmenty sú nakonfigurované na presun údajov.

Nakonfigurujte zdrojový segment Dell ECS

Politika presunu údajov interne skenuje zdrojový segment, aby vytvorila zoznam všetkých objektov na presun údajov pomocou vyhľadávania metadát (MD).

Aby presun údajov skutočne premiestnil údaje, musíte sa uistiť, že v zdrojovom segmente Dell ECS je povolené vyhľadávanie MD a ako indexované pole zahrnúť LastModified.

Ďalej nakonfigurujeme MinIO, cieľový segment.

Nakonfigurujte cieľový segment MinIO

Aby sa dáta mohli preniesť do MinIO, musíme si vopred v MInIO vytvoriť nasledujúci zdroj:

• Prístupové a tajné kľúče
• Názov vedra
• zásady IAM

Pri vytváraní segmentu nezabudnite povoliť vytváranie verzií segmentu, pokiaľ cieľový segment v MinIO nie je vyhradený len pre politiku pohybu údajov. Po ich vytvorení si nezabudnite poznamenať vyššie uvedené podrobnosti, pretože ich hodnoty budú potrebné neskôr.

Politika IAM by mala povoliť nasledujúce rozhrania API:

• s3:ListBucket
• s3:GetObject
• s3:PutObject
• s3:DeleteObject

Podľa tohto sprievodcu sa dozviete, ako vytvoriť IAM politiky, prístupové kľúče a vedrá v konzole MinIO.

1. Zadajte používateľské meno, ktoré bolo nastavené pri konfigurácii klastra.
2. Zadajte heslo, ktoré bolo nastavené pri konfigurácii klastra.
3. Kliknite na „Prihlásiť sa“

4. Prehliadač objektov : Tu sa zobrazia segmenty, ktoré boli vytvorené a odovzdané údaje.

   
   

5. Prístupové klávesy : Prístupové klávesy v štýle AWS IAM

   1. Vytvoriť prístupový kľúč : Kliknutím sem vytvoríte prístup a tajný kľúč oddelený od toho, ktorý sme použili na spustenie klastra.

   
   

6. Vedrá : Uveďte všetky dostupné vedrá.

   1. Vytvoriť vedro : Ak neexistujú žiadne vedrá, pokračujte a vytvorte nový.

   
   

7. Zásady : Zásady IAM

   
   

8. Identita : Vytvorte a pripojte rôznych IDP, ako napríklad OpenID a LDAP.

   
   

9. Monitorovanie : Monitorujte všetky aspekty klastra a dokonca ho pošlite spoločnosti Prometheus.

Keď sú segmenty Zdroj a Cieľ nakonfigurované, nastavme politiku pohybu údajov.

Zásady pohybu údajov

Zásada pohybu údajov je definícia v Dell ECS, ktorú možno nastaviť buď prostredníctvom používateľského rozhrania alebo rozhrania API, ktoré definuje, ktoré objekty v zdrojovom segmente Dell ECS by sa mali skopírovať do cieľového segmentu MinIO. Úlohy skenovania politiky presunu údajov sa spúšťajú automaticky, ale je možné ich kedykoľvek pozastaviť alebo obnoviť. Toto je veľmi podobné MiniIO dávková replikácia proces. V predvolenom nastavení politika pohybu údajov migruje údaje do MinIO v poradí podľa času LastModified.

Ukážeme vám dva rôzne scenáre presunu údajov, aby ste získali predstavu o tom, ako by to mohlo fungovať, ale obloha je limitom, pokiaľ ide o to, ako by ste chceli vykonať migráciu.

Presun dát na MinIO

V tejto konfigurácii pridáme potrebné bity a bity MinIO, s ktorými bude Dell ECS komunikovať. Prvým krokom, keď je aktivované vyhľadávanie MD, je zapnutie dátovej mobility (Data Mobility ON ako je uvedené nižšie.

Keď je dátová mobilita nastavená na ON , môžeme pokračovať a konfigurovať politiku.

• Koncový bod : Nastavte na koncový bod MinIO http://<minio_ip>:<minio_port>
• Prístupový a tajný kľúč : Bol vytvorený v konzole MinIO a uložený v predchádzajúcom kroku.
• Názov vedra : Názov cieľovej skupiny MinIO
• Logging Bucket: Toto je skupina v Dell ECS, ktorá zaznamenáva všetky chyby počas migrácie.

Sú tam aj iné nastavenia, neprešiel som všetky nastavenia, len tie najdôležitejšie. Upozorňujeme, že ak sa údaje odstránia zo zdrojového segmentu Dell ECS, po dokončení migrácie sa neodstránia z cieľového segmentu MinIO.

Presun dát s Dremio na MinIO

Teraz sa pozrime na to, ako by migrácia vyzerala pomocou aplikácie, ktorá používa Dremio.

Počas tejto migrácie sa uskutoční niekoľko krokov

1. Aplikácia orientovaná na zákazníka zapíše do segmentu Dell ECS.
2. ECS kópie do prípravného segmentu v rámci MinIO nakonfigurovaného pomocou politiky pohybu údajov.
3. Údaje sa skopírujú do prípravného bloku.
4. Použije sa vedro na fázovanie MinIO Oznámenie o udalosti odoslanie správy do RabbitMQ, na odber ktorého bude Dremio prihlásené.
5. Dremio prečíta správu a preberie údaje z prípravného vedra MiniIO do vedra Dremio v MiniIO.
6. Po prijatí údajov môžete vyčistiť zásobník MinIO pomocou a politika životného cyklu .

Toto sú len dva príklady, ale túto metodiku môžete použiť na migráciu z akejkoľvek aplikácie pomocou Dell ECS na MiniIO.

Monitorovanie a zaznamenávanie pohybu údajov

Počas procesu migrácie údajov je dôležité sledovať celkový proces migrácie pri presune údajov do MinIO. GUI Dell ECS poskytuje prehľadné ovládacie panely s pokročilým monitorovaním, ktoré okrem iného zobrazuje celkový počet skopírovaných objektov, celkový počet skopírovaných bajtov, oneskorenie vodoznaku, celkový počet chýb, skopírované objekty, kópie bajtov.

Môžete ďalej hĺbkovo zobraziť informácie špecifické pre zdroj/cieľ, ako je počet objektov a veľkosť segmentu počas zvoleného obdobia počas procesu migrácie.

V úvodnom diagrame na začiatku tohto blogu sme zobrazili blok denníkov, ktorý máme na strane ECS, kde sa zaznamenávajú všetky operácie z presunu údajov. Je to veľmi užitočné na ladenie akýchkoľvek problémov počas procesu migrácie, najmä ak to trvá veľmi dlho kvôli hardvérovým a fyzickým obmedzeniam.

Tu je príklad toho, ako protokoly vyzerajú:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

Prečo migrovať na MinIO?

MinIO je jediný Go binárny súbor, ktorý možno spustiť v mnohých rôznych typoch cloudových a on-prem prostredí. Je veľmi ľahký, ale má aj funkcie nabité vecami, ako je replikácia a šifrovanie, a poskytuje integráciu s rôznymi aplikáciami.

Máme porovnávané je to 325 GiB/s (349 GB/s) na GET a 165 GiB/s (177 GB/s) na PUT s iba 32 uzlami bežne dostupných NVMe SSD – a používa sa na budovanie dátových jazier/jazerných domov a analytické a pracovné zaťaženie AI/ML.

Nielen to, ale hneď po vybalení obsahuje MiniIO aj:

• Šifrovanie: MinIO podporuje obe šifrovanie pri Oddych a v Tranzit . To zaisťuje, že údaje sú šifrované vo všetkých aspektoch transakcie od okamihu uskutočnenia hovoru až po umiestnenie objektu do vedra.

  
  

• Bitrot ochrana : Existuje niekoľko dôvodov, prečo môžu byť údaje na fyzických diskoch poškodené. Mohlo by to byť okrem iného spôsobené napäťovými špičkami, chybami vo firmvéri, nesprávne nasmerovaným čítaním a zápisom. MiniIO zaisťuje, že sú zachytené a opravené za chodu, aby sa zabezpečila integrita údajov.

  
  

• Kódovanie vymazania : Namiesto zabezpečenia redundancie údajov pomocou RAID, ktoré zvyšuje výkon, používa MinIO túto funkciu redundancie údajov a dostupnosti na rekonštrukciu objektov za behu bez akéhokoľvek ďalšieho hardvéru alebo softvéru.

  
  

• Secure Access ACL a PBAC: Podporuje politiky v štýle IAM S3 so zabudovaným IDP, viď Najlepšie postupy MinIO – Bezpečnosť a kontrola prístupu pre viac informácií.

  
  

• Tiering : V prípade údajov, ku ktorým sa nedostáva tak často, môžete údaje odčerpať do iného studeného úložiska so systémom MinIO, aby ste mohli optimalizovať najnovšie údaje na svojom najlepšom hardvéri bez toho, aby nevyužité údaje zaberali miesto.

  
  

• Uzamknutie a uchovanie objektu : MinIO podporuje uzamykanie objektov (uchovávanie), ktoré vynucuje jednorazový zápis a pripravených mnoho operácií na dobu trvania a na neurčito. To umožňuje súlad s kľúčovými údajmi a spĺňa požiadavky SEC17a-4(f), FINRA 4511(C) a CFTC 1.31(c)-(d).

  
  

Nehovoriac o tom, že dobrý softvér nie je ničím bez dobrej podpory. MinIO poskytuje jednu z najlepších možností podpory pomocou našej SUBNET portál. Máme inžinierov, ktorí pracujú na základnom kóde MinIO, odpovedajú na otázky priamo v interaktívnom a kolaboratívnom médiu v štýle Slack. Keď hovoríte s inžinierom, namiesto toho, aby ste donekonečna eskalovali svoj problém na inžiniera ďalšej úrovne, ľudia, s ktorými hovoríte, sú schopní vyriešiť akýkoľvek problém, s ktorým sa stretnete. Dokonca sa nám stalo, že sa k nám zákazníci vrátili po tom, čo prešli s konkurenčnou platformou na ukladanie dát, pretože im chýbala náležitá podpora. Bez ohľadu na to, či navrhnete svoje úložisko so všetkými funkciami pod slnkom, ak okamžite nepodporíte svojho zákazníka, je to zbytočné. Podpora našich zákazníkov a ich úspech je pre nás prioritou č. 1.

Ak máte nejaké otázky týkajúce sa migrácie údajov z Dell ECS na migráciu MiniIO, určite nás kontaktujte na Slack !