Klastre Dell ECS vám umožňujú migrovať vaše údaje do akéhokoľvek obchodu kompatibilného s S3. Dell ECS nazýva túto funkciu „Data Movement“, nazývaná aj copy-to-cloud. Je to funkcia predstavená v ECS 3.8.0.1, ktorá vám umožňuje kopírovať objekty z Dell ECS do MiniIO, čo je pomerne obľúbené u zákazníkov a potenciálnych zákazníkov, ktorí modernizujú svoj zásobník na podporu svojich požiadaviek na dátovú infraštruktúru AI. Data Movement je postavený na vrchole nástroja ECS Sync open-source, ktorý poskytuje možnosť paralelného kopírovania údajov.   V tomto prehľade vám ukážeme, ako migrovať údaje z Dell ECS do MiniIO, pričom sa zameriame konkrétne na nasledujúce:  Konfigurácia zdrojových a cieľových segmentov  Nastavenie pravidiel pre presun údajov  Monitorovanie a protokolovanie migrácie na MinIO  Konfigurácia zdrojových a cieľových segmentov  Skôr než začneme vytvárať politiku na migráciu údajov, ubezpečme sa, že zdrojové a cieľové segmenty sú nakonfigurované na presun údajov.  Nakonfigurujte zdrojový segment Dell ECS  Politika presunu údajov interne skenuje zdrojový segment, aby vytvorila zoznam všetkých objektov na presun údajov pomocou vyhľadávania metadát (MD).  Aby presun údajov skutočne premiestnil údaje, musíte sa uistiť, že v zdrojovom segmente Dell ECS je povolené vyhľadávanie MD a ako indexované pole zahrnúť LastModified.   Ďalej nakonfigurujeme MinIO, cieľový segment.  Nakonfigurujte cieľový segment MinIO  Aby sa dáta mohli preniesť do MinIO, musíme si vopred v MInIO vytvoriť nasledujúci zdroj:  Prístupové a tajné kľúče  Názov vedra  zásady IAM  Pri vytváraní segmentu nezabudnite povoliť vytváranie verzií segmentu, pokiaľ cieľový segment v MinIO nie je vyhradený len pre politiku pohybu údajov. Po ich vytvorení si nezabudnite poznamenať vyššie uvedené podrobnosti, pretože ich hodnoty budú potrebné neskôr.  Politika IAM by mala povoliť nasledujúce rozhrania API:  s3:ListBucket  s3:GetObject  s3:PutObject  s3:DeleteObject  Podľa tohto   sa dozviete, ako vytvoriť IAM politiky, prístupové kľúče a vedrá v konzole MinIO.  sprievodcu  Zadajte používateľské meno, ktoré bolo nastavené pri konfigurácii klastra.  Zadajte heslo, ktoré bolo nastavené pri konfigurácii klastra.  Kliknite na „Prihlásiť sa“     : Tu sa zobrazia segmenty, ktoré boli vytvorené a odovzdané údaje. Prehliadač objektov    : Prístupové klávesy v štýle AWS IAM Prístupové klávesy    : Kliknutím sem vytvoríte prístup a tajný kľúč oddelený od toho, ktorý sme použili na spustenie klastra. Vytvoriť prístupový kľúč    : Uveďte všetky dostupné vedrá. Vedrá    : Ak neexistujú žiadne vedrá, pokračujte a vytvorte nový. Vytvoriť vedro    : Zásady IAM Zásady    : Vytvorte a pripojte rôznych IDP, ako napríklad OpenID a LDAP. Identita    : Monitorujte všetky aspekty klastra a dokonca ho pošlite spoločnosti Prometheus. Monitorovanie  Keď sú segmenty Zdroj a Cieľ nakonfigurované, nastavme politiku pohybu údajov.  Zásady pohybu údajov  Zásada pohybu údajov je definícia v Dell ECS, ktorú možno nastaviť buď prostredníctvom používateľského rozhrania alebo rozhrania API, ktoré definuje, ktoré objekty v zdrojovom segmente Dell ECS by sa mali skopírovať do cieľového segmentu MinIO. Úlohy skenovania politiky presunu údajov sa spúšťajú automaticky, ale je možné ich kedykoľvek pozastaviť alebo obnoviť. Toto je veľmi podobné MiniIO  proces. V predvolenom nastavení politika pohybu údajov migruje údaje do MinIO v poradí podľa času LastModified.   dávková replikácia  Ukážeme vám dva rôzne scenáre presunu údajov, aby ste získali predstavu o tom, ako by to mohlo fungovať, ale obloha je limitom, pokiaľ ide o to, ako by ste chceli vykonať migráciu.  Presun dát na MinIO  V tejto konfigurácii pridáme potrebné bity a bity MinIO, s ktorými bude Dell ECS komunikovať. Prvým krokom, keď je aktivované vyhľadávanie MD, je zapnutie dátovej mobility (Data Mobility   ako je uvedené nižšie.  ON  Keď je dátová mobilita nastavená na   , môžeme pokračovať a konfigurovať politiku. ON    : Nastavte na koncový bod MinIO  Koncový bod http://<minio_ip>:<minio_port>    : Bol vytvorený v konzole MinIO a uložený v predchádzajúcom kroku. Prístupový a tajný kľúč    : Názov cieľovej skupiny MinIO Názov vedra    Toto je skupina v Dell ECS, ktorá zaznamenáva všetky chyby počas migrácie. Logging Bucket:  Sú tam aj iné nastavenia, neprešiel som všetky nastavenia, len tie najdôležitejšie. Upozorňujeme, že ak sa údaje odstránia zo zdrojového segmentu Dell ECS, po dokončení migrácie sa neodstránia z cieľového segmentu MinIO.  Presun dát s Dremio na MinIO  Teraz sa pozrime na to, ako by migrácia vyzerala pomocou aplikácie, ktorá používa Dremio.   Počas tejto migrácie sa uskutoční niekoľko krokov  Aplikácia orientovaná na zákazníka zapíše do segmentu Dell ECS.  ECS kópie do prípravného segmentu v rámci MinIO nakonfigurovaného pomocou politiky pohybu údajov.  Údaje sa skopírujú do prípravného bloku.  Použije sa vedro na fázovanie MinIO  odoslanie správy do RabbitMQ, na odber ktorého bude Dremio prihlásené.   Oznámenie o udalosti  Dremio prečíta správu a preberie údaje z prípravného vedra MiniIO do vedra Dremio v MiniIO.  Po prijatí údajov môžete vyčistiť zásobník MinIO pomocou a  .   politika životného cyklu  Toto sú len dva príklady, ale túto metodiku môžete použiť na migráciu z akejkoľvek aplikácie pomocou Dell ECS na MiniIO.  Monitorovanie a zaznamenávanie pohybu údajov  Počas procesu migrácie údajov je dôležité sledovať celkový proces migrácie pri presune údajov do MinIO. GUI Dell ECS poskytuje prehľadné ovládacie panely s pokročilým monitorovaním, ktoré okrem iného zobrazuje celkový počet skopírovaných objektov, celkový počet skopírovaných bajtov, oneskorenie vodoznaku, celkový počet chýb, skopírované objekty, kópie bajtov.   Môžete ďalej hĺbkovo zobraziť informácie špecifické pre zdroj/cieľ, ako je počet objektov a veľkosť segmentu počas zvoleného obdobia počas procesu migrácie.   V úvodnom diagrame na začiatku tohto blogu sme zobrazili blok denníkov, ktorý máme na strane ECS, kde sa zaznamenávajú všetky operácie z presunu údajov. Je to veľmi užitočné na ladenie akýchkoľvek problémov počas procesu migrácie, najmä ak to trvá veľmi dlho kvôli hardvérovým a fyzickým obmedzeniam.  Tu je príklad toho, ako protokoly vyzerajú:   2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS  Prečo migrovať na MinIO?  MinIO je jediný Go binárny súbor, ktorý možno spustiť v mnohých rôznych typoch cloudových a on-prem prostredí. Je veľmi ľahký, ale má aj funkcie nabité vecami, ako je replikácia a šifrovanie, a poskytuje integráciu s rôznymi aplikáciami.  Máme  je to 325 GiB/s (349 GB/s) na GET a 165 GiB/s (177 GB/s) na PUT s iba 32 uzlami bežne dostupných NVMe SSD – a používa sa na budovanie dátových jazier/jazerných domov a analytické a pracovné zaťaženie AI/ML.   porovnávané  Nielen to, ale hneď po vybalení obsahuje MiniIO aj:  Šifrovanie: MinIO podporuje obe šifrovanie pri  a v  . To zaisťuje, že údaje sú šifrované vo všetkých aspektoch transakcie od okamihu uskutočnenia hovoru až po umiestnenie objektu do vedra.   Oddych   Tranzit  : Existuje niekoľko dôvodov, prečo môžu byť údaje na fyzických diskoch poškodené. Mohlo by to byť okrem iného spôsobené napäťovými špičkami, chybami vo firmvéri, nesprávne nasmerovaným čítaním a zápisom. MiniIO zaisťuje, že sú zachytené a opravené za chodu, aby sa zabezpečila integrita údajov.   Bitrot ochrana  : Namiesto zabezpečenia redundancie údajov pomocou RAID, ktoré zvyšuje výkon, používa MinIO túto funkciu redundancie údajov a dostupnosti na rekonštrukciu objektov za behu bez akéhokoľvek ďalšieho hardvéru alebo softvéru.   Kódovanie vymazania  Secure Access ACL a PBAC: Podporuje politiky v štýle IAM S3 so zabudovaným IDP, viď  pre viac informácií.   Najlepšie postupy MinIO – Bezpečnosť a kontrola prístupu  : V prípade údajov, ku ktorým sa nedostáva tak často, môžete údaje odčerpať do iného studeného úložiska so systémom MinIO, aby ste mohli optimalizovať najnovšie údaje na svojom najlepšom hardvéri bez toho, aby nevyužité údaje zaberali miesto.   Tiering  : MinIO podporuje uzamykanie objektov (uchovávanie), ktoré vynucuje jednorazový zápis a pripravených mnoho operácií na dobu trvania a na neurčito. To umožňuje súlad s kľúčovými údajmi a spĺňa požiadavky SEC17a-4(f), FINRA 4511(C) a CFTC 1.31(c)-(d).   Uzamknutie a uchovanie objektu  Nehovoriac o tom, že dobrý softvér nie je ničím bez dobrej podpory. MinIO poskytuje jednu z najlepších možností podpory pomocou našej  portál. Máme inžinierov, ktorí pracujú na základnom kóde MinIO, odpovedajú na otázky priamo v interaktívnom a kolaboratívnom médiu v štýle Slack. Keď hovoríte s inžinierom, namiesto toho, aby ste donekonečna eskalovali svoj problém na inžiniera ďalšej úrovne, ľudia, s ktorými hovoríte, sú schopní vyriešiť akýkoľvek problém, s ktorým sa stretnete. Dokonca sa nám stalo, že sa k nám zákazníci vrátili po tom, čo prešli s konkurenčnou platformou na ukladanie dát, pretože im chýbala náležitá podpora. Bez ohľadu na to, či navrhnete svoje úložisko so všetkými funkciami pod slnkom, ak okamžite nepodporíte svojho zákazníka, je to zbytočné. Podpora našich zákazníkov a ich úspech je pre nás prioritou č. 1.   SUBNET  Ak máte nejaké otázky týkajúce sa migrácie údajov z Dell ECS na migráciu MiniIO, určite nás kontaktujte na  !   Slack

Developers do. Download MinIO and see for yourself. 

MinIO

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Migrácia dát z Dell ECS na MinIO

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

Code Smell 298 - How to Fix Microsoft Windows Time Waste

16 Best Sklearn Datasets for Building Machine Learning Models

Mutmut: a Python mutation testing system

THE CRAB-SPIDER

Code Smell 298 - How to Fix Microsoft Windows Time Waste

16 Best Sklearn Datasets for Building Machine Learning Models

Mutmut: a Python mutation testing system

THE CRAB-SPIDER

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps