Кластерите на Dell ECS ви дозволуваат да ги префрлите вашите податоци во која било продавница компатибилна со S3. Dell ECS ја нарекува оваа функција „Движење на податоци“, исто така наречена копирање во облак. Тоа е функција воведена во ECS 3.8.0.1 која ви овозможува да копирате објекти од Dell ECS на MinIO, што е прилично популарно кај клиентите и потенцијалните клиенти кои го модернизираат својот куп за складирање за да ги поддржат нивните барања за инфраструктура за податоци со вештачка интелигенција. Движењето на податоци е изградено врз алатката со отворен код ECS Sync која обезбедува можност за паралелно копирање на податоците.   Во овој преглед ќе ви покажеме како да мигрирате податоци од Dell ECS на MinIO со конкретно фокусирање на следново:  Конфигурирање на корпи за извор и цел  Поставување политики за движење на податоци  Следење и евидентирање на миграцијата до MinIO  Конфигурирајте ги корпите за извор и цел  Пред да започнеме со креирање на политиката за мигрирање на податоците, ајде да се погрижиме корпите за извор и цел се конфигурирани за движење на податоци.  Конфигурирајте ја изворната корпа на Dell ECS  Внатрешно, политиката за движење на податоци ја скенира изворната корпа за да ги наброи сите објекти за движење на податоци користејќи пребарување на метаподатоци (MD).  За движењето на податоците навистина да преместува податоци, треба да се осигурате дека MD Search е овозможено на изворната корпа на Dell ECS и да го вклучи LastModified како индексирано поле.   Следно, ајде да го конфигурираме MinIO, целната корпа.  Конфигурирајте ја MinIO Target Bucket  За да може податоците да се пренесат на MinIO, треба претходно да го создадеме следниов ресурс во MINIO:  Пристап и тајни клучеви  Име на кофата  Политика на ИАМ  Кога ја креирате корпата, погрижете се да овозможите верзија на корпата, освен ако целната корпа во MinIO не е посветена само за политиката за движење на податоци. Забележете ги горенаведените детали откако ќе ги креирате бидејќи нивните вредности се потребни подоцна.  Политиката на IAM треба да ги дозволи следниве API:  s3:ListBucket  s3: GetObject  s3:PutObject  s3:DeleteObject  Следете го ова   за да научите како да креирате IAM политики, клучеви за пристап и корпи во MinIO конзолата.  упатство  Внесете го корисничкото име што беше поставено при конфигурирање на кластерот.  Внесете ја лозинката што беше поставена при конфигурирање на кластерот.  Кликнете на „Најави се“     : Кофите што се креирани и поставени податоци ќе бидат прикажани овде. Прелистувач на објекти    : AWS IAM копчиња за пристап Копчиња за пристап    : кликнете овде за да креирате пристап и тајна одвоена од онаа што ја користевме за стартување на кластерот. Креирај клуч за пристап    : Наведете ги сите корпи што се достапни. Кофи    : Ако нема корпи, продолжи и креирај нова. Креирај кофа    : Политики на IAM Политики    : Креирајте и поврзете различни ИДП како што се OpenID и LDAP. Идентитет    : Следете ги сите аспекти на кластерот, па дури и испратете го до Прометеј. Мониторинг  Откако ќе се конфигурираат корпите Извор и Цел, ајде да ја поставиме Политиката за движење на податоци.  Политика за движење на податоци  Политиката за движење на податоци е дефиниција во Dell ECS што може да се постави или преку UI или API што дефинира кои објекти во изворната корпа на Dell ECS треба да се копираат во целната корпа MinIO. Работите за скенирање на политиката за движење на податоци автоматски се активираат, но може да се паузираат или продолжат во секое време. Ова е многу слично на MinIO's  процес. Стандардно, политиката за движење на податоци ги мигрира податоците во MinIO по редослед на последното изменето време.   сериска репликација  Ќе ви покажеме две различни сценарија за движење на податоци за да ви дадеме идеја како ова може да функционира, но небото е граница кога станува збор за тоа како би сакале да ја извршите миграцијата.  Движење на податоци до MinIO  Во оваа конфигурација ќе ги додадеме потребните MinIO битови и бобови за Dell ECS да комуницира со. Првиот чекор, откако ќе биде овозможено MD Search, е да   вклучи Data Mobility како што е прикажано подолу.  ON  Откако мобилноста на податоци е поставена на   , можеме да продолжиме и да ја конфигурираме политиката. ON    : поставете го ова на MinIO крајната точка  Крајна точка http://<minio_ip>:<minio_port>    : Ова беше креирано во конзолата MinIO и зачувано во претходниот чекор. Пристап и таен клуч    : Име на целната кофа MinIO Име на кофата    Ова е корпата во Dell ECS што ги евидентира сите грешки за време на миграцијата. Кофа за евиденција:  Има и други поставки, не ги поминав сите поставки, само најважните. Имајте предвид дека ако податоците се избришат од изворната корпа на Dell ECS, тие нема да се избришат од целната корпа MinIO откако ќе заврши миграцијата.  Движење на податоци со Dremio во MinIO  Сега да погледнеме како би изгледала миграцијата користејќи апликација што користи Dremio.   Постојат неколку чекори што се случуваат за време на оваа миграција  Апликација со која се соочува клиент пишува во корпа Dell ECS.  ECS копира во кофа за поставување во рамките на MinIO конфигурирана користејќи политика за движење на податоци.  Податоците се копираат во кофата за поставување.  Ќе користи MinIO кофата за поставување  да испратите порака до RabbitMQ, на која Dremio ќе биде претплатен.   Известување за настан  Dremio ја чита пораката и ги внесува податоците од кофата за поставување на MinIO до кофата Dremio во MinIO.  Откако ќе се внесат податоците, можете да ја исчистите корпата за поставување на MinIO користејќи a  .   политика на животниот циклус  Ова се само два примери, но можете да ја користите оваа методологија за да мигрирате од која било апликација користејќи Dell ECS на MinIO.  Следење на движењето на податоците и евиденција  За време на процесот на миграција на податоци, важно е да се внимава на целокупниот процес на миграција додека се преместуваат податоците во MinIO. Dell ECS GUI обезбедува прегледни контролни табли со напреден мониторинг што ги прикажува вкупните објекти копирани, вкупните бајти копирани, доцнењето воден печат, вкупните грешки, објектите копирани, копии од бајти, меѓу другото.   Можете дополнително да ги продлабочите за да прикажете специфични информации за изворот/цел, како што се бројот на објекти и големината на корпата во одреден период за време на процесот на миграција.   Во првичниот дијаграм на почетокот на овој блог, покажавме корпа за дневници што ја имаме на страната ECS, тука се евидентирани сите операции од Движењето на податоци. Ова е многу корисно за отстранување грешки за време на процесот на миграција, особено кога е потребно многу долго време поради хардверски и физички ограничувања.  Еве пример за тоа како изгледаат дневниците:   2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS  Зошто да мигрирате на MinIO?  MinIO е единствена Go бинарна верзија која може да се лансира во многу различни типови на облак и средини во преработка. Тој е многу лесен, но исто така е полн со функции како што се репликација и шифрирање, и обезбедува интеграции со различни апликации.  Ние имаме  тоа е со 325 GiB/s (349 GB/s) на GET и 165 GiB/s (177 GB/s) на PUT со само 32 јазли на несекојдневни NVMe SSD – и се користи за изградба на езера/куќи со податоци и аналитика и оптоварување на AI/ML.   мерило  Не само тоа, туку надвор од кутијата MinIO исто така вклучува:  Енкрипција: MinIO поддржува и шифрирање на  и во  . Ова осигурува дека податоците се шифрирани во сите аспекти на трансакцијата од моментот на упатување на повикот до ставање на објектот во корпата.   Одмор   Транзит  : Постојат неколку причини поради кои податоците може да се оштетат на физичките дискови. Може да се должи на скокови на напон, грешки во фирмверот, погрешно читање и пишување, меѓу другото. MinIO гарантира дека тие се снимени и фиксираат во лет за да се обезбеди интегритет на податоците.   Bitrot заштита  : Наместо да обезбеди вишок на податоци користејќи RAID што додава дополнителни трошоци за перформансите, MinIO ја користи оваа функција за вишок на податоци и достапност за да ги реконструира објектите во лет без дополнителен хардвер или софтвер.   Кодирање за бришење  Безбеден пристап ACL и PBAC: Поддржува политики во стилот на IAM S3 со вграден IDP, види  за повеќе информации.   Најдобри практики на MinIO - безбедност и контрола на пристап  : За податоци до кои не се пристапува толку често, можете да ги префрлите податоците во друга ладна меморија со MinIO за да можете да ги оптимизирате најновите податоци на вашиот најдобар хардвер без неискористените податоци да одземаат простор.   Нивоа  : MinIO поддржува заклучување на објекти (задржување) кое наметнува запишување еднаш и подготвено многу операции за времетраење и неодредено законско задржување. Ова овозможува усогласеност со задржување на клучните податоци и ги исполнува барањата SEC17a-4(f), FINRA 4511(C) и CFTC 1.31(c)-(d).   Заклучување и задржување на објекти  Да не зборуваме, добар софтвер не е ништо без добра поддршка. MinIO обезбедува една од најдобрите поддршка таму користејќи ја нашата  портал. Имаме инженери кои работат на базата на основни кодови MinIO одговараат на прашања директно во интерактивен и колаборативен медиум во стилот на Slack. Кога зборувате со инженер наместо бескрајно да го ескалирате вашето прашање на инженерот на следното ниво, луѓето со кои разговарате се способни да го решат секој проблем на кој ќе наидете. Имавме дури и клиенти кои се вратија кај нас откако отидоа со платформа за складирање на конкуренти поради недостаток на соодветна поддршка. Без разлика дали го дизајнирате вашето складирање со сите карактеристики под сонцето, ако навремено не го поддржувате вашиот клиент, тогаш тоа нема никаква корист. За нас да ги поддржуваме нашите клиенти и да ги направиме успешни е наш приоритет број 1.   ПОДМРЕЖА  Ако имате какви било прашања за тоа како да ги префрлите вашите податоци од Dell ECS во миграција на MinIO, не заборавајте да контактирате со нас на  !   Лабаво

Developers do. Download MinIO and see for yourself. 

MinIO

Ова аудио е произведено на оригиналниот јазик на приказната!

Миграција на податоци од Dell ECS во MinIO

About Author

КОМЕНТАРИ

ВИСЕТЕ ТАГОВИ

ОВОЈ СТАТИЈА БЕШЕ ПРЕТСТАВЕН ВО

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps