Dell ECS klasterlari ma'lumotlaringizni istalgan S3 mos do'koniga ko'chirish imkonini beradi. Dell ECS ushbu xususiyatni "Ma'lumotlar harakati" deb ataydi, shuningdek, bulutga nusxa ko'chirish deb ham ataladi. Bu ECS 3.8.0.1 da taqdim etilgan xususiyat bo‘lib, u Dell ECS’dan MiniIO’ga ob’yektlarni nusxalash imkonini beradi, bu o‘zlarining sun’iy intellekt ma’lumotlar infratuzilmasiga bo‘lgan talablarini qo‘llab-quvvatlash uchun saqlash stackini modernizatsiya qilayotgan mijozlar va istiqbollilar orasida juda mashhur. Ma'lumotlar harakati ECS Sync ochiq manbali vositasi ustiga qurilgan bo'lib, ma'lumotlarni parallel ravishda nusxalash imkoniyatini beradi.   Ushbu umumiy ko‘rinishda biz sizga Dell ECS-dan MiniIO-ga ma’lumotlarni qanday ko‘chirishni ko‘rsatib beramiz, bu orqali quyidagilarga alohida e’tibor qaratamiz:  Manba va maqsadli chelaklarni sozlash  Ma'lumotlarni ko'chirish siyosatini o'rnatish  MiniIO-ga o'tishni kuzatish va qayd qilish  Manba va maqsadli chelaklarni sozlang  Maʼlumotlarni koʻchirish siyosatini yaratishni boshlashdan oldin, keling, manba va maqsadli chelaklar Maʼlumotlar harakati uchun sozlanganligiga ishonch hosil qilaylik.  Dell ECS manba paqirini sozlang  Ichki ma'lumotlar harakati siyosati Metadata (MD) qidiruvi yordamida ma'lumotlar harakati uchun barcha ob'ektlarni sanash uchun manba paqirini skanerlaydi.  Ma'lumotlar harakati haqiqatda ma'lumotlarni ko'chirishi uchun Dell ECS manba paqirida MD Search yoqilganligiga ishonch hosil qilishingiz va LastModified-ni indekslangan maydon sifatida kiritishingiz kerak.   Keyin maqsadli paqir MiniIO ni sozlaymiz.  MiniIO Target Paqirini sozlang  Ma'lumotlar MiniIO-ga o'tkazilishi uchun biz MINIO-da oldindan quyidagi resursni yaratishimiz kerak:  Kirish va maxfiy kalitlar  Paqir nomi  IAM siyosati  Paqirni yaratishda, agar MiniIO-dagi maqsadli paqir faqat ma'lumotlarni uzatish siyosati uchun ajratilmagan bo'lsa, chelak versiyasini yoqishni unutmang. Yuqoridagi tafsilotlarni yaratgandan so'ng, ularga e'tibor berishni unutmang, chunki ularning qiymatlari keyinroq kerak bo'ladi.  IAM siyosati quyidagi API-larga ruxsat berishi kerak:  s3: ListBucket  s3: GetObject  s3: PutObject  s3: Ob'ektni o'chirish  MiniIO konsolida IAM siyosatlari, kirish kalitlari va chelaklarni qanday yaratishni o'rganish uchun ushbu   amal qiling.  qo'llanmaga  Klasterni sozlashda o'rnatilgan foydalanuvchi nomini kiriting.  Klasterni sozlashda o'rnatilgan parolni kiriting.  "Kirish" tugmasini bosing     : Bu yerda yaratilgan va yuklangan ma'lumotlar chelaklari ko'rsatiladi. Ob'ekt brauzeri    : AWS IAM uslubiga kirish kalitlari Kirish kalitlari    : Klasterni ishga tushirishda foydalanganimizdan alohida kirish va sir yaratish uchun shu yerni bosing. Kirish kalitini yaratish    : mavjud bo'lgan barcha chelaklarni sanab o'ting. Chelaklar    : Agar chelaklar bo'lmasa, davom eting va yangisini yarating. Paqir yaratish    : IAM siyosatlari Qoidalar    : OpenID va LDAP kabi turli xil IDPlarni yarating va ulang. Identifikatsiya    : Klasterning barcha jihatlarini kuzatib boring va hatto uni Prometeyga yuboring. Monitoring  Manba va maqsad chelaklari sozlangandan so'ng, ma'lumotlar harakati siyosatini o'rnatamiz.  Ma'lumotlarni ko'chirish siyosati  Ma'lumotlar harakati siyosati Dell ECS-dagi ta'rif bo'lib, u UI yoki API orqali o'rnatilishi mumkin bo'lib, Dell ECS manba paqiridagi qaysi ob'ektlar MiniIO maqsad paqiriga ko'chirilishi kerakligini belgilaydi. Ma'lumotlar harakati siyosati skanerlash ishlari avtomatik ravishda ishga tushiriladi, lekin istalgan vaqtda to'xtatib turish yoki davom ettirish mumkin. Bu MiniIO-ga juda o'xshaydi  jarayon. Odatiy bo'lib, ma'lumotlar harakati siyosati ma'lumotlarni LastModified vaqti tartibida MiniIO-ga ko'chiradi.   ommaviy replikatsiya  Bu qanday ishlashi mumkinligi haqida tasavvur berish uchun sizga ikki xil Maʼlumotlar Harakati stsenariylarini koʻrsatamiz, ammo Migratsiyani qanday amalga oshirish haqida gap ketganda, osmon chegaralangan.  MiniIO ga ma'lumotlarni uzatish  Ushbu konfiguratsiyada biz Dell ECS bilan muloqot qilish uchun zarur bo'lgan MiniIO bit va boblarni qo'shamiz. MD Search yoqilgandan so'ng birinchi qadam quyida ko'rsatilganidek, Data Mobility-ni   holatiga qo'yishdir.  ON  Maʼlumotlar harakatchanligi   ga oʻrnatilgandan soʻng, biz davom etishimiz va siyosatni sozlashimiz mumkin. ON    : Buni MiniIO oxirgi nuqtasiga o'rnating  Endpoint http://<minio_ip>:<minio_port>    : Bu MiniIO konsolida yaratilgan va oldingi bosqichda saqlangan. Kirish va maxfiy kalit    : MiniIO maqsadli paqir nomi Paqir nomi    Bu Dell ECS-dagi paqir bo'lib, migratsiya paytidagi har qanday xatolarni qayd qiladi. Jurnal paqir:  Boshqa sozlamalar ham bor, men barcha sozlamalarni ko'rib chiqmadim, faqat eng muhimlarini. Shuni esda tutingki, agar ma'lumotlar Dell ECS manba paqiridan o'chirilsa, ko'chirish tugallangandan keyin u MiniIO maqsadli paqiridan o'chirilmaydi.  Dremio bilan MiniIO-ga ma'lumotlar harakati  Endi Dremio-dan foydalanadigan dastur yordamida migratsiya qanday ko'rinishini ko'rib chiqamiz.   Ushbu migratsiya paytida bir necha bosqichlar mavjud  Mijozga qaratilgan dastur Dell ECS paqiriga yozadi.  ECS maʼlumotlarni koʻchirish siyosati yordamida sozlangan MiniIO ichidagi bosqichli paqirga nusxa koʻchiradi.  Ma'lumotlar bosqichma-bosqich paqirga ko'chiriladi.  MiniIO staging paqiridan foydalanadi  Dremio obuna bo'ladigan RabbitMQ-ga xabar yuborish uchun.   Voqea haqida bildirishnoma  Dremio xabarni o'qiydi va ma'lumotlarni MiniIO staging paqiridan MiniIO'dagi Dremio paqiriga oladi.  Ma'lumotlar kiritilgandan so'ng, siz MiniIO staging paqirini a yordamida tozalashingiz mumkin  .   hayot aylanishi siyosati  Bu faqat ikkita misol, lekin siz Dell ECS yordamida istalgan ilovadan MiniIO-ga o'tish uchun ushbu metodologiyadan foydalanishingiz mumkin.  Ma'lumotlar harakati monitoringi va jurnallar  Ma'lumotlarni ko'chirish jarayonida umumiy migratsiya jarayonini kuzatib borish muhim, chunki u ma'lumotlarni MiniIO-ga o'tkazadi. Dell ECS GUI umumiy ko'chirilgan ob'ektlar, ko'chirilgan jami baytlar, moybo'yoqli kechikishlar, jami xatolar, nusxa ko'chirilgan ob'ektlar, baytlar nusxalari va boshqalarni ko'rsatadigan kengaytirilgan monitoring bilan umumiy ko'rinish asboblar panelini taqdim etadi.   Migratsiya jarayonida tanlangan davr mobaynida ob'ekt soni va chelak o'lchami kabi manba/maqsadga xos ma'lumotlarni ko'rsatish uchun siz qo'shimcha ma'lumot olishingiz mumkin.   Ushbu blogning boshidagi dastlabki diagrammada biz ECS tomonida mavjud bo'lgan jurnal paqirini ko'rsatdik, bu erda Ma'lumotlar harakati bilan bog'liq barcha operatsiyalar qayd etiladi. Bu migratsiya jarayonida har qanday muammolarni tuzatish uchun juda foydali, ayniqsa apparat va jismoniy cheklovlar tufayli juda uzoq vaqt talab qilganda.  Jurnallar qanday ko'rinishiga misol:   2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS  Nima uchun MiniIO-ga o'tish kerak?  MiniIO - bu ko'plab bulutli va mahalliy muhitlarda ishga tushirilishi mumkin bo'lgan yagona Go ikkilik tizimi. Bu juda yengil, lekin shu bilan birga replikatsiya va shifrlash kabi narsalar bilan to'la xususiyatga ega va u turli ilovalar bilan integratsiyani ta'minlaydi.  Bizda bor  u GET-larda 325 GiB/s (349 GB/s) va PUT-larda 165 GiB/s (177 GB/s) yaroqsiz NVMe SSD-larning atigi 32 tuguniga ega va ma'lumotlar ko'llari/ko'l uylarini qurish uchun ishlatiladi. va tahliliy va AI/ML ish yuklari.   qiyoslangan  Nafaqat bu, balki tayyor MiniIO ham quyidagilarni o'z ichiga oladi:  Shifrlash: MiniIO ikkala shifrlashni qo'llab-quvvatlaydi  va ichida  . Bu qo'ng'iroq qilingan paytdan boshlab ob'ekt chelakka joylashtirilgunga qadar tranzaksiyaning barcha jabhalarida ma'lumotlar shifrlanishini ta'minlaydi.   Dam olish   Tranzit  : Jismoniy disklarda ma'lumotlarning buzilishining bir necha sabablari bor. Bunga kuchlanishning keskin ko'tarilishi, dasturiy ta'minotdagi xatolar, noto'g'ri yo'naltirilgan o'qish va yozishlar sabab bo'lishi mumkin. MiniIO ma'lumotlar yaxlitligini ta'minlash uchun ularni tezda yozib olish va o'rnatishni ta'minlaydi.   Bitrot himoyasi  : Ishlashda qoʻshimcha xarajatlarni qoʻshadigan RAID yordamida maʼlumotlarning ortiqcha boʻlishini taʼminlash oʻrniga, MiniIO hech qanday qoʻshimcha apparat yoki dasturiy taʼminotsiz obʼyektlarni tezda rekonstruksiya qilish uchun ushbu maʼlumotlarning ortiqcha va mavjudligi xususiyatidan foydalanadi.   Kodlashni o'chirish  Xavfsiz kirish ACL va PBAC: o'rnatilgan IDP bilan IAM S3 uslubidagi siyosatlarni qo'llab-quvvatlaydi, qarang.  qo'shimcha ma'lumot uchun.   MiniIO eng yaxshi amaliyotlari - Xavfsizlik va kirishni boshqarish  : Tez-tez foydalanilmaydigan ma'lumotlar uchun siz MiniIO bilan ishlaydigan boshqa sovuq xotiraga ma'lumotlarni o'chirib qo'yishingiz mumkin, shunda foydalanilmagan ma'lumotlar joy egallamasdan eng yaxshi uskunangizdagi so'nggi ma'lumotlarni optimallashtirishingiz mumkin.   Bog'lanish  : MiniIO ob'ektni blokirovka qilishni (saqlash) qo'llab-quvvatlaydi, bu esa bir marta yozishni va ko'plab operatsiyalarni davomiylik va cheksiz qonuniy ushlab turish uchun tayyorlaydi. Bu asosiy maʼlumotlarni saqlash muvofiqligini taʼminlaydi va SEC17a-4(f), FINRA 4511(C) va CFTC 1.31(c)-(d) talablariga javob beradi.   Ob'ektni qulflash va saqlash  Shuni ta'kidlash kerakki, yaxshi dasturiy ta'minot yaxshi yordamisiz hech narsa emas. MiniIO bizdan foydalangan holda eng yaxshi yordamlardan birini taqdim etadi  portal. Bizda MiniIO asosiy kod bazasida ishlaydigan muhandislarimiz savollarga bevosita Slack uslubidagi interaktiv va hamkorlik muhitida javob beradi. Muammoni keyingi darajadagi muhandisga etkazish o'rniga, muhandis bilan gaplashsangiz, siz gaplashayotgan odamlar siz duch kelgan har qanday muammoni hal qilishga qodir. Tegishli qo'llab-quvvatlash yo'qligi sababli, hatto raqobatchilarning saqlash platformasidan foydalangandan so'ng, mijozlar bizga qaytib kelishdi. Xotirangizni quyosh ostidagi barcha funksiyalar bilan loyihalashtirsangiz ham, agar siz mijozingizni o'z vaqtida qo'llab-quvvatlamasangiz, undan foyda yo'q. Biz uchun mijozlarimizni qo'llab-quvvatlash va ularni muvaffaqiyatli qilish bizning ustuvor vazifamizdir №1.   SUBNET  Maʼlumotlaringizni Dell ECSʼdan MiniIO migratsiyasiga qanday oʻtkazish haqida savollaringiz boʻlsa, biz bilan bogʻlaning.  !   Sust

Developers do. Download MinIO and see for yourself. 

MinIO

Ushbu audio hikoyaning asl tilida yaratilgan!

Dell ECS-dan MiniIO-ga ma'lumotlarni ko'chirish

About Author

IZOHLAR

TEGI QILISH

USHBU MAQOLA TAQDIM ETILGAN

Related Stories

Meet UzairaAdvisory, Winner of Startups of The Year 2024 in Business

Meet UzairaAdvisory, Startups of The Year 2024 Nominee

Meet Uzi World Digital, Winner of Startups of the year 2024 in Kolkata, West Bengal, India

Meet UzairaAdvisory, Winner of Startups of The Year 2024 in Business

Meet UzairaAdvisory, Startups of The Year 2024 Nominee

Meet Uzi World Digital, Winner of Startups of the year 2024 in Kolkata, West Bengal, India

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps