Dell ECS-dan MiniIO-ga ma'lumotlarni ko'chirish

Dell ECS klasterlari ma'lumotlaringizni istalgan S3 mos do'koniga ko'chirish imkonini beradi. Dell ECS ushbu xususiyatni "Ma'lumotlar harakati" deb ataydi, shuningdek, bulutga nusxa ko'chirish deb ham ataladi. Bu ECS 3.8.0.1 da taqdim etilgan xususiyat bo‘lib, u Dell ECS’dan MiniIO’ga ob’yektlarni nusxalash imkonini beradi, bu o‘zlarining sun’iy intellekt ma’lumotlar infratuzilmasiga bo‘lgan talablarini qo‘llab-quvvatlash uchun saqlash stackini modernizatsiya qilayotgan mijozlar va istiqbollilar orasida juda mashhur. Ma'lumotlar harakati ECS Sync ochiq manbali vositasi ustiga qurilgan bo'lib, ma'lumotlarni parallel ravishda nusxalash imkoniyatini beradi.

Ushbu umumiy ko‘rinishda biz sizga Dell ECS-dan MiniIO-ga ma’lumotlarni qanday ko‘chirishni ko‘rsatib beramiz, bu orqali quyidagilarga alohida e’tibor qaratamiz:

• Manba va maqsadli chelaklarni sozlash
• Ma'lumotlarni ko'chirish siyosatini o'rnatish
• MiniIO-ga o'tishni kuzatish va qayd qilish

Manba va maqsadli chelaklarni sozlang

Maʼlumotlarni koʻchirish siyosatini yaratishni boshlashdan oldin, keling, manba va maqsadli chelaklar Maʼlumotlar harakati uchun sozlanganligiga ishonch hosil qilaylik.

Dell ECS manba paqirini sozlang

Ichki ma'lumotlar harakati siyosati Metadata (MD) qidiruvi yordamida ma'lumotlar harakati uchun barcha ob'ektlarni sanash uchun manba paqirini skanerlaydi.

Ma'lumotlar harakati haqiqatda ma'lumotlarni ko'chirishi uchun Dell ECS manba paqirida MD Search yoqilganligiga ishonch hosil qilishingiz va LastModified-ni indekslangan maydon sifatida kiritishingiz kerak.

Keyin maqsadli paqir MiniIO ni sozlaymiz.

MiniIO Target Paqirini sozlang

Ma'lumotlar MiniIO-ga o'tkazilishi uchun biz MINIO-da oldindan quyidagi resursni yaratishimiz kerak:

• Kirish va maxfiy kalitlar
• Paqir nomi
• IAM siyosati

Paqirni yaratishda, agar MiniIO-dagi maqsadli paqir faqat ma'lumotlarni uzatish siyosati uchun ajratilmagan bo'lsa, chelak versiyasini yoqishni unutmang. Yuqoridagi tafsilotlarni yaratgandan so'ng, ularga e'tibor berishni unutmang, chunki ularning qiymatlari keyinroq kerak bo'ladi.

IAM siyosati quyidagi API-larga ruxsat berishi kerak:

• s3: ListBucket
• s3: GetObject
• s3: PutObject
• s3: Ob'ektni o'chirish

MiniIO konsolida IAM siyosatlari, kirish kalitlari va chelaklarni qanday yaratishni o'rganish uchun ushbu qo'llanmaga amal qiling.

1. Klasterni sozlashda o'rnatilgan foydalanuvchi nomini kiriting.
2. Klasterni sozlashda o'rnatilgan parolni kiriting.
3. "Kirish" tugmasini bosing

4. Ob'ekt brauzeri : Bu yerda yaratilgan va yuklangan ma'lumotlar chelaklari ko'rsatiladi.

   
   

5. Kirish kalitlari : AWS IAM uslubiga kirish kalitlari

   1. Kirish kalitini yaratish : Klasterni ishga tushirishda foydalanganimizdan alohida kirish va sir yaratish uchun shu yerni bosing.

   
   

6. Chelaklar : mavjud bo'lgan barcha chelaklarni sanab o'ting.

   1. Paqir yaratish : Agar chelaklar bo'lmasa, davom eting va yangisini yarating.

   
   

7. Qoidalar : IAM siyosatlari

   
   

8. Identifikatsiya : OpenID va LDAP kabi turli xil IDPlarni yarating va ulang.

   
   

9. Monitoring : Klasterning barcha jihatlarini kuzatib boring va hatto uni Prometeyga yuboring.

Manba va maqsad chelaklari sozlangandan so'ng, ma'lumotlar harakati siyosatini o'rnatamiz.

Ma'lumotlarni ko'chirish siyosati

Ma'lumotlar harakati siyosati Dell ECS-dagi ta'rif bo'lib, u UI yoki API orqali o'rnatilishi mumkin bo'lib, Dell ECS manba paqiridagi qaysi ob'ektlar MiniIO maqsad paqiriga ko'chirilishi kerakligini belgilaydi. Ma'lumotlar harakati siyosati skanerlash ishlari avtomatik ravishda ishga tushiriladi, lekin istalgan vaqtda to'xtatib turish yoki davom ettirish mumkin. Bu MiniIO-ga juda o'xshaydi ommaviy replikatsiya jarayon. Odatiy bo'lib, ma'lumotlar harakati siyosati ma'lumotlarni LastModified vaqti tartibida MiniIO-ga ko'chiradi.

Bu qanday ishlashi mumkinligi haqida tasavvur berish uchun sizga ikki xil Maʼlumotlar Harakati stsenariylarini koʻrsatamiz, ammo Migratsiyani qanday amalga oshirish haqida gap ketganda, osmon chegaralangan.

MiniIO ga ma'lumotlarni uzatish

Ushbu konfiguratsiyada biz Dell ECS bilan muloqot qilish uchun zarur bo'lgan MiniIO bit va boblarni qo'shamiz. MD Search yoqilgandan so'ng birinchi qadam quyida ko'rsatilganidek, Data Mobility-ni ON holatiga qo'yishdir.

Maʼlumotlar harakatchanligi ON ga oʻrnatilgandan soʻng, biz davom etishimiz va siyosatni sozlashimiz mumkin.

• Endpoint : Buni MiniIO oxirgi nuqtasiga o'rnating http://<minio_ip>:<minio_port>
• Kirish va maxfiy kalit : Bu MiniIO konsolida yaratilgan va oldingi bosqichda saqlangan.
• Paqir nomi : MiniIO maqsadli paqir nomi
• Jurnal paqir: Bu Dell ECS-dagi paqir bo'lib, migratsiya paytidagi har qanday xatolarni qayd qiladi.

Boshqa sozlamalar ham bor, men barcha sozlamalarni ko'rib chiqmadim, faqat eng muhimlarini. Shuni esda tutingki, agar ma'lumotlar Dell ECS manba paqiridan o'chirilsa, ko'chirish tugallangandan keyin u MiniIO maqsadli paqiridan o'chirilmaydi.

Dremio bilan MiniIO-ga ma'lumotlar harakati

Endi Dremio-dan foydalanadigan dastur yordamida migratsiya qanday ko'rinishini ko'rib chiqamiz.

Ushbu migratsiya paytida bir necha bosqichlar mavjud

1. Mijozga qaratilgan dastur Dell ECS paqiriga yozadi.
2. ECS maʼlumotlarni koʻchirish siyosati yordamida sozlangan MiniIO ichidagi bosqichli paqirga nusxa koʻchiradi.
3. Ma'lumotlar bosqichma-bosqich paqirga ko'chiriladi.
4. MiniIO staging paqiridan foydalanadi Voqea haqida bildirishnoma Dremio obuna bo'ladigan RabbitMQ-ga xabar yuborish uchun.
5. Dremio xabarni o'qiydi va ma'lumotlarni MiniIO staging paqiridan MiniIO'dagi Dremio paqiriga oladi.
6. Ma'lumotlar kiritilgandan so'ng, siz MiniIO staging paqirini a yordamida tozalashingiz mumkin hayot aylanishi siyosati .

Bu faqat ikkita misol, lekin siz Dell ECS yordamida istalgan ilovadan MiniIO-ga o'tish uchun ushbu metodologiyadan foydalanishingiz mumkin.

Ma'lumotlar harakati monitoringi va jurnallar

Ma'lumotlarni ko'chirish jarayonida umumiy migratsiya jarayonini kuzatib borish muhim, chunki u ma'lumotlarni MiniIO-ga o'tkazadi. Dell ECS GUI umumiy ko'chirilgan ob'ektlar, ko'chirilgan jami baytlar, moybo'yoqli kechikishlar, jami xatolar, nusxa ko'chirilgan ob'ektlar, baytlar nusxalari va boshqalarni ko'rsatadigan kengaytirilgan monitoring bilan umumiy ko'rinish asboblar panelini taqdim etadi.

Migratsiya jarayonida tanlangan davr mobaynida ob'ekt soni va chelak o'lchami kabi manba/maqsadga xos ma'lumotlarni ko'rsatish uchun siz qo'shimcha ma'lumot olishingiz mumkin.

Ushbu blogning boshidagi dastlabki diagrammada biz ECS tomonida mavjud bo'lgan jurnal paqirini ko'rsatdik, bu erda Ma'lumotlar harakati bilan bog'liq barcha operatsiyalar qayd etiladi. Bu migratsiya jarayonida har qanday muammolarni tuzatish uchun juda foydali, ayniqsa apparat va jismoniy cheklovlar tufayli juda uzoq vaqt talab qilganda.

Jurnallar qanday ko'rinishiga misol:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

Nima uchun MiniIO-ga o'tish kerak?

MiniIO - bu ko'plab bulutli va mahalliy muhitlarda ishga tushirilishi mumkin bo'lgan yagona Go ikkilik tizimi. Bu juda yengil, lekin shu bilan birga replikatsiya va shifrlash kabi narsalar bilan to'la xususiyatga ega va u turli ilovalar bilan integratsiyani ta'minlaydi.

Bizda bor qiyoslangan u GET-larda 325 GiB/s (349 GB/s) va PUT-larda 165 GiB/s (177 GB/s) yaroqsiz NVMe SSD-larning atigi 32 tuguniga ega va ma'lumotlar ko'llari/ko'l uylarini qurish uchun ishlatiladi. va tahliliy va AI/ML ish yuklari.

Nafaqat bu, balki tayyor MiniIO ham quyidagilarni o'z ichiga oladi:

• Shifrlash: MiniIO ikkala shifrlashni qo'llab-quvvatlaydi Dam olish va ichida Tranzit . Bu qo'ng'iroq qilingan paytdan boshlab ob'ekt chelakka joylashtirilgunga qadar tranzaksiyaning barcha jabhalarida ma'lumotlar shifrlanishini ta'minlaydi.

  
  

• Bitrot himoyasi : Jismoniy disklarda ma'lumotlarning buzilishining bir necha sabablari bor. Bunga kuchlanishning keskin ko'tarilishi, dasturiy ta'minotdagi xatolar, noto'g'ri yo'naltirilgan o'qish va yozishlar sabab bo'lishi mumkin. MiniIO ma'lumotlar yaxlitligini ta'minlash uchun ularni tezda yozib olish va o'rnatishni ta'minlaydi.

  
  

• Kodlashni o'chirish : Ishlashda qoʻshimcha xarajatlarni qoʻshadigan RAID yordamida maʼlumotlarning ortiqcha boʻlishini taʼminlash oʻrniga, MiniIO hech qanday qoʻshimcha apparat yoki dasturiy taʼminotsiz obʼyektlarni tezda rekonstruksiya qilish uchun ushbu maʼlumotlarning ortiqcha va mavjudligi xususiyatidan foydalanadi.

  
  

• Xavfsiz kirish ACL va PBAC: o'rnatilgan IDP bilan IAM S3 uslubidagi siyosatlarni qo'llab-quvvatlaydi, qarang. MiniIO eng yaxshi amaliyotlari - Xavfsizlik va kirishni boshqarish qo'shimcha ma'lumot uchun.

  
  

• Bog'lanish : Tez-tez foydalanilmaydigan ma'lumotlar uchun siz MiniIO bilan ishlaydigan boshqa sovuq xotiraga ma'lumotlarni o'chirib qo'yishingiz mumkin, shunda foydalanilmagan ma'lumotlar joy egallamasdan eng yaxshi uskunangizdagi so'nggi ma'lumotlarni optimallashtirishingiz mumkin.

  
  

• Ob'ektni qulflash va saqlash : MiniIO ob'ektni blokirovka qilishni (saqlash) qo'llab-quvvatlaydi, bu esa bir marta yozishni va ko'plab operatsiyalarni davomiylik va cheksiz qonuniy ushlab turish uchun tayyorlaydi. Bu asosiy maʼlumotlarni saqlash muvofiqligini taʼminlaydi va SEC17a-4(f), FINRA 4511(C) va CFTC 1.31(c)-(d) talablariga javob beradi.

  
  

Shuni ta'kidlash kerakki, yaxshi dasturiy ta'minot yaxshi yordamisiz hech narsa emas. MiniIO bizdan foydalangan holda eng yaxshi yordamlardan birini taqdim etadi SUBNET portal. Bizda MiniIO asosiy kod bazasida ishlaydigan muhandislarimiz savollarga bevosita Slack uslubidagi interaktiv va hamkorlik muhitida javob beradi. Muammoni keyingi darajadagi muhandisga etkazish o'rniga, muhandis bilan gaplashsangiz, siz gaplashayotgan odamlar siz duch kelgan har qanday muammoni hal qilishga qodir. Tegishli qo'llab-quvvatlash yo'qligi sababli, hatto raqobatchilarning saqlash platformasidan foydalangandan so'ng, mijozlar bizga qaytib kelishdi. Xotirangizni quyosh ostidagi barcha funksiyalar bilan loyihalashtirsangiz ham, agar siz mijozingizni o'z vaqtida qo'llab-quvvatlamasangiz, undan foyda yo'q. Biz uchun mijozlarimizni qo'llab-quvvatlash va ularni muvaffaqiyatli qilish bizning ustuvor vazifamizdir №1.

Maʼlumotlaringizni Dell ECSʼdan MiniIO migratsiyasiga qanday oʻtkazish haqida savollaringiz boʻlsa, biz bilan bogʻlaning. Sust !