نقل البيانات من Dell ECS إلى MinIO

تتيح لك مجموعات Dell ECS نقل بياناتك إلى أي متجر متوافق مع S3. وتطلق Dell ECS على هذه الميزة اسم "نقل البيانات"، وتسمى أيضًا النسخ إلى السحابة. وهي ميزة تم تقديمها في ECS 3.8.0.1 والتي تتيح لك نسخ الكائنات من Dell ECS إلى MinIO وهي ميزة تحظى بشعبية كبيرة بين العملاء والعملاء المحتملين الذين يقومون بتحديث مجموعة التخزين الخاصة بهم لدعم متطلبات البنية الأساسية لبيانات الذكاء الاصطناعي. تم بناء نقل البيانات على رأس أداة ECS Sync مفتوحة المصدر والتي توفر القدرة على نسخ البيانات بالتوازي.

في هذه النظرة العامة، سنعرض لك كيفية ترحيل البيانات من Dell ECS إلى MinIO من خلال التركيز بشكل خاص على ما يلي:

• تكوين دلاء المصدر والهدف
• إعداد سياسات نقل البيانات
• مراقبة وتسجيل عملية الهجرة إلى MinIO

تكوين دلاء المصدر والهدف

قبل أن نتمكن من بدء إنشاء السياسة اللازمة لنقل البيانات، دعنا نتأكد من تكوين دلاء المصدر والهدف لنقل البيانات.

تكوين دلو مصدر Dell ECS

داخليًا، تقوم سياسة نقل البيانات بفحص دلو المصدر لإحصاء جميع الكائنات لنقل البيانات باستخدام بحث البيانات الوصفية (MD).

لكي تتمكن عملية نقل البيانات من نقل البيانات فعليًا، يجب عليك التأكد من تمكين البحث عن MD في دلو مصدر Dell ECS وتضمين LastModified كحقل مفهرس.

الآن دعونا نقوم بتكوين MinIO، الدلو المستهدف.

تكوين دلو هدف MinIO

لكي يتم نقل البيانات إلى MinIO، نحتاج إلى إنشاء المورد التالي في MInIO مسبقًا:

• مفاتيح الوصول والسرية
• اسم الدلو
• سياسة IAM

عند إنشاء الدلو، تأكد من تمكين إصدار الدلو، ما لم يكن الدلو المستهدف في MinIO مخصصًا فقط لسياسة نقل البيانات. تأكد من تدوين التفاصيل المذكورة أعلاه بعد إنشائها حيث ستكون قيمها مطلوبة لاحقًا.

يجب أن تسمح سياسة IAM بواجهات برمجة التطبيقات التالية:

• s3:قائمة الدلو
• s3: الحصول على الكائن
• s3:وضع الكائن
• s3:حذف الكائن

اتبع هذا الدليل لمعرفة كيفية إنشاء سياسات IAM ومفاتيح الوصول والدلاء في وحدة التحكم MinIO.

1. أدخل اسم المستخدم الذي تم تعيينه أثناء تكوين المجموعة.
2. أدخل كلمة المرور التي تم تعيينها أثناء تكوين المجموعة.
3. انقر فوق "تسجيل الدخول"

4. متصفح الكائنات : سيتم هنا عرض الدلاء التي تم إنشاؤها والبيانات التي تم تحميلها.

   
   

5. مفاتيح الوصول : مفاتيح الوصول بنمط AWS IAM

   1. إنشاء مفتاح الوصول : انقر هنا لإنشاء مفتاح وصول وسر منفصلين عن المفتاح الذي استخدمناه لتشغيل المجموعة.

   
   

6. الدلاء : قم بإدراج جميع الدلاء المتاحة.

   1. إنشاء دلو : إذا لم تكن هناك دلاء، فاستمر في إنشاء دلو جديد.

   
   

7. السياسات : سياسات IAM

   
   

8. الهوية : إنشاء وتوصيل العديد من موفري الهوية مثل OpenID وLDAP.

   
   

9. المراقبة : مراقبة جميع جوانب المجموعة وحتى إرسالها إلى Prometheus.

بمجرد تكوين دلاء المصدر والهدف، فلنبدأ في إعداد سياسة نقل البيانات.

سياسة نقل البيانات

سياسة نقل البيانات هي تعريف في Dell ECS يمكن تعيينه إما عبر واجهة المستخدم أو واجهة برمجة التطبيقات التي تحدد الكائنات الموجودة في دلو مصدر Dell ECS التي يجب نسخها إلى دلو الهدف MinIO. يتم تشغيل مهام فحص سياسة نقل البيانات تلقائيًا ولكن يمكن إيقافها مؤقتًا أو استئنافها في أي وقت. هذا مشابه جدًا لـ MinIO تكرار الدفعة العملية. بشكل افتراضي، تقوم سياسة نقل البيانات بنقل البيانات إلى MinIO حسب وقت LastModified.

سنعرض لك سيناريوهين مختلفين لنقل البيانات لإعطائك فكرة عن كيفية عمل ذلك، ولكن السماء هي الحد عندما يتعلق الأمر بكيفية القيام بالهجرة.

نقل البيانات إلى MinIO

في هذا التكوين، سنضيف أجزاء MinIO الضرورية لكي يتواصل معها Dell ECS. الخطوة الأولى، بمجرد تمكين البحث عن MD، هي تمكين نقل البيانات إلى ON كما هو موضح أدناه.

بمجرد تعيين "نقل البيانات" على ON ، يمكننا المضي قدمًا وتكوين السياسة.

• نقطة النهاية : اضبط هذا على نقطة نهاية MinIO http://<minio_ip>:<minio_port>
• مفتاح الوصول والسر : تم إنشاؤه في وحدة التحكم MinIO وتم حفظه في خطوة سابقة.
• اسم الدلو : اسم دلو هدف MinIO
• دلو التسجيل: هذا هو الدلو الموجود في Dell ECS والذي يسجل أي أخطاء أثناء الترحيل.

توجد إعدادات أخرى، ولم أقم بمراجعة جميع الإعدادات، بل فقط الإعدادات الأكثر أهمية. يرجى ملاحظة أنه إذا تم حذف البيانات من دلو مصدر Dell ECS، فلن يتم حذفها من دلو الهدف MinIO بعد اكتمال عملية الترحيل.

نقل البيانات باستخدام Dremio إلى MinIO

الآن دعونا نلقي نظرة على كيف سيبدو الانتقال باستخدام تطبيق يستخدم Dremio.

هناك بعض الخطوات التي تتم أثناء هذه الهجرة

1. يكتب تطبيق يواجه العميل إلى دلو Dell ECS.
2. يتم نسخ ECS إلى دلو مؤقت داخل MinIO تم تكوينه باستخدام سياسة نقل البيانات.
3. تتم نسخ البيانات إلى دلو المرحلي.
4. سوف تستخدم دلو المرحلة MinIO إشعار الحدث لإرسال رسالة إلى RabbitMQ، والتي سيتم اشتراك Dremio فيها.
5. يقوم Dremio بقراءة الرسالة واستيعاب البيانات من دلو مرحلة MinIO إلى دلو Dremio في MinIO.
6. بمجرد استيعاب البيانات، يمكنك تنظيف دلو مرحلة MinIO باستخدام سياسة دورة الحياة .

هذه مجرد مثالين ولكن يمكنك استخدام هذه المنهجية للانتقال من أي تطبيق يستخدم Dell ECS إلى MinIO.

مراقبة حركة البيانات وتسجيلها

أثناء عملية نقل البيانات، من المهم مراقبة عملية النقل الشاملة أثناء نقل البيانات إلى MinIO. توفر واجهة المستخدم الرسومية Dell ECS لوحات معلومات عامة مع مراقبة متقدمة تعرض إجمالي الكائنات المنسوخة وإجمالي البايتات المنسوخة وتأخير العلامة المائية وإجمالي الأخطاء والكائنات المنسوخة ونسخ البايتات، من بين أمور أخرى.

يمكنك التعمق أكثر لإظهار معلومات محددة عن المصدر/الهدف مثل عدد الكائنات وحجم الدلو خلال فترة زمنية محددة أثناء عملية الترحيل.

في الرسم التخطيطي الأولي في بداية هذه المدونة، أظهرنا دلوًا للسجلات لدينا على جانب ECS، حيث يتم تسجيل جميع العمليات من نقل البيانات. وهذا مفيد جدًا في تصحيح أي مشكلات أثناء عملية الترحيل، خاصةً عندما تستغرق وقتًا طويلاً بسبب القيود المادية والعتادية.

فيما يلي مثال لكيفية ظهور السجلات:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

لماذا الهجرة إلى MinIO؟

MinIO هو برنامج ثنائي Go واحد يمكن تشغيله في العديد من أنواع البيئات السحابية والمحلية المختلفة. إنه خفيف الوزن للغاية، ولكنه أيضًا مليء بالميزات مثل التكرار والتشفير، كما يوفر التكامل مع تطبيقات مختلفة.

لقد قمنا معياري تبلغ سرعة التخزين في هذه التقنية 325 جيجابايت/ثانية (349 جيجابايت/ثانية) على وحدات GET و165 جيجابايت/ثانية (177 جيجابايت/ثانية) على وحدات PUT مع 32 عقدة فقط من وحدات SSD NVMe الجاهزة للاستخدام - ويتم استخدامها لبناء بحيرات البيانات/بيوت البحيرات وأحمال العمل التحليلية والذكاء الاصطناعي/التعلم الآلي.

ليس هذا فقط، بل يتضمن MinIO أيضًا ما يلي:

• التشفير: يدعم MinIO كلاً من التشفير عند استراحة وفي عبور يضمن هذا تشفير البيانات في جميع جوانب المعاملة من لحظة إجراء المكالمة حتى وضع الكائن في الدلو.

  
  

• حماية بيتروت :هناك عدة أسباب قد تؤدي إلى تلف البيانات على الأقراص المادية. قد يكون ذلك بسبب ارتفاع الجهد الكهربائي، أو وجود أخطاء في البرامج الثابتة، أو القراءة والكتابة بشكل خاطئ، وغيرها من الأشياء. تضمن MinIO اكتشاف هذه الأخطاء وإصلاحها أثناء التشغيل لضمان سلامة البيانات.

  
  

• ترميز المسح :بدلاً من ضمان تكرار البيانات باستخدام RAID الذي يضيف تكلفة إضافية على الأداء، يستخدم MinIO ميزة تكرار البيانات وتوافرها لإعادة بناء الكائنات أثناء التنقل دون أي أجهزة أو برامج إضافية.

  
  

• قوائم التحكم في الوصول الآمنة وPBAC: تدعم سياسات نمط IAM S3 مع IDP المدمج، راجع أفضل ممارسات MinIO - الأمان والتحكم في الوصول لمزيد من المعلومات.

  
  

• التدرج :بالنسبة للبيانات التي لا يتم الوصول إليها بشكل متكرر، يمكنك سحب البيانات إلى وحدة تخزين باردة أخرى تعمل بنظام MinIO حتى تتمكن من تحسين أحدث البيانات على أفضل الأجهزة لديك دون أن تشغل البيانات غير المستخدمة مساحة.

  
  

• قفل الكائنات والاحتفاظ بها :يدعم MinIO قفل الكائنات (الاحتفاظ) الذي يفرض الكتابة مرة واحدة والاستعداد للعديد من العمليات لمدة زمنية محددة وحجز قانوني غير محدد. يسمح هذا بالامتثال للاحتفاظ بالبيانات الرئيسية ويلبي متطلبات SEC17a-4(f) وFINRA 4511(C) وCFTC 1.31(c)-(d).

  
  

ناهيك عن ذلك، فإن البرامج الجيدة لا قيمة لها بدون دعم جيد. توفر MinIO أحد أفضل خدمات الدعم المتاحة باستخدام الشبكة الفرعية البوابة. لدينا مهندسون يعملون على قاعدة التعليمات البرمجية الأساسية لـ MinIO يجيبون على الأسئلة مباشرة في وسيلة تفاعلية وتعاونية على غرار Slack. عندما تتحدث مع مهندس بدلاً من تصعيد مشكلتك إلى مهندس المستوى التالي إلى ما لا نهاية، فإن الأشخاص الذين تتحدث معهم قادرون على حل أي مشكلة تواجهها. لقد عاد إلينا حتى العملاء بعد استخدام منصة تخزين منافسة بسبب نقص الدعم المناسب. بغض النظر عما إذا كنت تصمم التخزين الخاص بك مع جميع الميزات الموجودة تحت الشمس، إذا لم تدعم عميلك على الفور، فلن يكون ذلك مفيدًا. بالنسبة لنا، فإن دعم عملائنا وجعلهم ناجحين هو أولويتنا رقم 1.

إذا كانت لديك أي أسئلة حول كيفية ترحيل بياناتك من Dell ECS إلى MinIO، فتأكد من التواصل معنا على الركود !