paint-brush
AWS S3 से MinIO में स्थानांतरण के लिए आपको जो कुछ भी जानना चाहिएद्वारा@minio
8,892 रीडिंग
8,892 रीडिंग

AWS S3 से MinIO में स्थानांतरण के लिए आपको जो कुछ भी जानना चाहिए

द्वारा MinIO12m2024/03/22
Read on Terminal Reader
Read this story w/o Javascript

बहुत लंबा; पढ़ने के लिए

आइये, प्रत्यावर्तन से जुड़ी लागतों और बचतों के बारे में थोड़ा गहराई से जानें, ताकि आपके लिए अपना विश्लेषण करना आसान हो जाए।

People Mentioned

Mention Thumbnail
featured image - AWS S3 से MinIO में स्थानांतरण के लिए आपको जो कुछ भी जानना चाहिए
MinIO HackerNoon profile picture


हमारी पिछली पोस्ट का जवाब, AWS S3 से MinIO में कैसे वापस जाएँ , असाधारण था - हमें उद्यमों से दर्जनों कॉल प्राप्त हुए हैं जो हमें प्रत्यावर्तन सलाह के लिए पूछ रहे हैं। हमने उन प्रतिक्रियाओं को इस नई पोस्ट में एकत्रित किया है, जहाँ हम प्रत्यावर्तन से जुड़ी लागतों और बचतों के बारे में थोड़ा गहराई से बताते हैं ताकि आपके लिए अपना खुद का विश्लेषण तैयार करना आसान हो सके। डेटा का माइग्रेशन कई लोगों के लिए एक कठिन काम है। व्यवहार में, वे मिनियो में आने के लिए नए डेटा को लक्षित करते हैं और क्लाउड से पुराने डेटा को माइग्रेट करने में अपना समय लेते हैं या इसे जगह पर छोड़ देते हैं और इसे विकसित नहीं करते हैं।

प्रत्यावर्तन अवलोकन

AWS S3 से डेटा वापस लाने के लिए, आपको इन सामान्य दिशानिर्देशों का पालन करना होगा:


  1. डेटा आवश्यकताओं की समीक्षा करें: उन विशिष्ट बकेट और ऑब्जेक्ट्स का निर्धारण करें जिन्हें AWS S3 से वापस भेजा जाना है। सुनिश्चित करें कि आप बकेट-दर-बकेट आधार पर व्यावसायिक आवश्यकताओं और अनुपालन आवश्यकताओं को समझते हैं।


  2. प्रत्यावर्तन गंतव्य की पहचान करें: आपने पहले ही MinIO में प्रत्यावर्तन करने का निर्णय ले लिया है, अब आप किसी ऑन-प्रिमाइसेस डेटा सेंटर या किसी अन्य क्लाउड प्रदाता या कोलोकेशन सुविधा में MinIO चलाने का विकल्प चुन सकते हैं। #1 से आवश्यकताओं का उपयोग करके, आप पूर्वानुमानित संग्रहण, स्थानांतरण और उपलब्धता आवश्यकताओं के लिए हार्डवेयर या इंस्टेंस का चयन करेंगे।


  3. डेटा ट्रांसफ़र: AWS S3 से MinIO तक डेटा ट्रांसफ़र की योजना बनाएँ और उसे निष्पादित करें। बस MinIO के बिल्ट-इन बैच प्रतिकृति का उपयोग करें या MinIO क्लाइंट का उपयोग करके मिरर करें (देखें AWS S3 से MinIO में कैसे वापस जाएँ अधिक जानकारी के लिए) डेटा ट्रांसफर के लिए आप कई अतिरिक्त तरीकों का उपयोग कर सकते हैं, जैसे AWS DataSync, AWS स्नोबॉल या टीडी SYNNEX डेटा माइग्रेशन , या सीधे AWS API का उपयोग करके।


  4. डेटा एक्सेस और अनुमतियाँ: सुनिश्चित करें कि प्रति-बकेट के आधार पर प्रत्यावर्तित डेटा के लिए उचित एक्सेस नियंत्रण और अनुमतियाँ सेट की गई हैं। इसमें डेटा की सुरक्षा सुनिश्चित करने के लिए उपयोगकर्ता एक्सेस, प्रमाणीकरण और प्राधिकरण के प्रबंधन के लिए IAM और बकेट नीतियाँ शामिल हैं।


  5. ऑब्जेक्ट लॉक: माइग्रेशन के बाद ऑब्जेक्ट लॉक रिटेंशन और कानूनी होल्ड नीतियों को बनाए रखना महत्वपूर्ण है। लक्ष्य ऑब्जेक्ट स्टोर को नियमों की व्याख्या उसी तरह करनी होगी जैसे Amazon S3 को करनी होती है। यदि आप अनिश्चित हैं, तो पूछें कोहासेट एसोसिएट्स अनुपालन मूल्यांकन लक्ष्य ऑब्जेक्ट स्टोर कार्यान्वयन पर.


  6. डेटा जीवनचक्र प्रबंधन: प्रत्यावर्तित डेटा के लिए डेटा जीवनचक्र प्रबंधन रणनीति को परिभाषित और कार्यान्वित करें। इसमें प्रति-बकेट आधार पर अवधारण नीतियां, बैकअप और पुनर्प्राप्ति प्रक्रियाएं और डेटा संग्रह अभ्यास परिभाषित करना शामिल है।


  7. डेटा सत्यापन: स्थानांतरित किए गए डेटा की अखंडता और पूर्णता सुनिश्चित करने के लिए उसे सत्यापित करें। यह सुनिश्चित करने के लिए आवश्यक जाँच और परीक्षण करें कि डेटा बिना किसी भ्रष्टाचार या हानि के सफलतापूर्वक स्थानांतरित हो गया है। स्थानांतरण के बाद, ऑब्जेक्ट का नाम, ETag और मेटाडेटा, चेकसम और ऑब्जेक्ट की संख्या सभी स्रोत और गंतव्य के बीच मेल खाते हैं।


  8. एप्लिकेशन और वर्कफ़्लो अपडेट करें: अच्छी खबर यह है कि यदि आप अपने एप्लिकेशन बनाने के लिए क्लाउड-नेटिव सिद्धांतों का पालन करते हैं, तो आपको बस उन्हें नए MinIO एंडपॉइंट के लिए फिर से कॉन्फ़िगर करना होगा। हालाँकि, यदि आपके एप्लिकेशन और वर्कफ़्लो AWS पारिस्थितिकी तंत्र के साथ काम करने के लिए डिज़ाइन किए गए थे, तो प्रत्यावर्तित डेटा को समायोजित करने के लिए आवश्यक अपडेट करें। इसमें कॉन्फ़िगरेशन अपडेट करना, एकीकरण को फिर से कॉन्फ़िगर करना या कुछ मामलों में कोड को संशोधित करना शामिल हो सकता है।


  9. निगरानी और अनुकूलन: इष्टतम प्रदर्शन, लागत दक्षता और डेटा प्रबंधन सर्वोत्तम प्रथाओं के पालन को सुनिश्चित करने के लिए प्रत्यावर्तित डेटा वातावरण की निरंतर निगरानी और अनुकूलन करें।

प्रत्यावर्तन चरण

क्लाउड प्रत्यावर्तन के लिए बजट और योजना बनाते समय कई कारकों पर विचार करना होता है। सौभाग्य से, हमारे इंजीनियरों ने कई ग्राहकों के साथ ऐसा किया है और हमने आपके लिए एक विस्तृत योजना विकसित की है। हमारे पास ऐसे ग्राहक हैं जिन्होंने मुट्ठी भर वर्कलोड से लेकर सैकड़ों पेटाबाइट्स तक सब कुछ प्रत्यावर्तित किया है।


सबसे बड़ा नियोजन कार्य नेटवर्किंग, लीज्ड बैंडविड्थ, सर्वर हार्डवेयर, प्रत्यावर्तित न किए जाने वाले डेटा के लिए संग्रह लागत और अपने स्वयं के क्लाउड इंफ्रास्ट्रक्चर को प्रबंधित करने और बनाए रखने की मानवीय लागत के बारे में सोचना है। इन लागतों का अनुमान लगाएं और उनके लिए योजना बनाएं। क्लाउड प्रत्यावर्तन लागत में क्लाउड से डेटा सेंटर में डेटा ले जाने के लिए डेटा निकास शुल्क शामिल होगा। ये शुल्क जानबूझकर इतने अधिक हैं कि क्लाउड लॉक-इन को मजबूर कर देते हैं। इन उच्च निकास शुल्कों पर ध्यान दें - वे सार्वजनिक क्लाउड को छोड़ने के आर्थिक तर्क को पुष्ट करते हैं क्योंकि, जैसे-जैसे आपके द्वारा प्रबंधित किए जाने वाले डेटा की मात्रा बढ़ती है, निकास शुल्क भी बढ़ता है। इसलिए, यदि आप प्रत्यावर्तन करने जा रहे हैं, तो बाद में कार्रवाई करने के बजाय जल्द से जल्द कार्रवाई करना बेहतर है।


हम उस डेटा और मेटाडेटा पर ध्यान केंद्रित करने जा रहे हैं जिसे स्थानांतरित किया जाना चाहिए - यह प्रत्यावर्तन के लिए आवश्यक कार्य का अस्सी प्रतिशत है। मेटाडेटा में बकेट गुण और नीतियाँ (एक्सेस/सीक्रेट कुंजी, लाइफ़साइकिल प्रबंधन, एन्क्रिप्शन, अनाम सार्वजनिक पहुँच, ऑब्जेक्ट लॉकिंग और वर्शनिंग पर आधारित एक्सेस प्रबंधन) शामिल हैं।


आइए अभी डेटा (ऑब्जेक्ट) पर ध्यान केंद्रित करें। प्रत्येक नेमस्पेस के लिए जिसे आप माइग्रेट करना चाहते हैं, उन बकेट और ऑब्जेक्ट की सूची बनाएं जिन्हें आप स्थानांतरित करना चाहते हैं। यह संभव है कि आपकी DevOps टीम पहले से ही जानती हो कि कौन सी बकेट में महत्वपूर्ण वर्तमान डेटा है। आप इसका उपयोग भी कर सकते हैं अमेज़न S3 इन्वेंटरी उच्च स्तर पर, यह कुछ इस तरह दिखेगा:


नाम स्थान

कुल बकेट

कुल वस्तु गणना

कुल ऑब्जेक्ट आकार (जीबी)

दैनिक कुल अपलोड (टीबी)

दैनिक कुल डाउनलोड (टीबी)

एनएस-001

166

47,751,258

980,014.48

50.04

14.80

एनएस-002

44

24,320,810

615,033.35

23.84

675.81

एनएस-002

648

88,207,041

601,298.91

328.25

620.93

एनएस-001

240

68,394,231

128,042.16

62.48

12.45


अगला चरण प्रत्येक बकेट के लिए नेमस्पेस और उसके गुणों को सूचीबद्ध करना है जिसे आप माइग्रेट करने जा रहे हैं। उस बकेट में डेटा संग्रहीत और पढ़ने वाले एप्लिकेशन को नोट करें। उपयोग के आधार पर, प्रत्येक बकेट को हॉट, वार्म या कोल्ड टियर डेटा के रूप में वर्गीकृत करें।


संक्षिप्त संस्करण में यह कुछ इस तरह दिखेगा


बकेट का नाम

गुण

ऐप

गरम/गर्म/ठंडा स्तर

JSON को यहां कॉपी और पेस्ट करें

स्पार्क, आइसबर्ग, ड्रेमियो

गर्म

बी

JSON को यहां कॉपी और पेस्ट करें

लोचदार

गरम

सी

JSON को यहां कॉपी और पेस्ट करें

इलास्टिक (स्नैपशॉट)

ठंडा


इस समय आपको डेटा लाइफ़साइकिल मैनेजमेंट के बारे में कुछ फ़ैसले लेने हैं और इस पर पूरा ध्यान दें क्योंकि यहाँ AWS शुल्क पर पैसे बचाने का एक शानदार तरीका है। प्रत्येक बकेट में ऑब्जेक्ट को हॉट, वार्म या कोल्ड के रूप में वर्गीकृत करें, इस आधार पर कि उन्हें कितनी बार एक्सेस किया जाता है । पैसे बचाने का एक शानदार तरीका कोल्ड टियर बकेट को सीधे S3 ग्लेशियर में माइग्रेट करना है - डाउनलोड करने के लिए फिर से अपलोड करने के लिए एग्जिट फ़ीस देने की कोई ज़रूरत नहीं है।


आपके द्वारा प्रत्यावर्तित किए जा रहे डेटा की मात्रा के आधार पर, आपके पास माइग्रेट करने का तरीका चुनने के लिए कुछ विकल्प हैं। हमारा सुझाव है कि आप नए MinIO क्लस्टर पर नए डेटा को लोड करें और उसके साथ काम करें, जबकि समय के साथ नए क्लस्टर में हॉट और वार्म डेटा की प्रतिलिपि बनाएँ। ऑब्जेक्ट्स की प्रतिलिपि बनाने के लिए आवश्यक समय और बैंडविड्थ की मात्रा, निश्चित रूप से, आपके द्वारा कॉपी की जा रही ऑब्जेक्ट्स की संख्या और आकार पर निर्भर करेगी।


यहाँ पर आपको AWS S3 से वापस भेजे जाने वाले कुल डेटा की गणना करना बहुत मददगार होगा। अपनी इन्वेंट्री देखें और उन सभी बकेट के आकार का योग करें जिन्हें हॉट और वार्म के रूप में वर्गीकृत किया गया है।


कुल हॉट और वार्म टियर डेटा = 1,534,096.7 जीबी

उपलब्ध बैंडविड्थ = 10 जीबीपीएस

न्यूनतम आवश्यक स्थानांतरण समय (कुल ऑब्जेक्ट आकार / उपलब्ध बैंडविड्थ) = 14.2 दिन


उपरोक्त कुल के आधार पर डेटा निकास शुल्क की गणना करें। मैं उपयोग कर रहा हूँ मूल्य सूची , लेकिन आपका संगठन AWS से छूट के लिए योग्य हो सकता है। मैं कनेक्शन बैंडविड्थ के रूप में 10 Gbps का भी उपयोग कर रहा हूं, लेकिन आपके पास इससे कम या ज्यादा बैंडविड्थ हो सकती है। अंत में, मैं इस धारणा से काम कर रहा हूं कि S3 डेटा का एक तिहाई हिस्सा केवल S3 ग्लेशियर डीप आर्काइव में स्थानांतरित किया जाएगा।


S3 ग्लेशियर के लिए कुल डेटा स्तरित = 767,048.337 GB

S3 से S3 ग्लेशियर स्थानांतरण शुल्क ($0.05/1000 ऑब्जेक्ट) = $3,773.11

S3 ग्लेशियर डीप आर्काइव मासिक संग्रहण शुल्क = $760


आगे बढ़ते हुए S3 ग्लेशियर डीप आर्काइव के उपयोग के लिए बजट बनाना न भूलें।


स्थानांतरित किया जाने वाला कुल डेटा = 1,534,096.7 जीबी

पहले 10 TB $0.09/GB = $900

अगले 40 TB के लिए $0.085/GB = $3,400

अगले 100 TB $0.07/GB पर = $70,000

150 TB से अधिक अतिरिक्त $0.05/GB = $69,205

कुल निकास शुल्क = $143,504


सरलता के लिए, उपरोक्त गणना में न तो प्रति ऑब्जेक्ट संचालन ($0.40/1m) का शुल्क शामिल है और न ही लिस्टिंग की लागत ($5/1m)। बहुत बड़ी प्रत्यावर्तन परियोजनाओं के लिए, हम नेटवर्क पर भेजने से पहले ऑब्जेक्ट को संपीड़ित भी कर सकते हैं, जिससे आपको निकास शुल्क की कुछ लागत की बचत होगी।


दूसरा विकल्प ऑब्जेक्ट्स को स्थानांतरित करने के लिए AWS स्नोबॉल का उपयोग करना है। स्नोबॉल डिवाइस प्रत्येक 80TB की होती है, इसलिए हमें पहले से पता है कि हमें अपने प्रत्यावर्तन प्रयास के लिए उनमें से 20 की आवश्यकता है। प्रति डिवाइस शुल्क में 10 दिन का उपयोग, साथ ही शिपिंग के लिए 2 दिन शामिल हैं। अतिरिक्त दिन $30/डिवाइस के लिए उपलब्ध हैं।


20 स्नोबॉल डिवाइस सेवा शुल्क ($300 प्रति) = $6,000

आर/टी शिपिंग (3-5 दिन में $400/डिवाइस) = $8,000

S3 डेटा आउट ($0.02/GB) = $30,682

कुल स्नोबॉल शुल्क = $38,981.93


AWS आपसे AWS सेवाओं को पढ़ने और लिखने के लिए मानक अनुरोध, भंडारण और डेटा स्थानांतरण दरों का शुल्क लेगा, जिसमें शामिल हैं अमेज़न एस3 और AWS कुंजी प्रबंधन सेवा (KMS) . इनके साथ काम करते समय कुछ और बातों पर भी विचार करना पड़ता है अमेज़न S3 स्टोरेज क्लासेस S3 एक्सपोर्ट जॉब के लिए, S3 से आपके स्नो फैमिली डिवाइस पर ट्रांसफर किए गए डेटा को लिस्ट, GET और अन्य ऑपरेशन के लिए मानक S3 शुल्क पर बिल किया जाता है। आपसे Amazon CloudWatch लॉग, Amazon CloudWatch मेट्रिक्स और Amazon CloudWatch इवेंट के लिए भी मानक दरें ली जाती हैं।


अब हम जानते हैं कि इस विशाल मात्रा में डेटा को माइग्रेट करने में कितना समय लगेगा और इसकी लागत क्या होगी। समय और शुल्क के संयोजन के आधार पर एक व्यावसायिक निर्णय लें कि कौन सी विधि आपकी आवश्यकताओं को पूरा करती है।


इस बिंदु पर, हम ऑन-प्रिमाइसेस या कोलोकेशन सुविधा पर मिनियो चलाने के लिए आवश्यक हार्डवेयर की आवश्यकताओं को भी जानते हैं। 1.5PB स्टोरेज के लिए ऊपर दी गई आवश्यकता को लें, डेटा वृद्धि का अनुमान लगाएं, और हमारे परामर्श लें अनुशंसित हार्डवेयर और कॉन्फ़िगरेशन पेज और अपने MinIO परिनियोजन के लिए सर्वोत्तम हार्डवेयर का चयन करना .


पहला कदम MinIO में अपने S3 बकेट को फिर से बनाना है। आपको यह करना ही होगा, चाहे आप ऑब्जेक्ट को माइग्रेट करने का कोई भी तरीका चुनें। जबकि S3 और MinIO दोनों सर्वर-साइड एन्क्रिप्शन का उपयोग करके ऑब्जेक्ट को स्टोर करते हैं, आपको एन्क्रिप्शन कुंजियों को माइग्रेट करने के बारे में चिंता करने की ज़रूरत नहीं है। आप अपनी पसंद के KMS से कनेक्ट करने के लिए इसका उपयोग कर सकते हैं एन्क्रिप्शन कुंजियों का प्रबंधन करने के लिए मिनियो केईएस इस तरह, आपके लिए नई कुंजियाँ स्वचालित रूप से उत्पन्न हो जाएंगी क्योंकि एन्क्रिप्टेड टेनेंट और बकेट मिनियो में बनाए जाते हैं।


आपके पास ऑब्जेक्ट कॉपी करने के लिए कई विकल्प हैं: बैच प्रतिकृति और mc mirror । मेरा पिछला ब्लॉग पोस्ट, AWS S3 से MinIO में कैसे वापस जाएँ दोनों विधियों के लिए विस्तृत निर्देश शामिल हैं। आप S3 से सीधे ऑन-प्रीम मिनियो में ऑब्जेक्ट कॉपी कर सकते हैं, या S3 को क्वेरी करने के लिए EC2 पर चल रहे अस्थायी मिनियो क्लस्टर का उपयोग कर सकते हैं और फिर ऑन-प्रीम मिनियो में मिरर कर सकते हैं।


आमतौर पर, ग्राहक बड़ी मात्रा में डेटा (1 पीबी से अधिक) स्थानांतरित करने के लिए हमारे द्वारा लिखे गए टूल को AWS स्नोबॉल या TD SYNNEX के डेटा माइग्रेशन हार्डवेयर और सेवाओं के साथ मिलाकर उपयोग करते हैं।


मिनियो ने हाल ही में स्नोबॉल विकल्प पेश करने के लिए वेस्टर्न डिजिटल और टीडी सिनेक्स के साथ साझेदारी की है। ग्राहक वेस्टर्न डिजिटल हार्डवेयर की डिलीवरी लेने के लिए विंडो शेड्यूल कर सकते हैं और किराये की अवधि के दौरान अपनी ज़रूरत के हिसाब से भुगतान कर सकते हैं। सबसे महत्वपूर्ण बात यह है कि यह सेवा किसी खास क्लाउड से जुड़ी नहीं है - जिसका मतलब है कि व्यवसाय डेटा को क्लाउड में, क्लाउड से और क्लाउड के पार ले जाने के लिए सेवा का उपयोग कर सकता है - सभी सर्वव्यापी S3 प्रोटोकॉल का उपयोग करके। सेवा के बारे में अतिरिक्त विवरण यहाँ पाया जा सकता है डेटा माइग्रेशन सेवा टीडी SYNNEX साइट पर पेज देखें।


बकेट मेटाडेटा, जिसमें नीतियां और बकेट गुण शामिल हैं, get-bucket का उपयोग करके पढ़ा जा सकता है S3 API कॉल और फिर MinIO में सेट अप करें। जब आप MinIO SUBNET के लिए साइन अप करते हैं, तो हमारे इंजीनियर आपके साथ मिलकर AWS S3 से इन सेटिंग्स को माइग्रेट करेंगे: एक्सेस कुंजी/सीक्रेट कुंजी, लाइफ़साइकिल मैनेजमेंट पॉलिसी, एन्क्रिप्शन, अनाम सार्वजनिक एक्सेस, अपरिवर्तनीयता और वर्जनिंग के आधार पर एक्सेस प्रबंधन। वर्जनिंग के बारे में एक नोट, AWS वर्जन ID आमतौर पर डेटा माइग्रेट होने पर संरक्षित नहीं होती है क्योंकि प्रत्येक वर्जन ID एक आंतरिक UUID है। यह ग्राहकों के लिए काफी हद तक कोई समस्या नहीं है क्योंकि ऑब्जेक्ट को आम तौर पर नाम से बुलाया जाता है। हालाँकि, अगर AWS वर्जन ID की आवश्यकता है, तो हमारे पास एक एक्सटेंशन है जो इसे MinIO में संरक्षित करेगा और हम इसे सक्षम करने में आपकी मदद करेंगे।


विशेष ध्यान दें IAM और बकेट नीतियाँ . S3 AWS के इंफ्रास्ट्रक्चर का एकमात्र हिस्सा नहीं होगा जिसे आप पीछे छोड़ देंगे। S3 बकेट एक्सेस करते समय आपके पास एप्लिकेशन के लिए बहुत सारे सर्विस अकाउंट होंगे। यह आपके सभी सर्विस अकाउंट को सूचीबद्ध करने और उनका ऑडिट करने का एक अच्छा समय होगा। फिर आप तय कर सकते हैं कि उन्हें अपने पहचान प्रदाता में फिर से बनाना है या नहीं। यदि आप स्वचालित करना चुनते हैं, तो बाहरी OpenID कनेक्ट IDP और AD/LDAP के साथ IAM जानकारी साझा करने के लिए Amazon Cognito का उपयोग करें।


डेटा लाइफ़साइकिल प्रबंधन पर विशेष ध्यान दें, जैसे कि ऑब्जेक्ट रिटेंशन, ऑब्जेक्ट लॉकिंग और आर्काइव/टियरिंग। लाइफ़साइकिल नियमों की मानव-पठनीय JSON सूची प्राप्त करने के लिए प्रत्येक बकेट पर get-bucket-lifecycle-configuration चलाएँ। आप MinIO कंसोल या MinIO क्लाइंट (mc) का उपयोग करके आसानी से AWS S3 सेटिंग्स को फिर से बना सकते हैं। get-object-legal-hold और get-object-lock-configuration जैसे कमांड का उपयोग करके उन ऑब्जेक्ट को इंगित करें जिन्हें विशेष सुरक्षा और शासन उपचार की आवश्यकता होती है।


जब हम जीवनचक्र के विषय पर बात कर रहे हैं, तो आइए एक पल के लिए बैकअप और आपदा रिकवरी के बारे में बात करते हैं। क्या आप बैकअप और आपदा रिकवरी के लिए प्रतिकृति बनाने के लिए एक अतिरिक्त MinIO क्लस्टर चाहते हैं?


AWS S3 से MinIO में ऑब्जेक्ट कॉपी होने के बाद, डेटा अखंडता को सत्यापित करना महत्वपूर्ण है। ऐसा करने का सबसे आसान तरीका S3 में पुरानी बकेट और MinIO पर नई बकेट के विरुद्ध mc diff चलाने के लिए MinIO क्लाइंट का उपयोग करना है। यह बकेट के बीच अंतर की गणना करेगा और केवल उन ऑब्जेक्ट की सूची लौटाएगा जो गायब हैं या अलग हैं। यह कमांड स्रोत और लक्ष्य बकेट के तर्क लेता है। अपनी सुविधा के लिए, आप बनाना चाह सकते हैं उपनाम S3 और MinIO के लिए ताकि आपको पूरा पता और क्रेडेंशियल टाइप करने की ज़रूरत न पड़े। उदाहरण के लिए:


 mc diff s3/bucket1 minio/bucket1


अच्छी खबर यह है कि आपको बस मौजूदा ऐप्स को नए MinIO एंडपॉइंट पर पॉइंट करना है। कॉन्फ़िगरेशन को समय-समय पर ऐप दर ऐप फिर से लिखा जा सकता है। ऑब्जेक्ट स्टोरेज में डेटा माइग्रेट करना फ़ाइल सिस्टम की तुलना में कम विघटनकारी है, बस नए क्लस्टर से पढ़ने/लिखने के लिए URL बदलें। ध्यान दें कि यदि आप पहले अपने अनुप्रयोगों का समर्थन करने के लिए AWS सेवाओं पर निर्भर थे, तो वे आपके डेटा सेंटर में मौजूद नहीं होंगे, इसलिए आपको उन्हें उनके ओपन-सोर्स समकक्ष से बदलना होगा और कुछ कोड फिर से लिखना होगा। उदाहरण के लिए, एथेना को स्पार्क SQL, अपाचे हाइव और प्रेस्टो, किनेसिस को अपाचे काफ्का और AWS ग्लू को अपाचे एयरफ्लो से बदला जा सकता है।


यदि आपका S3 माइग्रेशन संपूर्ण एप्लिकेशन को ऑन-प्रिमाइसेस पर ले जाने के बड़े प्रयास का हिस्सा है, तो संभावना है कि आपने इसका उपयोग किया है S3 ईवेंट सूचनाएँ नया डेटा आने पर डाउनस्ट्रीम सेवाओं को कॉल करने के लिए। अगर ऐसा है, तो डरें नहीं - MinIO सपोर्ट करता है घटना अधिसूचना साथ ही। यहां सबसे सीधा माइग्रेशन नोटिफिकेशन प्राप्त करने के लिए एक कस्टम वेबहुक को लागू करना होगा। हालाँकि, अगर आपको एक ऐसा गंतव्य चाहिए जो अधिक टिकाऊ और लचीला हो, तो Kafka या RabbitMQ जैसी मैसेजिंग सेवाओं का उपयोग करें। हम PostgreSQL और MySQL जैसे डेटाबेस में ईवेंट भेजने का भी समर्थन करते हैं।


अब जब आपने प्रत्यावर्तन पूरा कर लिया है, तो अब समय आ गया है कि आप अपना ध्यान स्टोरेज संचालन, निगरानी और अनुकूलन पर लगाएं। अच्छी खबर यह है कि MinIO के लिए किसी अनुकूलन की आवश्यकता नहीं है - हमने सॉफ़्टवेयर में ही अनुकूलन बनाया है ताकि आपको पता चले कि आपको अपने हार्डवेयर के लिए सबसे अच्छा प्रदर्शन मिल रहा है। आप निरंतर आधार पर संसाधन उपयोग और प्रदर्शन का आकलन करने के लिए अपने नए MinIO क्लस्टर की निगरानी शुरू करना चाहेंगे। MinIO एक्सपोज़ मेट्रिक्स एक प्रोमेथियस एंडपॉइंट के माध्यम से जिसे आप अपने में उपभोग कर सकते हैं निगरानी और चेतावनी देने का पसंदीदा मंच निगरानी के बारे में अधिक जानकारी के लिए कृपया देखें प्रोमेथियस और ग्राफाना के साथ मल्टी-क्लाउड मॉनिटरिंग और अलर्टिंग और ओपनटेलीमेट्री, फ्लास्क और प्रोमेथियस का उपयोग करके मिनियो के साथ मेट्रिक्स .


साथ सबनेट , जब बात आती है तो हम आपके साथ हैं दिन 2 ऑपरेशन मिनिओ के साथ। सब्सक्राइबर अपने क्लस्टर को सुचारू रूप से चलाने के लिए बिल्ट-इन ऑटोमेटेड ट्रबलशूटिंग टूल तक पहुँच प्राप्त करते हैं। उन्हें हमारे सपोर्ट पोर्टल के माध्यम से वास्तविक समय में असीमित, सीधे-से-इंजीनियर सहायता भी मिलती है। हम वार्षिक आर्किटेक्चर समीक्षा के साथ आपके ऑब्जेक्ट स्टोरेज निवेश को भविष्य-सुरक्षित बनाने में भी आपकी मदद करते हैं।

माइग्रेट करें और सहेजें

यह कोई रहस्य नहीं है कि क्लाउड प्रदाताओं को खाली चेक लिखने के दिन चले गए हैं। कई व्यवसाय वर्तमान में संभावित बचत का पता लगाने के लिए अपने क्लाउड खर्च का मूल्यांकन कर रहे हैं। अब आपके पास AWS S3 से MinIO में माइग्रेशन शुरू करने के लिए आवश्यक सभी चीजें हैं, जिसमें ठोस तकनीकी कदम और वित्तीय ढांचा शामिल है।


यदि आप प्रत्यावर्तन लागत बचत की संभावना के बारे में उत्साहित हैं, तो कृपया हमसे संपर्क करें [email protected] .


यहां भी दिखाई देता है.