हमारी पिछली पोस्ट का जवाब,
AWS S3 से डेटा वापस लाने के लिए, आपको इन सामान्य दिशानिर्देशों का पालन करना होगा:
डेटा आवश्यकताओं की समीक्षा करें: उन विशिष्ट बकेट और ऑब्जेक्ट्स का निर्धारण करें जिन्हें AWS S3 से वापस भेजा जाना है। सुनिश्चित करें कि आप बकेट-दर-बकेट आधार पर व्यावसायिक आवश्यकताओं और अनुपालन आवश्यकताओं को समझते हैं।
प्रत्यावर्तन गंतव्य की पहचान करें: आपने पहले ही MinIO में प्रत्यावर्तन करने का निर्णय ले लिया है, अब आप किसी ऑन-प्रिमाइसेस डेटा सेंटर या किसी अन्य क्लाउड प्रदाता या कोलोकेशन सुविधा में MinIO चलाने का विकल्प चुन सकते हैं। #1 से आवश्यकताओं का उपयोग करके, आप पूर्वानुमानित संग्रहण, स्थानांतरण और उपलब्धता आवश्यकताओं के लिए हार्डवेयर या इंस्टेंस का चयन करेंगे।
डेटा ट्रांसफ़र: AWS S3 से MinIO तक डेटा ट्रांसफ़र की योजना बनाएँ और उसे निष्पादित करें। बस MinIO के बिल्ट-इन बैच प्रतिकृति का उपयोग करें या MinIO क्लाइंट का उपयोग करके मिरर करें (देखें
डेटा एक्सेस और अनुमतियाँ: सुनिश्चित करें कि प्रति-बकेट के आधार पर प्रत्यावर्तित डेटा के लिए उचित एक्सेस नियंत्रण और अनुमतियाँ सेट की गई हैं। इसमें डेटा की सुरक्षा सुनिश्चित करने के लिए उपयोगकर्ता एक्सेस, प्रमाणीकरण और प्राधिकरण के प्रबंधन के लिए IAM और बकेट नीतियाँ शामिल हैं।
ऑब्जेक्ट लॉक: माइग्रेशन के बाद ऑब्जेक्ट लॉक रिटेंशन और कानूनी होल्ड नीतियों को बनाए रखना महत्वपूर्ण है। लक्ष्य ऑब्जेक्ट स्टोर को नियमों की व्याख्या उसी तरह करनी होगी जैसे Amazon S3 को करनी होती है। यदि आप अनिश्चित हैं, तो पूछें
डेटा जीवनचक्र प्रबंधन: प्रत्यावर्तित डेटा के लिए डेटा जीवनचक्र प्रबंधन रणनीति को परिभाषित और कार्यान्वित करें। इसमें प्रति-बकेट आधार पर अवधारण नीतियां, बैकअप और पुनर्प्राप्ति प्रक्रियाएं और डेटा संग्रह अभ्यास परिभाषित करना शामिल है।
डेटा सत्यापन: स्थानांतरित किए गए डेटा की अखंडता और पूर्णता सुनिश्चित करने के लिए उसे सत्यापित करें। यह सुनिश्चित करने के लिए आवश्यक जाँच और परीक्षण करें कि डेटा बिना किसी भ्रष्टाचार या हानि के सफलतापूर्वक स्थानांतरित हो गया है। स्थानांतरण के बाद, ऑब्जेक्ट का नाम, ETag और मेटाडेटा, चेकसम और ऑब्जेक्ट की संख्या सभी स्रोत और गंतव्य के बीच मेल खाते हैं।
एप्लिकेशन और वर्कफ़्लो अपडेट करें: अच्छी खबर यह है कि यदि आप अपने एप्लिकेशन बनाने के लिए क्लाउड-नेटिव सिद्धांतों का पालन करते हैं, तो आपको बस उन्हें नए MinIO एंडपॉइंट के लिए फिर से कॉन्फ़िगर करना होगा। हालाँकि, यदि आपके एप्लिकेशन और वर्कफ़्लो AWS पारिस्थितिकी तंत्र के साथ काम करने के लिए डिज़ाइन किए गए थे, तो प्रत्यावर्तित डेटा को समायोजित करने के लिए आवश्यक अपडेट करें। इसमें कॉन्फ़िगरेशन अपडेट करना, एकीकरण को फिर से कॉन्फ़िगर करना या कुछ मामलों में कोड को संशोधित करना शामिल हो सकता है।
निगरानी और अनुकूलन: इष्टतम प्रदर्शन, लागत दक्षता और डेटा प्रबंधन सर्वोत्तम प्रथाओं के पालन को सुनिश्चित करने के लिए प्रत्यावर्तित डेटा वातावरण की निरंतर निगरानी और अनुकूलन करें।
क्लाउड प्रत्यावर्तन के लिए बजट और योजना बनाते समय कई कारकों पर विचार करना होता है। सौभाग्य से, हमारे इंजीनियरों ने कई ग्राहकों के साथ ऐसा किया है और हमने आपके लिए एक विस्तृत योजना विकसित की है। हमारे पास ऐसे ग्राहक हैं जिन्होंने मुट्ठी भर वर्कलोड से लेकर सैकड़ों पेटाबाइट्स तक सब कुछ प्रत्यावर्तित किया है।
सबसे बड़ा नियोजन कार्य नेटवर्किंग, लीज्ड बैंडविड्थ, सर्वर हार्डवेयर, प्रत्यावर्तित न किए जाने वाले डेटा के लिए संग्रह लागत और अपने स्वयं के क्लाउड इंफ्रास्ट्रक्चर को प्रबंधित करने और बनाए रखने की मानवीय लागत के बारे में सोचना है। इन लागतों का अनुमान लगाएं और उनके लिए योजना बनाएं। क्लाउड प्रत्यावर्तन लागत में क्लाउड से डेटा सेंटर में डेटा ले जाने के लिए डेटा निकास शुल्क शामिल होगा। ये शुल्क जानबूझकर इतने अधिक हैं कि क्लाउड लॉक-इन को मजबूर कर देते हैं। इन उच्च निकास शुल्कों पर ध्यान दें - वे सार्वजनिक क्लाउड को छोड़ने के आर्थिक तर्क को पुष्ट करते हैं क्योंकि, जैसे-जैसे आपके द्वारा प्रबंधित किए जाने वाले डेटा की मात्रा बढ़ती है, निकास शुल्क भी बढ़ता है। इसलिए, यदि आप प्रत्यावर्तन करने जा रहे हैं, तो बाद में कार्रवाई करने के बजाय जल्द से जल्द कार्रवाई करना बेहतर है।
हम उस डेटा और मेटाडेटा पर ध्यान केंद्रित करने जा रहे हैं जिसे स्थानांतरित किया जाना चाहिए - यह प्रत्यावर्तन के लिए आवश्यक कार्य का अस्सी प्रतिशत है। मेटाडेटा में बकेट गुण और नीतियाँ (एक्सेस/सीक्रेट कुंजी, लाइफ़साइकिल प्रबंधन, एन्क्रिप्शन, अनाम सार्वजनिक पहुँच, ऑब्जेक्ट लॉकिंग और वर्शनिंग पर आधारित एक्सेस प्रबंधन) शामिल हैं।
आइए अभी डेटा (ऑब्जेक्ट) पर ध्यान केंद्रित करें। प्रत्येक नेमस्पेस के लिए जिसे आप माइग्रेट करना चाहते हैं, उन बकेट और ऑब्जेक्ट की सूची बनाएं जिन्हें आप स्थानांतरित करना चाहते हैं। यह संभव है कि आपकी DevOps टीम पहले से ही जानती हो कि कौन सी बकेट में महत्वपूर्ण वर्तमान डेटा है। आप इसका उपयोग भी कर सकते हैं
नाम स्थान | कुल बकेट | कुल वस्तु गणना | कुल ऑब्जेक्ट आकार (जीबी) | दैनिक कुल अपलोड (टीबी) | दैनिक कुल डाउनलोड (टीबी) |
---|---|---|---|---|---|
एनएस-001 | 166 | 47,751,258 | 980,014.48 | 50.04 | 14.80 |
एनएस-002 | 44 | 24,320,810 | 615,033.35 | 23.84 | 675.81 |
एनएस-002 | 648 | 88,207,041 | 601,298.91 | 328.25 | 620.93 |
एनएस-001 | 240 | 68,394,231 | 128,042.16 | 62.48 | 12.45 |
अगला चरण प्रत्येक बकेट के लिए नेमस्पेस और उसके गुणों को सूचीबद्ध करना है जिसे आप माइग्रेट करने जा रहे हैं। उस बकेट में डेटा संग्रहीत और पढ़ने वाले एप्लिकेशन को नोट करें। उपयोग के आधार पर, प्रत्येक बकेट को हॉट, वार्म या कोल्ड टियर डेटा के रूप में वर्गीकृत करें।
संक्षिप्त संस्करण में यह कुछ इस तरह दिखेगा
बकेट का नाम | गुण | ऐप | गरम/गर्म/ठंडा स्तर |
---|---|---|---|
ए | JSON को यहां कॉपी और पेस्ट करें | स्पार्क, आइसबर्ग, ड्रेमियो | गर्म |
बी | JSON को यहां कॉपी और पेस्ट करें | लोचदार | गरम |
सी | JSON को यहां कॉपी और पेस्ट करें | इलास्टिक (स्नैपशॉट) | ठंडा |
इस समय आपको डेटा लाइफ़साइकिल मैनेजमेंट के बारे में कुछ फ़ैसले लेने हैं और इस पर पूरा ध्यान दें क्योंकि यहाँ AWS शुल्क पर पैसे बचाने का एक शानदार तरीका है। प्रत्येक बकेट में ऑब्जेक्ट को हॉट, वार्म या कोल्ड के रूप में वर्गीकृत करें, इस आधार पर कि उन्हें कितनी बार एक्सेस किया जाता है । पैसे बचाने का एक शानदार तरीका कोल्ड टियर बकेट को सीधे S3 ग्लेशियर में माइग्रेट करना है - डाउनलोड करने के लिए फिर से अपलोड करने के लिए एग्जिट फ़ीस देने की कोई ज़रूरत नहीं है।
आपके द्वारा प्रत्यावर्तित किए जा रहे डेटा की मात्रा के आधार पर, आपके पास माइग्रेट करने का तरीका चुनने के लिए कुछ विकल्प हैं। हमारा सुझाव है कि आप नए MinIO क्लस्टर पर नए डेटा को लोड करें और उसके साथ काम करें, जबकि समय के साथ नए क्लस्टर में हॉट और वार्म डेटा की प्रतिलिपि बनाएँ। ऑब्जेक्ट्स की प्रतिलिपि बनाने के लिए आवश्यक समय और बैंडविड्थ की मात्रा, निश्चित रूप से, आपके द्वारा कॉपी की जा रही ऑब्जेक्ट्स की संख्या और आकार पर निर्भर करेगी।
यहाँ पर आपको AWS S3 से वापस भेजे जाने वाले कुल डेटा की गणना करना बहुत मददगार होगा। अपनी इन्वेंट्री देखें और उन सभी बकेट के आकार का योग करें जिन्हें हॉट और वार्म के रूप में वर्गीकृत किया गया है।
कुल हॉट और वार्म टियर डेटा = 1,534,096.7 जीबी |
---|
उपलब्ध बैंडविड्थ = 10 जीबीपीएस |
न्यूनतम आवश्यक स्थानांतरण समय (कुल ऑब्जेक्ट आकार / उपलब्ध बैंडविड्थ) = 14.2 दिन |
उपरोक्त कुल के आधार पर डेटा निकास शुल्क की गणना करें। मैं उपयोग कर रहा हूँ
S3 ग्लेशियर के लिए कुल डेटा स्तरित = 767,048.337 GB |
---|
S3 से S3 ग्लेशियर स्थानांतरण शुल्क ($0.05/1000 ऑब्जेक्ट) = $3,773.11 |
S3 ग्लेशियर डीप आर्काइव मासिक संग्रहण शुल्क = $760 |
आगे बढ़ते हुए S3 ग्लेशियर डीप आर्काइव के उपयोग के लिए बजट बनाना न भूलें।
स्थानांतरित किया जाने वाला कुल डेटा = 1,534,096.7 जीबी |
---|
पहले 10 TB $0.09/GB = $900 |
अगले 40 TB के लिए $0.085/GB = $3,400 |
अगले 100 TB $0.07/GB पर = $70,000 |
150 TB से अधिक अतिरिक्त $0.05/GB = $69,205 |
कुल निकास शुल्क = $143,504 |
सरलता के लिए, उपरोक्त गणना में न तो प्रति ऑब्जेक्ट संचालन ($0.40/1m) का शुल्क शामिल है और न ही लिस्टिंग की लागत ($5/1m)। बहुत बड़ी प्रत्यावर्तन परियोजनाओं के लिए, हम नेटवर्क पर भेजने से पहले ऑब्जेक्ट को संपीड़ित भी कर सकते हैं, जिससे आपको निकास शुल्क की कुछ लागत की बचत होगी।
दूसरा विकल्प ऑब्जेक्ट्स को स्थानांतरित करने के लिए AWS स्नोबॉल का उपयोग करना है। स्नोबॉल डिवाइस प्रत्येक 80TB की होती है, इसलिए हमें पहले से पता है कि हमें अपने प्रत्यावर्तन प्रयास के लिए उनमें से 20 की आवश्यकता है। प्रति डिवाइस शुल्क में 10 दिन का उपयोग, साथ ही शिपिंग के लिए 2 दिन शामिल हैं। अतिरिक्त दिन $30/डिवाइस के लिए उपलब्ध हैं।
20 स्नोबॉल डिवाइस सेवा शुल्क ($300 प्रति) = $6,000 |
---|
आर/टी शिपिंग (3-5 दिन में $400/डिवाइस) = $8,000 |
S3 डेटा आउट ($0.02/GB) = $30,682 |
कुल स्नोबॉल शुल्क = $38,981.93 |
AWS आपसे AWS सेवाओं को पढ़ने और लिखने के लिए मानक अनुरोध, भंडारण और डेटा स्थानांतरण दरों का शुल्क लेगा, जिसमें शामिल हैं
अब हम जानते हैं कि इस विशाल मात्रा में डेटा को माइग्रेट करने में कितना समय लगेगा और इसकी लागत क्या होगी। समय और शुल्क के संयोजन के आधार पर एक व्यावसायिक निर्णय लें कि कौन सी विधि आपकी आवश्यकताओं को पूरा करती है।
इस बिंदु पर, हम ऑन-प्रिमाइसेस या कोलोकेशन सुविधा पर मिनियो चलाने के लिए आवश्यक हार्डवेयर की आवश्यकताओं को भी जानते हैं। 1.5PB स्टोरेज के लिए ऊपर दी गई आवश्यकता को लें, डेटा वृद्धि का अनुमान लगाएं, और हमारे परामर्श लें
पहला कदम MinIO में अपने S3 बकेट को फिर से बनाना है। आपको यह करना ही होगा, चाहे आप ऑब्जेक्ट को माइग्रेट करने का कोई भी तरीका चुनें। जबकि S3 और MinIO दोनों सर्वर-साइड एन्क्रिप्शन का उपयोग करके ऑब्जेक्ट को स्टोर करते हैं, आपको एन्क्रिप्शन कुंजियों को माइग्रेट करने के बारे में चिंता करने की ज़रूरत नहीं है। आप अपनी पसंद के KMS से कनेक्ट करने के लिए इसका उपयोग कर सकते हैं
आपके पास ऑब्जेक्ट कॉपी करने के लिए कई विकल्प हैं: बैच प्रतिकृति और mc mirror
। मेरा पिछला ब्लॉग पोस्ट,
आमतौर पर, ग्राहक बड़ी मात्रा में डेटा (1 पीबी से अधिक) स्थानांतरित करने के लिए हमारे द्वारा लिखे गए टूल को AWS स्नोबॉल या TD SYNNEX के डेटा माइग्रेशन हार्डवेयर और सेवाओं के साथ मिलाकर उपयोग करते हैं।
मिनियो ने हाल ही में स्नोबॉल विकल्प पेश करने के लिए वेस्टर्न डिजिटल और टीडी सिनेक्स के साथ साझेदारी की है। ग्राहक वेस्टर्न डिजिटल हार्डवेयर की डिलीवरी लेने के लिए विंडो शेड्यूल कर सकते हैं और किराये की अवधि के दौरान अपनी ज़रूरत के हिसाब से भुगतान कर सकते हैं। सबसे महत्वपूर्ण बात यह है कि यह सेवा किसी खास क्लाउड से जुड़ी नहीं है - जिसका मतलब है कि व्यवसाय डेटा को क्लाउड में, क्लाउड से और क्लाउड के पार ले जाने के लिए सेवा का उपयोग कर सकता है - सभी सर्वव्यापी S3 प्रोटोकॉल का उपयोग करके। सेवा के बारे में अतिरिक्त विवरण यहाँ पाया जा सकता है
बकेट मेटाडेटा, जिसमें नीतियां और बकेट गुण शामिल हैं, get-bucket
का उपयोग करके पढ़ा जा सकता है
विशेष ध्यान दें
डेटा लाइफ़साइकिल प्रबंधन पर विशेष ध्यान दें, जैसे कि ऑब्जेक्ट रिटेंशन, ऑब्जेक्ट लॉकिंग और आर्काइव/टियरिंग। लाइफ़साइकिल नियमों की मानव-पठनीय JSON सूची प्राप्त करने के लिए प्रत्येक बकेट पर get-bucket-lifecycle-configuration
चलाएँ। आप MinIO कंसोल या MinIO क्लाइंट (mc) का उपयोग करके आसानी से AWS S3 सेटिंग्स को फिर से बना सकते हैं। get-object-legal-hold
और get-object-lock-configuration
जैसे कमांड का उपयोग करके उन ऑब्जेक्ट को इंगित करें जिन्हें विशेष सुरक्षा और शासन उपचार की आवश्यकता होती है।
जब हम जीवनचक्र के विषय पर बात कर रहे हैं, तो आइए एक पल के लिए बैकअप और आपदा रिकवरी के बारे में बात करते हैं। क्या आप बैकअप और आपदा रिकवरी के लिए प्रतिकृति बनाने के लिए एक अतिरिक्त MinIO क्लस्टर चाहते हैं?
AWS S3 से MinIO में ऑब्जेक्ट कॉपी होने के बाद, डेटा अखंडता को सत्यापित करना महत्वपूर्ण है। ऐसा करने का सबसे आसान तरीका S3 में पुरानी बकेट और MinIO पर नई बकेट के विरुद्ध mc diff
चलाने के लिए MinIO क्लाइंट का उपयोग करना है। यह बकेट के बीच अंतर की गणना करेगा और केवल उन ऑब्जेक्ट की सूची लौटाएगा जो गायब हैं या अलग हैं। यह कमांड स्रोत और लक्ष्य बकेट के तर्क लेता है। अपनी सुविधा के लिए, आप बनाना चाह सकते हैं
mc diff s3/bucket1 minio/bucket1
अच्छी खबर यह है कि आपको बस मौजूदा ऐप्स को नए MinIO एंडपॉइंट पर पॉइंट करना है। कॉन्फ़िगरेशन को समय-समय पर ऐप दर ऐप फिर से लिखा जा सकता है। ऑब्जेक्ट स्टोरेज में डेटा माइग्रेट करना फ़ाइल सिस्टम की तुलना में कम विघटनकारी है, बस नए क्लस्टर से पढ़ने/लिखने के लिए URL बदलें। ध्यान दें कि यदि आप पहले अपने अनुप्रयोगों का समर्थन करने के लिए AWS सेवाओं पर निर्भर थे, तो वे आपके डेटा सेंटर में मौजूद नहीं होंगे, इसलिए आपको उन्हें उनके ओपन-सोर्स समकक्ष से बदलना होगा और कुछ कोड फिर से लिखना होगा। उदाहरण के लिए, एथेना को स्पार्क SQL, अपाचे हाइव और प्रेस्टो, किनेसिस को अपाचे काफ्का और AWS ग्लू को अपाचे एयरफ्लो से बदला जा सकता है।
यदि आपका S3 माइग्रेशन संपूर्ण एप्लिकेशन को ऑन-प्रिमाइसेस पर ले जाने के बड़े प्रयास का हिस्सा है, तो संभावना है कि आपने इसका उपयोग किया है
अब जब आपने प्रत्यावर्तन पूरा कर लिया है, तो अब समय आ गया है कि आप अपना ध्यान स्टोरेज संचालन, निगरानी और अनुकूलन पर लगाएं। अच्छी खबर यह है कि MinIO के लिए किसी अनुकूलन की आवश्यकता नहीं है - हमने सॉफ़्टवेयर में ही अनुकूलन बनाया है ताकि आपको पता चले कि आपको अपने हार्डवेयर के लिए सबसे अच्छा प्रदर्शन मिल रहा है। आप निरंतर आधार पर संसाधन उपयोग और प्रदर्शन का आकलन करने के लिए अपने नए MinIO क्लस्टर की निगरानी शुरू करना चाहेंगे। MinIO एक्सपोज़
साथ
यह कोई रहस्य नहीं है कि क्लाउड प्रदाताओं को खाली चेक लिखने के दिन चले गए हैं। कई व्यवसाय वर्तमान में संभावित बचत का पता लगाने के लिए अपने क्लाउड खर्च का मूल्यांकन कर रहे हैं। अब आपके पास AWS S3 से MinIO में माइग्रेशन शुरू करने के लिए आवश्यक सभी चीजें हैं, जिसमें ठोस तकनीकी कदम और वित्तीय ढांचा शामिल है।
यदि आप प्रत्यावर्तन लागत बचत की संभावना के बारे में उत्साहित हैं, तो कृपया हमसे संपर्क करें
यहां भी दिखाई देता है.