AWS S3 থেকে MinIO-তে প্রত্যাবাসন করতে আপনার যা জানা দরকার

আমাদের আগের পোস্টের প্রতিক্রিয়া, কিভাবে AWS S3 থেকে MinIO এ প্রত্যাবাসন করা যায় , অসাধারণ ছিল - আমরা এন্টারপ্রাইজ থেকে কয়েক ডজন কল ফিল্ড করেছি যে আমাদের প্রত্যাবাসনের পরামর্শ চেয়েছে। আমরা এই নতুন পোস্টে সেই প্রতিক্রিয়াগুলিকে একত্রিত করেছি, যেখানে আমরা প্রত্যাবাসনের সাথে সম্পর্কিত খরচ এবং সঞ্চয়গুলিকে আরও গভীরভাবে খনন করি যাতে আপনার নিজের বিশ্লেষণকে একত্রিত করা সহজ হয়৷ ডেটা মাইগ্রেশন অনেকের জন্য একটি কঠিন কাজ। অনুশীলনে, তারা MinIO-তে আসার জন্য নতুন ডেটা টার্গেট করে এবং ক্লাউড থেকে পুরানো ডেটা স্থানান্তর করতে বা এটিকে জায়গায় রেখে এবং বৃদ্ধি না করতে তাদের মিষ্টি সময় নেয়।

প্রত্যাবাসন ওভারভিউ

AWS S3 থেকে ডেটা প্রত্যাবর্তন করতে, আপনি এই সাধারণ নির্দেশিকাগুলি অনুসরণ করবেন:

1. ডেটা প্রয়োজনীয়তা পর্যালোচনা করুন: নির্দিষ্ট বালতি এবং বস্তুগুলি নির্ধারণ করুন যেগুলি AWS S3 থেকে প্রত্যাবর্তন করতে হবে। নিশ্চিত করুন যে আপনি একটি বালতি দ্বারা বালতি ভিত্তিতে ব্যবসার চাহিদা এবং সম্মতি প্রয়োজনীয়তা বুঝতে পারেন।

   
   

2. প্রত্যাবাসন গন্তব্য শনাক্ত করুন: আপনি ইতিমধ্যেই MinIO-তে প্রত্যাবাসনের সিদ্ধান্ত নিয়েছেন, এখন আপনি একটি অন-প্রিমিসেস ডেটা সেন্টারে বা অন্য ক্লাউড প্রদানকারী বা কোলোকেশন সুবিধায় MinIO চালানো বেছে নিতে পারেন। # 1 থেকে প্রয়োজনীয়তা ব্যবহার করে, আপনি পূর্বাভাসিত স্টোরেজ, স্থানান্তর এবং প্রাপ্যতার প্রয়োজনের জন্য হার্ডওয়্যার বা দৃষ্টান্ত নির্বাচন করবেন।

   
   

3. ডেটা স্থানান্তর: AWS S3 থেকে MinIO-তে ডেটা স্থানান্তরের পরিকল্পনা এবং কার্যকর করুন৷ MinIO ক্লায়েন্ট ব্যবহার করে শুধু MinIO এর অন্তর্নির্মিত ব্যাচ প্রতিলিপি বা মিরর ব্যবহার করুন (দেখুন কিভাবে AWS S3 থেকে MinIO এ প্রত্যাবাসন করা যায় বিস্তারিত জানার জন্য). ডেটা স্থানান্তরের জন্য আপনি ব্যবহার করতে পারেন এমন বেশ কয়েকটি অতিরিক্ত পদ্ধতি রয়েছে, যেমন AWS DataSync, AWS Snowball বা TD SYNNEX ডেটা মাইগ্রেশন , অথবা সরাসরি AWS API ব্যবহার করে।

   
   

4. ডেটা অ্যাক্সেস এবং অনুমতি: নিশ্চিত করুন যে প্রতি-বালতি ভিত্তিতে প্রত্যাবর্তিত ডেটার জন্য উপযুক্ত অ্যাক্সেস নিয়ন্ত্রণ এবং অনুমতি সেট আপ করা হয়েছে। এতে ডেটার নিরাপত্তা নিশ্চিত করার জন্য ব্যবহারকারীর অ্যাক্সেস, প্রমাণীকরণ এবং অনুমোদন পরিচালনার জন্য IAM এবং বালতি নীতি অন্তর্ভুক্ত রয়েছে।

   
   

5. অবজেক্ট লক: মাইগ্রেশনের পর অবজেক্ট লক রিটেনশন এবং আইনি হোল্ড পলিসি সংরক্ষণ করা গুরুত্বপূর্ণ। টার্গেট অবজেক্ট স্টোরকে নিয়মগুলিকে Amazon S3 এর মতোই ব্যাখ্যা করতে হবে। আপনি অনিশ্চিত হলে, জন্য জিজ্ঞাসা কোহাসেট অ্যাসোসিয়েটস কমপ্লায়েন্স অ্যাসেসমেন্ট টার্গেট অবজেক্ট স্টোর বাস্তবায়নে।

   
   

6. ডেটা লাইফসাইকেল ম্যানেজমেন্ট: প্রত্যাবর্তিত ডেটার জন্য একটি ডেটা লাইফসাইকেল ম্যানেজমেন্ট কৌশল নির্ধারণ করুন এবং বাস্তবায়ন করুন। এর মধ্যে ধারণ নীতি, ব্যাকআপ এবং পুনরুদ্ধারের পদ্ধতি এবং প্রতি বালতি ভিত্তিতে ডেটা সংরক্ষণাগারের অনুশীলন অন্তর্ভুক্ত রয়েছে।

   
   

7. ডেটা যাচাইকরণ: স্থানান্তরিত ডেটার অখণ্ডতা এবং সম্পূর্ণতা নিশ্চিত করতে যাচাই করুন। কোনো দুর্নীতি বা ক্ষতি ছাড়াই ডেটা সফলভাবে স্থানান্তর করা হয়েছে তা নিশ্চিত করতে প্রয়োজনীয় চেক এবং পরীক্ষা করুন। স্থানান্তরের পরে, বস্তুর নাম, ETag এবং মেটাডেটা, চেকসাম এবং বস্তুর সংখ্যা সবই উৎস এবং গন্তব্যের মধ্যে মেলে।

   
   

8. অ্যাপ্লিকেশন এবং ওয়ার্কফ্লো আপডেট করুন: ভাল খবর হল যে আপনি যদি আপনার অ্যাপ্লিকেশনগুলি তৈরি করতে ক্লাউড-নেটিভ নীতিগুলি অনুসরণ করেন, তাহলে আপনাকে যা করতে হবে তা হল নতুন MinIO শেষ পয়েন্টের জন্য সেগুলি পুনরায় কনফিগার করুন৷ যাইহোক, যদি আপনার অ্যাপ্লিকেশন এবং ওয়ার্কফ্লোগুলি AWS ইকোসিস্টেমের সাথে কাজ করার জন্য ডিজাইন করা হয়, তাহলে প্রত্যাবর্তিত ডেটা মিটমাট করার জন্য প্রয়োজনীয় আপডেট করুন। এতে কনফিগারেশন আপডেট করা, ইন্টিগ্রেশন পুনরায় কনফিগার করা বা কিছু ক্ষেত্রে কোড পরিবর্তন করা জড়িত থাকতে পারে।

   
   

9. মনিটর এবং অপ্টিমাইজ করুন: সর্বোত্তম কর্মক্ষমতা, খরচ-দক্ষতা, এবং ডেটা পরিচালনার সর্বোত্তম অনুশীলনগুলির আনুগত্য নিশ্চিত করতে প্রত্যাবর্তিত ডেটা পরিবেশকে ক্রমাগত নিরীক্ষণ এবং অপ্টিমাইজ করুন।

প্রত্যাবাসন পদক্ষেপ

ক্লাউড প্রত্যাবাসনের জন্য বাজেট এবং পরিকল্পনা করার সময় বিবেচনা করার জন্য অনেকগুলি কারণ রয়েছে৷ সৌভাগ্যবশত, আমাদের প্রকৌশলীরা অনেক গ্রাহকের সাথে এটি করেছেন এবং আমরা আপনার জন্য একটি বিশদ পরিকল্পনা তৈরি করেছি। আমাদের গ্রাহক আছে যারা মুষ্টিমেয় কাজের চাপ থেকে শুরু করে শত শত পেটাবাইট পর্যন্ত সব কিছু ফিরিয়ে দিয়েছে।

সবচেয়ে বড় পরিকল্পনার কাজটি হল নেটওয়ার্কিং, লিজড ব্যান্ডউইথ, সার্ভার হার্ডওয়্যার, প্রত্যাবর্তনের জন্য নির্বাচিত নয় এমন ডেটার জন্য সংরক্ষণাগারের খরচ এবং আপনার নিজস্ব ক্লাউড অবকাঠামো পরিচালনা ও রক্ষণাবেক্ষণের জন্য মানবিক খরচ সম্পর্কে চিন্তা করা। এই খরচগুলি অনুমান করুন এবং তাদের জন্য পরিকল্পনা করুন। ক্লাউড প্রত্যাবাসন খরচের মধ্যে ক্লাউড থেকে ডেটা কেন্দ্রে ফিরিয়ে আনার জন্য ডেটা এগ্রেস ফি অন্তর্ভুক্ত থাকবে। ক্লাউড লক-ইন করতে বাধ্য করার জন্য এই ফিগুলি ইচ্ছাকৃতভাবে যথেষ্ট। এই উচ্চ প্রস্থান ফি নোট করুন - তারা পাবলিক ক্লাউড ছেড়ে যাওয়ার জন্য অর্থনৈতিক যুক্তিকে প্রমাণ করে কারণ, আপনার পরিচালনা করা ডেটার পরিমাণ বাড়ার সাথে সাথে প্রস্থান ফি বৃদ্ধি পায়। অতএব, আপনি যদি প্রত্যাবাসন করতে যাচ্ছেন, তবে এটি শীঘ্রই পদক্ষেপ নেওয়ার জন্য অর্থ প্রদান করে।

আমরা ডেটা এবং মেটাডেটার উপর ফোকাস করতে যাচ্ছি যেগুলি অবশ্যই সরানো উচিত - এটি প্রত্যাবাসনের জন্য প্রয়োজনীয় কাজের আশি শতাংশ। মেটাডেটা বালতি বৈশিষ্ট্য এবং নীতিগুলি (অ্যাক্সেস/গোপন কী, জীবনচক্র ব্যবস্থাপনা, এনক্রিপশন, বেনামী পাবলিক অ্যাক্সেস, অবজেক্ট লকিং এবং সংস্করণের উপর ভিত্তি করে অ্যাক্সেস ব্যবস্থাপনা) অন্তর্ভুক্ত করে।

আপাতত ডেটা (অবজেক্ট) এর উপর ফোকাস করা যাক। আপনি স্থানান্তর করতে চান এমন প্রতিটি নামস্থানের জন্য, আপনি যে বালতি এবং বস্তুগুলি সরাতে চান তার তালিকা নিন। সম্ভবত আপনার DevOps টিম ইতিমধ্যেই জানে যে কোন বালতিগুলি গুরুত্বপূর্ণ বর্তমান ডেটা ধারণ করে। আপনিও ব্যবহার করতে পারেন Amazon S3 ইনভেন্টরি . একটি উচ্চ স্তরে, এটি এমন কিছু দেখাবে:

পরবর্তী ধাপ হল নামস্থান দ্বারা তালিকাভুক্ত করা, প্রতিটি বালতি এবং প্রতিটি বালতির বৈশিষ্ট্য যা আপনি স্থানান্তর করতে যাচ্ছেন। নোট করুন যে অ্যাপ্লিকেশন(গুলি) সেই বালতিতে ডেটা সঞ্চয় করে এবং পড়ে৷ ব্যবহারের উপর ভিত্তি করে, প্রতিটি বালতি গরম, উষ্ণ বা ঠান্ডা স্তর ডেটা হিসাবে শ্রেণীবদ্ধ করুন।

একটি সংক্ষিপ্ত সংস্করণে, এটি এমন কিছু দেখাবে

এই মুহুর্তে ডেটা লাইফসাইকেল ম্যানেজমেন্ট সম্পর্কে আপনার কিছু সিদ্ধান্ত নিতে হবে এবং গভীর মনোযোগ দিতে হবে কারণ এখানে AWS ফিতে অর্থ বাঁচানোর একটি দুর্দান্ত উপায়। প্রতিটি বালতিতে থাকা বস্তুগুলিকে কত ঘন ঘন অ্যাক্সেস করা হয় তার উপর ভিত্তি করে গরম, উষ্ণ বা ঠান্ডা হিসাবে শ্রেণীবদ্ধ করুন। অর্থ সঞ্চয় করার একটি দুর্দান্ত জায়গা হল কোল্ড টিয়ার বালতিগুলিকে সরাসরি S3 হিমবাহে স্থানান্তর করা - আবার আপলোড করার জন্য ডাউনলোড করার জন্য প্রস্থান ফি নেওয়ার কোনও কারণ নেই৷

আপনি যে পরিমাণ ডেটা প্রত্যাবাসন করছেন তার উপর নির্ভর করে, কীভাবে স্থানান্তর করবেন তা বেছে নেওয়ার জন্য আপনার কাছে কয়েকটি বিকল্প রয়েছে। আমরা সুপারিশ করি যে আপনি সময়ের সাথে নতুন ক্লাস্টারে গরম এবং উষ্ণ ডেটা অনুলিপি করার সময় নতুন MinIO ক্লাস্টারে নতুন ডেটা লোড করুন এবং কাজ করুন৷ বস্তুর অনুলিপি করার জন্য প্রয়োজনীয় সময় এবং ব্যান্ডউইথের পরিমাণ অবশ্যই, আপনি যে বস্তুগুলি অনুলিপি করছেন তার সংখ্যা এবং আকারের উপর নির্ভর করবে।

আপনি AWS S3 থেকে প্রত্যাবর্তন করতে যাচ্ছেন এমন মোট ডেটা গণনা করা এখানে খুবই সহায়ক হবে। আপনার জায় দেখুন এবং গরম এবং উষ্ণ হিসাবে শ্রেণীবদ্ধ করা সমস্ত বালতিগুলির আকার মোট করুন৷

উপরের মোটের উপর ভিত্তি করে ডেটা প্রস্থান ফি গণনা করুন। আমি ব্যাবহার করছি তালিকা মূল্য , কিন্তু আপনার প্রতিষ্ঠান AWS থেকে ছাড়ের জন্য যোগ্য হতে পারে। আমি সংযোগ ব্যান্ডউইথ হিসাবে 10 Gbps ব্যবহার করছি, তবে আপনার হাতে কম বা বেশি থাকতে পারে। অবশেষে, আমি এই অনুমান থেকে কাজ করছি যে S3 ডেটার এক-তৃতীয়াংশ শুধুমাত্র S3 গ্লেসিয়ার ডিপ আর্কাইভে স্থানান্তরিত হবে।

S3 গ্লেসিয়ার ডিপ আর্কাইভ ব্যবহারের জন্য বাজেট করতে ভুলবেন না।

সরলতার খাতিরে, উপরোক্ত গণনার মধ্যে প্রতি অবজেক্ট অপারেশনের জন্য ফি ($0.40/1m) বা তালিকাভুক্তির খরচ ($5/1m) অন্তর্ভুক্ত নেই। খুব বড় প্রত্যাবাসন প্রকল্পগুলির জন্য, আমরা নেটওয়ার্ক জুড়ে পাঠানোর আগে বস্তুগুলিকে সংকুচিত করতে পারি, যা আপনাকে প্রস্থান ফি খরচের কিছু সঞ্চয় করে।

আরেকটি বিকল্প হল বস্তু স্থানান্তর করতে AWS স্নোবল ব্যবহার করা। স্নোবল ডিভাইস প্রতিটি 80TB, তাই আমরা সামনে জানি যে আমাদের প্রত্যাবাসন প্রচেষ্টার জন্য আমাদের তাদের মধ্যে 20 টি প্রয়োজন। প্রতি-ডিভাইস ফিতে 10 দিনের ব্যবহার এবং শিপিংয়ের জন্য 2 দিন অন্তর্ভুক্ত রয়েছে। অতিরিক্ত দিন $30/ডিভাইসের জন্য উপলব্ধ।

AWS আপনাকে স্ট্যান্ডার্ড রিকোয়েস্ট, স্টোরেজ, এবং ডাটা ট্রান্সফার রেট চার্জ করবে যাতে AWS পরিষেবাগুলি থেকে পড়তে এবং লিখতে হয় আমাজন S3 এবং AWS কী ম্যানেজমেন্ট সার্ভিস (KMS) . সাথে কাজ করার সময় আরও বিবেচ্য বিষয় রয়েছে Amazon S3 স্টোরেজ ক্লাস . S3 রপ্তানি কাজের জন্য, S3 থেকে আপনার স্নো ফ্যামিলি ডিভাইসে স্থানান্তরিত ডেটা LIST, GET এবং অন্যান্য ক্রিয়াকলাপের জন্য স্ট্যান্ডার্ড S3 চার্জে বিল করা হয়। অ্যামাজন ক্লাউডওয়াচ লগ, অ্যামাজন ক্লাউডওয়াচ মেট্রিক্স এবং অ্যামাজন ক্লাউডওয়াচ ইভেন্টগুলির জন্য আপনাকে স্ট্যান্ডার্ড রেট চার্জ করা হয়।

এখন আমরা জানি এই বিপুল পরিমাণ ডেটা এবং খরচ স্থানান্তর করতে কতক্ষণ লাগবে। সময় এবং ফি এর সংমিশ্রণের উপর ভিত্তি করে কোন পদ্ধতিটি আপনার চাহিদা পূরণ করে তা একটি ব্যবসায়িক সিদ্ধান্ত নিন।

এই মুহুর্তে, আমরা মিনিও অন-প্রিম বা কোলোকেশন সুবিধায় চালানোর জন্য প্রয়োজনীয় হার্ডওয়্যারের প্রয়োজনীয়তাও জানি। 1.5PB স্টোরেজের জন্য উপরের প্রয়োজনীয়তা নিন, ডেটা বৃদ্ধির অনুমান করুন এবং আমাদের সাথে পরামর্শ করুন প্রস্তাবিত হার্ডওয়্যার এবং কনফিগারেশন পৃষ্ঠা এবং আপনার MinIO স্থাপনার জন্য সেরা হার্ডওয়্যার নির্বাচন করা .

প্রথম ধাপ হল MinIO-তে আপনার S3 বালতি পুনরায় তৈরি করা। আপনি বস্তুগুলিকে স্থানান্তর করতে বেছে নিন তা নির্বিশেষে আপনাকে এটি করতে হবে। S3 এবং MinIO উভয়ই সার্ভার-সাইড এনক্রিপশন ব্যবহার করে বস্তু সঞ্চয় করে, আপনাকে এনক্রিপশন কী মাইগ্রেট করার বিষয়ে চিন্তা করতে হবে না। আপনি ব্যবহার করে আপনার পছন্দের KMS এর সাথে সংযোগ করতে পারেন এনক্রিপশন কী পরিচালনা করতে MinIO KES . এইভাবে, আপনার জন্য নতুন কীগুলি স্বয়ংক্রিয়ভাবে তৈরি হবে কারণ এনক্রিপ্ট করা ভাড়াটে এবং বালতি MinIO-তে তৈরি হয়৷

বস্তু অনুলিপি করার জন্য আপনার কাছে একাধিক বিকল্প রয়েছে: ব্যাচ প্রতিলিপি এবং mc mirror । আমার আগের ব্লগ পোস্ট, কিভাবে AWS S3 থেকে MinIO এ প্রত্যাবাসন করা যায় উভয় পদ্ধতির জন্য বিস্তারিত নির্দেশাবলী অন্তর্ভুক্ত। আপনি সরাসরি S3 থেকে অন-প্রিম MinIO-তে অবজেক্ট কপি করতে পারেন, অথবা S3 কে জিজ্ঞাসা করতে EC2 এ চলমান একটি অস্থায়ী MinIO ক্লাস্টার ব্যবহার করতে পারেন এবং তারপরে অন-প্রিম MinIO-তে মিরর করতে পারেন।

সাধারণত, গ্রাহকরা আমাদের লেখা টুলগুলি ব্যবহার করে AWS Snowball বা TD SYNNEX-এর ডেটা মাইগ্রেশন হার্ডওয়্যার এবং পরিষেবাগুলির সাথে আরও বেশি পরিমাণে ডেটা সরানোর জন্য (1 PB-এর বেশি)।

MinIO সম্প্রতি ওয়েস্টার্ন ডিজিটাল এবং TD SYNNEX-এর সাথে অংশীদারিত্ব করেছে একটি স্নোবল বিকল্পের জন্য। গ্রাহকরা ওয়েস্টার্ন ডিজিটাল হার্ডওয়্যারের ডেলিভারি নিতে এবং ভাড়ার সময়কালে তাদের যা প্রয়োজন তার জন্য অর্থ প্রদানের জন্য উইন্ডোগুলি নির্ধারণ করতে পারেন। আরও গুরুত্বপূর্ণ, পরিষেবাটি একটি নির্দিষ্ট ক্লাউডের সাথে আবদ্ধ নয় - যার অর্থ ব্যবসাটি পরিষেবাটি ব্যবহার করতে পারে ডেটা স্থানান্তর করতে, এর বাইরে এবং ক্লাউড জুড়ে - সবই সর্বব্যাপী S3 প্রোটোকল ব্যবহার করে৷ পরিষেবার অতিরিক্ত বিবরণ পাওয়া যাবে ডেটা মাইগ্রেশন পরিষেবা TD SYNNEX সাইটের পৃষ্ঠা।

বালতি মেটাডেটা, নীতি এবং বাকেট বৈশিষ্ট্য সহ, get-bucket ব্যবহার করে পড়া যেতে পারে S3 API কল এবং তারপর MinIO তে সেট আপ করুন। আপনি যখন MinIO SUBNET-এর জন্য সাইন আপ করেন, তখন আমাদের প্রকৌশলীরা AWS S3 থেকে এই সেটিংস স্থানান্তর করতে আপনার সাথে কাজ করবে: অ্যাক্সেস কী/গোপন কী, জীবনচক্র ব্যবস্থাপনা নীতি, এনক্রিপশন, বেনামী পাবলিক অ্যাক্সেস, অপরিবর্তনীয়তা এবং সংস্করণের উপর ভিত্তি করে অ্যাক্সেস ব্যবস্থাপনা। সংস্করণ সম্পর্কে একটি নোট, AWS সংস্করণ আইডি সাধারণত সংরক্ষণ করা হয় না যখন ডেটা স্থানান্তরিত হয় কারণ প্রতিটি সংস্করণ আইডি একটি অভ্যন্তরীণ UUID। এটি মূলত গ্রাহকদের জন্য একটি সমস্যা নয় কারণ বস্তুগুলিকে সাধারণত নামে ডাকা হয়। যাইহোক, যদি AWS সংস্করণ ID প্রয়োজন হয়, তাহলে আমাদের কাছে একটি এক্সটেনশন আছে যা এটিকে MinIO-তে সংরক্ষণ করবে এবং আমরা আপনাকে এটি সক্ষম করতে সাহায্য করব।

বিশেষ মনোযোগ দিন আইএএম এবং বালতি নীতি . S3 AWS-এর অবকাঠামোর একমাত্র অংশ হতে যাচ্ছে না যা আপনি রেখে গেছেন। S3 বালতিগুলি অ্যাক্সেস করার সময় অ্যাপ্লিকেশনগুলি ব্যবহার করার জন্য আপনার কাছে প্রচুর পরিষেবা অ্যাকাউন্ট থাকবে৷ আপনার সমস্ত পরিষেবা অ্যাকাউন্টের তালিকা এবং অডিট করার জন্য এটি একটি ভাল সময় হবে৷ তারপরে আপনি সিদ্ধান্ত নিতে পারেন যে আপনার পরিচয় প্রদানকারীতে সেগুলি পুনরায় তৈরি করবেন কিনা। আপনি যদি স্বয়ংক্রিয়ভাবে বেছে নেন, তাহলে বাহ্যিক OpenID কানেক্ট IDPs এবং AD/LDAP-এর সাথে IAM তথ্য শেয়ার করতে Amazon Cognito ব্যবহার করুন।

ডেটা লাইফসাইকেল ম্যানেজমেন্টে বিশেষ মনোযোগ দিন, যেমন অবজেক্ট রিটেনশন, অবজেক্ট লকিং এবং আর্কাইভ/টায়ারিং। লাইফসাইকেল নিয়মের একটি মানব-পাঠযোগ্য JSON তালিকা পেতে প্রতিটি বালতিতে একটি get-bucket-lifecycle-configuration চালান। আপনি MinIO কনসোল বা MinIO ক্লায়েন্ট (mc) ব্যবহার করে সহজেই AWS S3 সেটিংস পুনরায় তৈরি করতে পারেন। বিশেষ নিরাপত্তা এবং প্রশাসনিক চিকিত্সার প্রয়োজন এমন বস্তুগুলিকে চিহ্নিত করতে get-object-legal-hold এবং get-object-lock-configuration মতো কমান্ডগুলি ব্যবহার করুন।

যখন আমরা জীবনচক্রের বিষয়ে আছি, তখন আসুন কিছুক্ষণের জন্য ব্যাকআপ এবং দুর্যোগ পুনরুদ্ধার সম্পর্কে কথা বলি। আপনি কি ব্যাকআপ এবং দুর্যোগ পুনরুদ্ধারের জন্য একটি অতিরিক্ত MinIO ক্লাস্টার প্রতিলিপি করতে চান?

বস্তুগুলি AWS S3 থেকে MinIO-তে অনুলিপি করার পরে, ডেটা অখণ্ডতা যাচাই করা গুরুত্বপূর্ণ৷ এটি করার সবচেয়ে সহজ উপায় হল MinIO ক্লায়েন্ট ব্যবহার করে S3-এ পুরানো বাকেট এবং MinIO-তে নতুন বাকেটের বিপরীতে mc diff চালানো। এটি বালতিগুলির মধ্যে পার্থক্য গণনা করবে এবং শুধুমাত্র অনুপস্থিত বা ভিন্ন বস্তুগুলির একটি তালিকা প্রদান করবে। এই কমান্ডটি উৎস এবং লক্ষ্য বালতির আর্গুমেন্ট নেয়। আপনার সুবিধার জন্য, আপনি তৈরি করতে চাইতে পারেন উপনাম S3 এবং MinIO এর জন্য যাতে আপনাকে সম্পূর্ণ ঠিকানা এবং শংসাপত্রগুলি টাইপ করতে হবে না। উদাহরণ স্বরূপ:

 mc diff s3/bucket1 minio/bucket1

দুর্দান্ত খবর হল যে আপনাকে যা করতে হবে তা হল বিদ্যমান অ্যাপগুলিকে নতুন MinIO এন্ডপয়েন্টে নির্দেশ করা। কনফিগারেশনগুলি একটি নির্দিষ্ট সময়ের মধ্যে অ্যাপ দ্বারা অ্যাপটি পুনরায় লেখা হতে পারে। অবজেক্ট স্টোরেজে ডেটা স্থানান্তর করা একটি ফাইল সিস্টেমের তুলনায় কম বিঘ্নজনক, শুধুমাত্র একটি নতুন ক্লাস্টার থেকে পড়তে/লিখতে URL পরিবর্তন করুন। মনে রাখবেন যে আপনি যদি আপনার অ্যাপ্লিকেশনগুলিকে সমর্থন করার জন্য পূর্বে AWS পরিষেবাগুলির উপর নির্ভর করে থাকেন তবে সেগুলি আপনার ডেটা সেন্টারে উপস্থিত থাকবে না, তাই আপনাকে তাদের ওপেন-সোর্স সমতুল্য দিয়ে প্রতিস্থাপন করতে হবে এবং কিছু কোড পুনরায় লিখতে হবে৷ উদাহরণস্বরূপ, এথেনাকে স্পার্ক এসকিউএল, অ্যাপাচি হাইভ এবং প্রেস্টো, অ্যাপাচি কাফকা দিয়ে কাইনেসিস এবং এডাব্লুএস গ্লু অ্যাপাচি এয়ারফ্লো দিয়ে প্রতিস্থাপিত করা যেতে পারে।

যদি আপনার S3 মাইগ্রেশন একটি সম্পূর্ণ অ্যাপ্লিকেশন অন-প্রিম স্থানান্তর করার একটি বৃহত্তর প্রচেষ্টার অংশ হয়, তাহলে আপনি ব্যবহার করার সম্ভাবনা রয়েছে S3 ইভেন্ট বিজ্ঞপ্তি নতুন ডেটা আসার সময় ডাউনস্ট্রিম পরিষেবাগুলিতে কল করতে। যদি এটি হয়, তাহলে ভয় পাবেন না - MinIO সমর্থন করে ইভেন্ট বিজ্ঞপ্তি যেমন. এখানে সবচেয়ে সোজা মাইগ্রেশন হবে বিজ্ঞপ্তি পাওয়ার জন্য একটি কাস্টম ওয়েবহুক প্রয়োগ করা। যাইহোক, আপনার যদি এমন একটি গন্তব্যের প্রয়োজন হয় যা আরও টেকসই এবং স্থিতিস্থাপক হয়, তাহলে কাফকা বা RabbitMQ এর মতো মেসেজিং পরিষেবাগুলি ব্যবহার করুন৷ আমরা PostgreSQL এবং MySQL-এর মতো ডেটাবেসে ইভেন্ট পাঠানো সমর্থন করি।

এখন যেহেতু আপনি প্রত্যাবাসন সম্পন্ন করেছেন, এটি স্টোরেজ অপারেশন, পর্যবেক্ষণ এবং অপ্টিমাইজেশানে আপনার মনোযোগ দেওয়ার সময়। ভাল খবর হল যে MinIO-এর জন্য কোন অপ্টিমাইজেশানের প্রয়োজন নেই – আমরা সফ্টওয়্যারটিতে অপ্টিমাইজেশন তৈরি করেছি যাতে আপনি জানেন যে আপনি আপনার হার্ডওয়্যারের জন্য সেরা পারফরম্যান্স পাচ্ছেন৷ আপনি একটি চলমান ভিত্তিতে সম্পদ ব্যবহার এবং কর্মক্ষমতা মূল্যায়ন করতে আপনার নতুন MinIO ক্লাস্টার নিরীক্ষণ শুরু করতে চাইবেন। MinIO প্রকাশ করে মেট্রিক্স একটি প্রমিথিউস এন্ডপয়েন্টের মাধ্যমে যা আপনি আপনার মধ্যে গ্রাস করতে পারেন মনিটরিং এবং পছন্দের সতর্কতা প্ল্যাটফর্ম . মনিটরিং সম্পর্কে আরো জন্য, দেখুন প্রমিথিউস এবং গ্রাফানার সাথে মাল্টি-ক্লাউড মনিটরিং এবং সতর্কতা এবং OpenTelemetry, Flask, এবং Prometheus ব্যবহার করে MinIO এর সাথে মেট্রিক্স .

সঙ্গে সাবনেট , এটা আসে যখন আমরা আপনার পিছনে আছে দিন 2 অপারেশন MinIO এর সাথে। গ্রাহকরা বিল্ট-ইন স্বয়ংক্রিয় সমস্যা সমাধানের সরঞ্জামগুলিতে অ্যাক্সেস লাভ করে যাতে তাদের ক্লাস্টারগুলি মসৃণভাবে চলতে থাকে। তারা আমাদের সহায়তা পোর্টালের মাধ্যমে রিয়েল-টাইমে সীমাহীন, সরাসরি-থেকে-ইঞ্জিনিয়ার সমর্থন পান। এছাড়াও আমরা একটি বার্ষিক আর্কিটেকচার পর্যালোচনার মাধ্যমে আপনার অবজেক্ট স্টোরেজ বিনিয়োগের ভবিষ্যত প্রমাণ করতে সহায়তা করি।

মাইগ্রেট করুন এবং সংরক্ষণ করুন

ক্লাউড সরবরাহকারীদের কাছে ফাঁকা চেক লেখার দিনগুলি চলে গেছে তা গোপনীয় নয়। অনেক ব্যবসা বর্তমানে সম্ভাব্য সঞ্চয় খুঁজে পেতে তাদের ক্লাউড ব্যয় মূল্যায়ন করছে। এখন আপনার কাছে AWS S3 থেকে MinIO-তে আপনার মাইগ্রেশন শুরু করার জন্য প্রয়োজনীয় সমস্ত কিছু রয়েছে, যার মধ্যে রয়েছে সুনির্দিষ্ট প্রযুক্তিগত পদক্ষেপ এবং একটি আর্থিক কাঠামো।

আপনি যদি প্রত্যাবাসন খরচ সঞ্চয়ের সম্ভাবনা সম্পর্কে উত্তেজিত হন, তাহলে অনুগ্রহ করে আমাদের সাথে যোগাযোগ করুন এখানে [email protected] .