এক AWS অ্যাকাউন্ট থেকে অন্য অ্যাকাউন্টে একটি Amazon S3 বাক্স স্থানান্তর করা সহজ মনে হয় ... যতক্ষণ না আপনি এটি চেষ্টা করুন ডাটা 4–5 terabytes যেমন, সাধারণ পদ্ধতিগুলি - অথবা ক্রস-অ্যাকাউন্ট পুনরাবৃত্তি - যেন প্রতিটি ফাইলকে বহিরাগত পাখির মাধ্যমে ইমেইল করা যায়. তারা গিগাবাইটের জন্য ঠিক আছে, কিন্তু আপনি টেরাবাইটের জন্য দিনগুলি অপেক্ষা করবেন (এবং আপনি চেয়ে বেশি পরিশোধ করবেন)। aws s3 cp এখানেই কোথায় আমার ক্ষেত্রে, এটা ছিল “স্বাভাবিক” উপায়ে, সম্পূর্ণরূপে স্বয়ংক্রিয় এবং নিরাপদ। AWS DataSync 10× faster বড় মাইগ্রেশন জন্য DataSync কেন? AWS DataSync ডেটা ভোল্টেজের জন্য তৈরি করা হয়েছে – terabytes থেকে petabytes পর্যন্ত ভাবুন। AWS পরিষেবাগুলির মধ্যে সরাসরি ডেটা স্থানান্তর করে (অথবা এন-প্রিম থেকে AWS) অন্তর্নিহিত স্টোরেজ ছাড়া। সমান্তরাল স্থানান্তর, তাদের অনেক দ্রুত করে তোলে। স্বয়ংক্রিয়ভাবে মেটাডাটা, অ্যাপ ট্যাগ এবং ACLs পরিচালনা করে। এটি ক্রমবর্ধমানভাবে চালানো যেতে পারে যাতে আপনি ন্যূনতম ডাউন টাইম সঙ্গে একটি কোটওভার করতে পারেন। যখন আপনি চলে যাবেন AWS অ্যাকাউন্টের মধ্যে, এই সুবিধাগুলি গুরুত্বপূর্ণ। 4–5 TB ধাপ ১: বাক্স প্রস্তুত করুন আমাদের প্রয়োজন দুটি বোতল: মূল AWS অ্যাকাউন্টে সূত্র বাক্স (যার মধ্যে আপনার 5 টিবি ডেটা থাকে)। টার্গেট AWS অ্যাকাউন্টে টার্গেট বাকেট। উভয়েরই দরকার: শুরু হওয়ার আগেই আছে। একই AWS অঞ্চলে থাকুন যদি আপনি সর্বোচ্চ গতি এবং কম খরচ চান। সংস্করণ বিকল্প (DataSync পুনরাবৃত্তি হিসাবে এটি প্রয়োজন হয় না)। ধাপ 2: IAM ভূমিকা এবং অনুমতি DataSync উত্স থেকে পড়ার এবং টার্গেটে লিখার অনুমতি প্রয়োজন - অ্যাকাউন্টগুলির মধ্যে. এখানে IAM ভূমিকা এবং বুকিং নীতিগুলি প্রবেশ করে। (Destination অ্যাকাউন্টের DataSync ভূমিকা এবং লগইন ব্যবহারকারী পাঠ এবং লিস্ট বস্তুগুলি অনুমতি) Source Bucket Policy { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::DIST_ACCOUNT_ID:role/datasync-role", "arn:aws:iam::DIST_ACCOUNT_ID:user/distention_account_logged_in_user" ] }, "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Resource": "arn:aws:s3:::source_bucket" }, { "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::DIST_ACCOUNT_ID:role/datasync-role", "arn:aws:iam::DIST_ACCOUNT_ID:user/distention_account_logged_in_user" ] }, "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObjectTagging", "s3:GetObjectTagging", "s3:PutObject" ], "Resource": "arn:aws:s3:::source_bucket/*" } ] } (এটি হল যে ভূমিকা DataSync সূত্র বাকেট অ্যাক্সেস করার জন্য ব্যবহার করে) Destination Account Role Policy { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "arn:aws:s3:::source_bucket" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObject", "s3:GetObjectTagging", "s3:ListBucket", "s3:PutObjectTagging" ], "Effect": "Allow", "Resource": "arn:aws:s3:::source_bucket/*" } ] } (DataSync ভূমিকা এবং টার্গেট অ্যাকাউন্ট ব্যবহারকারী ডেটা লিখতে অনুমতি) Destination Bucket Policy { "Version": "2008-10-17", "Statement": [ { "Sid": "DataSyncCreateS3LocationAndTaskAccess", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::DIST_ACCOUNT_ID:role/datasync-role", "arn:aws:iam::DIST_ACCOUNT_ID:user/distention_account_logged_in_user" ] }, "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObject", "s3:GetObjectTagging", "s3:PutObjectTagging" ], "Resource": [ "arn:aws:s3:::dist_bucket", "arn:aws:s3:::dist_bucket/*" ] } ] } ধাপ 3: DataSync অবস্থান তৈরি করুন আমাদের দুটি "স্থান" দরকার - একটি উৎস বাক্সের জন্য, অন্যটি গন্তব্যের জন্য। Source Bucket এর জন্য AWS CLI উদাহরণ: aws datasync create-location-s3 \ --s3-bucket-arn arn:aws:s3:::s3-source-01 \ --s3-storage-class STANDARD \ --s3-config BucketAccessRoleArn="arn:aws:iam::1234567890:role/datasync-role" \ --region us-east-1 তার নিজস্ব বাক্স ARN সঙ্গে টার্গেট বাক্সের জন্য পুনরাবৃত্তি। ধাপ 4: DataSync Task তৈরি করুন উভয় অবস্থানগুলি তৈরি করার পরে, উত্স অবস্থান থেকে লক্ষ্য অবস্থান থেকে বস্তুগুলি কপি করার জন্য একটি DataSync কাজ সেট করুন। আপনি করতে পারেন: মেটাডাটা কপি সক্ষম করুন (টাইমস্ট্যাম্প, ট্যাগ সংরক্ষণ করে)। চূড়ান্ত কোটওভার পর্যন্ত ক্রমবর্ধমান সমন্বয় চালান। ট্রান্সফার গতি এবং সম্পন্নতা পর্যবেক্ষণ করার জন্য কনসোল ব্যবহার করুন। ধাপ 5: ট্রান্সফারটি চালান এবং পর্যবেক্ষণ করুন জন্য , আপনি মিনিটের মধ্যে শেষ করতে পারবেন না, কিন্তু আপনি এখনও ঐতিহ্যগত পদ্ধতিগুলির তুলনায় একটি বিশাল উন্নতি দেখতে পাবেন। 4–5 TB বড় ট্রান্সফার জন্য টিপস একই অঞ্চল আরও সস্তা এবং দ্রুত - অঞ্চলগুলি দ্বারা স্থানান্তর হিসাব দ্বিগুণ করতে পারে। ক্রমবর্ধমান চালান আপনার বন্ধু - শেষ কোটওভার আগে DataSync একাধিকবার চালান, যাতে আপনি শুধুমাত্র সর্বশেষ চালান উপর পরিবর্তনগুলি কপি করতে পারেন। IAM কঠোর রাখুন - আপনি ক্রস অ্যাকাউন্ট অ্যাক্সেস খুলছেন; মাইগ্রেশন পরে এটি মুছে ফেলুন। মাইগ্রেশনটি ট্যাগ করুন, যাতে আপনি AWS Cost Explorer এ স্থানান্তর খরচগুলি ট্র্যাক করতে পারেন। চূড়ান্ত চিন্তা অভিবাসন AWS অ্যাকাউন্টগুলির মধ্যে নির্বাচন করতে ব্যবহৃত হয় অথবা DataSync এই সমীকরণ পরিবর্তন করে – আপনাকে ম্যানুয়াল স্ক্রিপ্ট বা ডাউন টাইম ছাড়া। 5 TB of S3 data ধীরে ধীরে ফ্রি-ইশ দ্রুত এবং দামি fast, secure, repeatable migrations এটি একটি উচ্চ চাপ পাইপলাইন ইনস্টল করার জন্য জল বোতল বহন থেকে আপগ্রেড হিসাবে ভাবুন. একবার আপনি এটি ব্যবহার করেছেন, আপনি ফিরে যাবেন না.
