التحرك من حساب Amazon S3 من حساب AWS إلى آخر يبدو بسيطًا ... حتى يمكنك محاولة ذلك مع من البيانات 4–5 terabytes في هذا الصدد ، فإن الطرق التقليدية - أو إعادة الترجمة عبر الحساب - تشعر بأنك تحرص على إرسال كل ملف منفصل عن طريق الملايين من الملفات.إنها جيدة للغازابلات، ولكن سوف تكون في انتظار أيام (ودفعه أكثر مما تريده) للغازابلات. aws s3 cp هذا هو المكان الذي في هذه الحالة، كانت بدلا من الطريقة "العادية" ، تلقائيا و آمنة تماما. AWS DataSync 10× faster لماذا DataSync لتنفيذ الهجرة الكبيرة؟ تم إنشاؤ AWS DataSync لحركة البيانات على نطاق واسع - تفكر في تيرابيتات إلى بوتابيتات. يحرك البيانات مباشرة بين خدمات AWS (أو من On-prem إلى AWS) دون تخزين منتظم. تحويلات متوازنة ، مما يجعلها أسرع بكثير. يعمل تلقائيًا مع الملفات، والأشياء، و ACLs. يمكن القيام به بشكل متزايد حتى تتمكن من إجراء تعديل مع وقت الإقلاع الأدنى. عندما تتحرك بين حسابات AWS، هذه الفوائد مهمة. 4–5 TB الخطوة الأولى: قم بتصميم الحبوب نحن بحاجة إلى اثنين من الحبوب: خزان مصدر في حساب AWS الأصلي (الذي يحتوي على 5 TB من البيانات الخاصة بك). حزمة الهدف في حساب AWS الهدف. يجب أن يكون كل منهما: هناك قبل البدء. أن تكون في نفس منطقة AWS إذا كنت تريد أقصى سرعة وأقل تكلفة. تحتاج إلى إصدارات إلزاميًا (DataSync لا يتطلب ذلك مثل إعادة التدوير). الخطوة 2: دورة IAM والتوصيات يحتاج DataSync إلى إمكانية قراءتها من المصدر وتسجيلها إلى الهدف - عبر الحسابات. (سمح لملف حساب الهدف DataSync ومستخدم مستند إلى القراءة والتصنيف) Source Bucket Policy { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::DIST_ACCOUNT_ID:role/datasync-role", "arn:aws:iam::DIST_ACCOUNT_ID:user/distention_account_logged_in_user" ] }, "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Resource": "arn:aws:s3:::source_bucket" }, { "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::DIST_ACCOUNT_ID:role/datasync-role", "arn:aws:iam::DIST_ACCOUNT_ID:user/distention_account_logged_in_user" ] }, "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObjectTagging", "s3:GetObjectTagging", "s3:PutObject" ], "Resource": "arn:aws:s3:::source_bucket/*" } ] } (هذه هي الميزات التي تستخدمها DataSync لمواصلة الوصول إلى مخزن المصدر) Destination Account Role Policy { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "arn:aws:s3:::source_bucket" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObject", "s3:GetObjectTagging", "s3:ListBucket", "s3:PutObjectTagging" ], "Effect": "Allow", "Resource": "arn:aws:s3:::source_bucket/*" } ] } (تسمح لخدمة DataSync و مستخدمة حساب الهدف بإدخال البيانات) Destination Bucket Policy { "Version": "2008-10-17", "Statement": [ { "Sid": "DataSyncCreateS3LocationAndTaskAccess", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::DIST_ACCOUNT_ID:role/datasync-role", "arn:aws:iam::DIST_ACCOUNT_ID:user/distention_account_logged_in_user" ] }, "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObject", "s3:GetObjectTagging", "s3:PutObjectTagging" ], "Resource": [ "arn:aws:s3:::dist_bucket", "arn:aws:s3:::dist_bucket/*" ] } ] } الخطوة 3: إنشاء مواقع DataSync نحن بحاجة إلى اثنين من "الخطوط" - واحد من مصدر الخلايا، واحد من وجهة نظر. نموذج AWS CLI لصفحة مصدر: aws datasync create-location-s3 \ --s3-bucket-arn arn:aws:s3:::s3-source-01 \ --s3-storage-class STANDARD \ --s3-config BucketAccessRoleArn="arn:aws:iam::1234567890:role/datasync-role" \ --region us-east-1 التكرار للبضائع الهدف مع ARN البضائع الخاصة بك. الخطوة 4: إنشاء وظيفة DataSync بمجرد إنشاء كل من المواقع، قم بتحديد وظيفة DataSync لتسريع نسخ الأشياء من موقع المصدر إلى موقع الهدف. يمكنك أن: تمكنك من نسخ البيانات المتعددة (تخزين العلامات الزمنية، العلامات). قم بتسريع تقييمات التقييم حتى التقييم النهائي. استخدم القفل لمراقبة سرعة التحويل والتنفيذ. الخطوة الخامسة: تشغيل وتتبع التحويل لـ لا تنتهي في دقائق، ولكنك ستجد أيضًا تحسينًا كبيرًا مقارنة بالطرق التقليدية. 4–5 TB نصائح لترجمة كبيرة نفس المنطقة أقل تكلفة وأسرع - يمكن أن تضاعف الرسوم عبر المناطق. التحركات المتزايدة هي صديقتك - قم بتحريك DataSync عدة مرات قبل التحرك النهائي حتى تتمكن من نسخ التغييرات فقط على التحرك الأخير. الحفاظ على IAM قوية - أنت تفتح الوصول عبر الحساب، إزالة ذلك بعد الانتقال. تقييم الانتقال، حتى تتمكن من مراقبة تكاليف الانتقال في AWS Cost Explorer. الأفكار النهائية الهجرة بين حسابات AWS التي تستخدم للتعبير عن اختيار بين أو DataSync يتغير هذا المعادلة - مما يتيح لك لا توجد إعدادات إلكترونية أو وقت إلغاء. 5 TB of S3 data أسرع وأسرع Free-ish سريع وسريع fast, secure, repeatable migrations فكر في ذلك كالتحديث من نقل كميات من الماء إلى تثبيت قوارب ضغط عالية.
