ការផ្ទេរទិន្នន័យពី Dell ECS ទៅ MinIO

ចង្កោម Dell ECS អនុញ្ញាតឱ្យអ្នកផ្ទេរទិន្នន័យរបស់អ្នកទៅហាងដែលឆបគ្នា S3 ណាមួយ។ Dell ECS ហៅមុខងារនេះថា "Data Movement" ដែលហៅផងដែរថា copy-to-cloud។ វាជាលក្ខណៈពិសេសមួយដែលត្រូវបានណែនាំនៅក្នុង ECS 3.8.0.1 ដែលអនុញ្ញាតឱ្យអ្នកចម្លងវត្ថុពី Dell ECS ទៅ MinIO ដែលមានប្រជាប្រិយភាពខ្លាំងជាមួយអតិថិជន និងអនាគតដែលកំពុងធ្វើទំនើបកម្មជង់ផ្ទុករបស់ពួកគេ ដើម្បីគាំទ្រតម្រូវការហេដ្ឋារចនាសម្ព័ន្ធទិន្នន័យ AI របស់ពួកគេ។ ចលនាទិន្នន័យត្រូវបានបង្កើតឡើងនៅលើឧបករណ៍ប្រភពបើកចំហ ECS Sync ដែលផ្តល់នូវសមត្ថភាពក្នុងការចម្លងទិន្នន័យស្របគ្នា។ នៅក្នុងទិដ្ឋភាពទូទៅនេះ យើងនឹងបង្ហាញអ្នកពីរបៀបផ្ទេរទិន្នន័យពី Dell ECS ទៅកាន់ MinIO ដោយផ្តោតជាពិសេសទៅលើចំណុចខាងក្រោម៖ កំណត់រចនាសម្ព័ន្ធប្រភព និងធុងគោលដៅ រៀបចំគោលនយោបាយចលនាទិន្នន័យ ការត្រួតពិនិត្យ និងកត់ត្រាការធ្វើចំណាកស្រុកទៅ MinIO កំណត់រចនាសម្ព័ន្ធប្រភព និងធុងគោលដៅ មុនពេលយើងអាចចាប់ផ្តើមបង្កើតគោលការណ៍ដើម្បីផ្ទេរទិន្នន័យ សូមប្រាកដថាប្រភព និងធុងគោលដៅត្រូវបានកំណត់រចនាសម្ព័ន្ធសម្រាប់ចលនាទិន្នន័យ។ កំណត់រចនាសម្ព័ន្ធធុងប្រភព Dell ECS នៅខាងក្នុង គោលការណ៍ចលនាទិន្នន័យ ស្កេនធុងប្រភព ដើម្បីរាប់បញ្ចូលវត្ថុទាំងអស់សម្រាប់ចលនាទិន្នន័យដោយប្រើទិន្នន័យមេតា (MD) ស្វែងរក។ សម្រាប់ចលនាទិន្នន័យ ដើម្បីផ្លាស់ទីទិន្នន័យពិតប្រាកដ អ្នកត្រូវធានាថា MD Search ត្រូវបានបើកនៅលើធុងប្រភព Dell ECS និងរួមបញ្ចូល LastModified ជាវាលដែលបានធ្វើលិបិក្រម។ បន្ទាប់មកយើងកំណត់រចនាសម្ព័ន្ធ MinIO ដែលជាធុងគោលដៅ។ កំណត់រចនាសម្ព័ន្ធធុងគោលដៅ MinIO ដើម្បីឱ្យទិន្នន័យត្រូវបានផ្ទេរទៅ MinIO យើងត្រូវបង្កើតធនធានខាងក្រោមនៅក្នុង MInIO ជាមុន៖ ការចូលប្រើ និងសោសម្ងាត់ ឈ្មោះធុង គោលនយោបាយ IAM នៅពេលបង្កើតធុងទឹក ត្រូវប្រាកដថាបើកដំណើរការកំណែដាក់ធុង លុះត្រាតែធុងគោលដៅនៅក្នុង MinIO ត្រូវបានឧទ្ទិសសម្រាប់តែគោលការណ៍ចលនាទិន្នន័យប៉ុណ្ណោះ។ ត្រូវប្រាកដថាត្រូវកត់ចំណាំនូវព័ត៌មានលម្អិតខាងលើ បន្ទាប់ពីបង្កើតពួកវា ដោយសារតម្លៃរបស់ពួកគេត្រូវការនៅពេលក្រោយ។ គោលការណ៍ IAM គួរអនុញ្ញាត APIs ខាងក្រោម៖ s3: ListBucket s3: GetObject s3: ដាក់វត្ថុ s3: លុបវត្ថុ សូមអនុវត្តតាម នេះ ដើម្បីស្វែងយល់ពីរបៀបបង្កើតគោលការណ៍ IAM, Access Keys និង Buckets នៅក្នុងកុងសូល MinIO។ ការណែនាំ បញ្ចូលឈ្មោះអ្នកប្រើដែលត្រូវបានកំណត់ ពេលកំណត់រចនាសម្ព័ន្ធចង្កោម។ បញ្ចូលពាក្យសម្ងាត់ដែលត្រូវបានកំណត់ ពេលកំណត់រចនាសម្ព័ន្ធចង្កោម។ ចុច "ចូល" ៖ ធុងដែលត្រូវបានបង្កើត និងទិន្នន័យដែលបានផ្ទុកឡើងនឹងត្រូវបានបង្ហាញនៅទីនេះ។ កម្មវិធីរុករកវត្ថុ ៖ សោចូលប្រើរចនាប័ទ្ម AWS IAM សោចូលប្រើ ៖ ចុចទីនេះ ដើម្បីបង្កើតការចូលប្រើ និងសម្ងាត់ដាច់ដោយឡែកពីអ្វីដែលយើងធ្លាប់ប្រើដើម្បីបើកដំណើរការ cluster។ បង្កើត Access Key ៖ រាយធុងទឹកទាំងអស់ដែលមាន។ ដាក់ធុង ៖ ប្រសិនបើគ្មានធុងទេ សូមបន្តបង្កើតថ្មីមួយ។ បង្កើត Bucket ៖ គោលនយោបាយ IAM គោលការណ៍ ៖ បង្កើត និងភ្ជាប់ IDPs ផ្សេងៗដូចជា OpenID និង LDAP ។ អត្តសញ្ញាណ ៖ ត្រួតពិនិត្យគ្រប់ទិដ្ឋភាពទាំងអស់នៃចង្កោម ហើយថែមទាំងបញ្ជូនវាទៅ Prometheus ទៀតផង។ ការត្រួតពិនិត្យ នៅពេលដែលការកំណត់រចនាសម្ព័ន្ធធុងប្រភព និងគោលដៅ នោះយើងរៀបចំគោលការណ៍ចលនាទិន្នន័យ។ គោលនយោបាយចលនាទិន្នន័យ គោលការណ៍ចលនាទិន្នន័យគឺជានិយមន័យនៅក្នុង Dell ECS ដែលអាចកំណត់បានតាមរយៈ UI ឬ API ដែលកំណត់វត្ថុណាមួយនៅក្នុងធុងប្រភព Dell ECS គួរតែត្រូវបានចម្លងទៅធុងគោលដៅ MinIO ។ ការងារស្កេនគោលនយោបាយចលនាទិន្នន័យត្រូវបានចាប់ផ្តើមដោយស្វ័យប្រវត្តិ ប៉ុន្តែអាចត្រូវបានផ្អាក ឬបន្តឡើងវិញនៅពេលណាក៏បាន។ នេះគឺស្រដៀងទៅនឹង MinIO ដែរ។ ដំណើរការ។ តាមលំនាំដើម គោលការណ៍ចលនាទិន្នន័យផ្ទេរទិន្នន័យទៅ MinIO តាមលំដាប់លំដោយនៃពេលវេលា LastModified ។ ការចម្លងជាបាច់ យើងនឹងបង្ហាញអ្នកនូវសេណារីយ៉ូនៃចលនាទិន្នន័យពីរផ្សេងគ្នា ដើម្បីផ្ដល់ឱ្យអ្នកនូវគំនិតអំពីរបៀបដែលវាអាចដំណើរការ ប៉ុន្តែមេឃមានកម្រិតនៅពេលដែលវាមកដល់របៀបដែលអ្នកចង់ធ្វើការផ្លាស់ប្តូរ។ ការផ្លាស់ប្តូរទិន្នន័យទៅ MinIO នៅក្នុងការកំណត់រចនាសម្ព័ន្ធនេះ យើងនឹងបន្ថែមប៊ីត និងប៊ីត MinIO ចាំបាច់សម្រាប់ Dell ECS ដើម្បីទាក់ទងជាមួយ។ ជំហានដំបូង នៅពេលដែល MD Search ត្រូវបានបើក គឺត្រូវបើក Data Mobility ទៅ ដូចដែលបានបង្ហាញខាងក្រោម។ ON នៅពេលដែល Data Mobility ត្រូវបានកំណត់ទៅ យើងអាចបន្ត ហើយកំណត់រចនាសម្ព័ន្ធគោលការណ៍នេះ។ ON ៖ កំណត់ចំណុចនេះទៅចំណុចចុង MinIO ចំណុចបញ្ចប់ http:// : ៖ វាត្រូវបានបង្កើតនៅក្នុងកុងសូល MinIO ហើយរក្សាទុកក្នុងជំហានមុន។ ការចូលប្រើ និងសោសម្ងាត់ ៖ ឈ្មោះធុងគោលដៅ MinIO ឈ្មោះដាក់ធុង នេះគឺជាធុងទឹកនៅក្នុង Dell ECS ដែលកត់ត្រាកំហុសណាមួយក្នុងអំឡុងពេលធ្វើចំណាកស្រុក។ Logging Bucket៖ មានការកំណត់ផ្សេងទៀតខ្ញុំមិនបានឆ្លងកាត់ការកំណត់ទាំងអស់ទេគ្រាន់តែជាការកំណត់សំខាន់បំផុតប៉ុណ្ណោះ។ សូមចំណាំថា ប្រសិនបើទិន្នន័យត្រូវបានលុបចេញពីធុងប្រភព Dell ECS នោះវានឹងមិនត្រូវបានលុបចេញពីធុងគោលដៅ MinIO បន្ទាប់ពីការធ្វើចំណាកស្រុកត្រូវបានបញ្ចប់។ ការផ្លាស់ប្តូរទិន្នន័យជាមួយ Dremio ទៅ MinIO ឥឡូវនេះ សូមក្រឡេកមើលពីរបៀបដែលការធ្វើចំណាកស្រុកមើលទៅដូចការប្រើប្រាស់កម្មវិធីដែលប្រើ Dremio។ មានជំហានមួយចំនួនដែលកើតឡើងក្នុងអំឡុងពេលការធ្វើចំណាកស្រុកនេះ។ កម្មវិធីដែលប្រឈមមុខនឹងអតិថិជនសរសេរទៅកាន់ធុង Dell ECS ។ ECS ចម្លងទៅធុងទឹកក្នុងដំណាក់កាល MinIO ដែលបានកំណត់រចនាសម្ព័ន្ធដោយប្រើគោលការណ៍ចលនាទិន្នន័យ។ ទិន្នន័យត្រូវបានចម្លងទៅដាក់ធុងដំណាក់កាល។ ធុងទឹកដំណាក់កាល MinIO នឹងប្រើ ដើម្បីផ្ញើសារទៅកាន់ RabbitMQ ដែល Dremio នឹងត្រូវបានជាវ។ ការជូនដំណឹងអំពីព្រឹត្តិការណ៍ Dremio អានសារ និងបញ្ចូលទិន្នន័យពីធុងទឹកដំណាក់កាល MinIO ទៅកាន់ធុង Dremio នៅក្នុង MinIO ។ នៅពេលដែលទិន្នន័យត្រូវបានបញ្ចូល អ្នកអាចសម្អាតធុងផ្ទុក MinIO ដោយប្រើ a . គោលនយោបាយវដ្តជីវិត នេះគ្រាន់តែជាឧទាហរណ៍ពីរប៉ុណ្ណោះ ប៉ុន្តែអ្នកអាចប្រើវិធីសាស្រ្តនេះដើម្បីផ្ទេរពីកម្មវិធីណាមួយដោយប្រើ Dell ECS ទៅ MinIO ។ ការត្រួតពិនិត្យ និងកត់ត្រាចលនាទិន្នន័យ ក្នុងអំឡុងពេលដំណើរការផ្ទេរទិន្នន័យ វាជារឿងសំខាន់ក្នុងការតាមដានដំណើរការធ្វើចំណាកស្រុកទាំងមូល នៅពេលដែលវាផ្លាស់ទីទិន្នន័យទៅ MinIO ។ Dell ECS GUI ផ្តល់នូវផ្ទាំងគ្រប់គ្រងទិដ្ឋភាពទូទៅជាមួយនឹងការត្រួតពិនិត្យកម្រិតខ្ពស់ដែលបង្ហាញវត្ថុសរុបដែលបានចម្លង បៃសរុបដែលបានចម្លង ភាពយឺតយ៉ាវនៃសញ្ញាទឹក កំហុសសរុប វត្ថុដែលបានចម្លង បៃចម្លង ក្នុងចំណោមវត្ថុដទៃទៀត។ អ្នកអាចសិក្សាបន្ថែមទៀតដើម្បីបង្ហាញព័ត៌មានប្រភព/គោលដៅជាក់លាក់ដូចជាចំនួនវត្ថុ និងទំហំធុងក្នុងរយៈពេលដែលបានជ្រើសរើសក្នុងអំឡុងពេលដំណើរការផ្លាស់ប្តូរ។ នៅក្នុងដ្យាក្រាមដំបូងនៅដើមប្លក់នេះ យើងបានបង្ហាញធុងកំណត់ហេតុដែលយើងមាននៅខាង ECS នេះគឺជាកន្លែងដែលប្រតិបត្តិការទាំងអស់ពីចលនាទិន្នន័យត្រូវបានកត់ត្រាទុក។ វាមានប្រយោជន៍ខ្លាំងណាស់ក្នុងការបំបាត់បញ្ហាណាមួយក្នុងអំឡុងពេលដំណើរការចំណាកស្រុក ជាពិសេសនៅពេលដែលវាចំណាយពេលយូរដោយសារតែឧបសគ្គផ្នែករឹង និងរូបវ័ន្ត។ នេះគឺជាឧទាហរណ៍នៃរបៀបដែលកំណត់ហេតុមើលទៅដូច: 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS ហេតុអ្វីបានជាធ្វើចំណាកស្រុកទៅ MinIO? MinIO គឺជាប្រព័ន្ធគោលពីរ Go តែមួយដែលអាចត្រូវបានដាក់ឱ្យដំណើរការនៅក្នុងប្រភេទផ្សេងៗគ្នាជាច្រើននៃ cloud និងបរិស្ថាន prem ។ វាមានទម្ងន់ស្រាលខ្លាំងណាស់ ប៉ុន្តែវាក៏មានលក្ខណៈពិសេសដែលសំបូរទៅដោយរបស់ដូចជាការចម្លង និងការអ៊ិនគ្រីប ហើយវាផ្តល់នូវការរួមបញ្ចូលជាមួយកម្មវិធីផ្សេងៗ។ ពួកយើងបាន វានៅ 325 GiB/s (349 GB/s) នៅលើ GETs និង 165 GiB/s (177 GB/s) នៅលើ PUTs ដែលមានត្រឹមតែ 32 nodes នៃ NVMe SSDs ក្រៅធ្នើរ – ហើយត្រូវបានប្រើដើម្បីសាងសង់បឹង/ផ្ទះទិន្នន័យ និងការវិភាគ និងបន្ទុកការងារ AI/ML ។ គោល មិនត្រឹមតែប៉ុណ្ណឹងទេ ក្រៅប្រអប់ MinIO ក៏រួមបញ្ចូលផងដែរ៖ ការអ៊ិនគ្រីប៖ MinIO គាំទ្រទាំងការអ៊ិនគ្រីបនៅ និងនៅក្នុង . នេះធានាថាទិន្នន័យត្រូវបានអ៊ិនគ្រីបនៅក្នុងផ្នែកទាំងអស់នៃប្រតិបត្តិការចាប់ពីពេលដែលការហៅទូរសព្ទត្រូវបានធ្វើឡើងរហូតដល់វត្ថុត្រូវបានដាក់ក្នុងធុង។ សម្រាក ឆ្លងកាត់ ៖ មានហេតុផលជាច្រើនដែលទិន្នន័យអាចត្រូវបានខូចនៅលើថាសរាងកាយ។ វាអាចបណ្តាលមកពីវ៉ុលកើនឡើង កំហុសក្នុងកម្មវិធីបង្កប់ ការអាន និងសរសេរខុសក្នុងចំនោមរបស់ផ្សេងទៀត។ MinIO ធានាថាទាំងនេះត្រូវបានចាប់យក និងជួសជុលភ្លាមៗ ដើម្បីធានាបាននូវភាពត្រឹមត្រូវនៃទិន្នន័យ។ ការការពារ Bitrot ៖ ជាជាងធានាឱ្យបាននូវទិន្នន័យដែលលែងត្រូវការតទៅទៀត ដោយប្រើប្រាស់ RAID ដែលបន្ថែមការចំណាយបន្ថែមលើការអនុវត្ត នោះ MinIO ប្រើប្រាស់ទិន្នន័យដែលលែងត្រូវការតទៅទៀត និងភាពអាចរកបាន ដើម្បីបង្កើតវត្ថុឡើងវិញភ្លាមៗដោយគ្មានផ្នែករឹង ឬកម្មវិធីបន្ថែម។ លុបការសរសេរកូដ ការចូលប្រើដោយសុវត្ថិភាព ACLs និង PBAC៖ គាំទ្រគោលការណ៍រចនាប័ទ្ម IAM S3 ជាមួយនឹងការបង្កើតឡើងនៅក្នុង IDP សូមមើល សម្រាប់ព័ត៌មានបន្ថែម។ ការអនុវត្តល្អបំផុតរបស់ MinIO - សុវត្ថិភាព និងការគ្រប់គ្រងការចូលប្រើ ៖ សម្រាប់ទិន្នន័យដែលមិនត្រូវបានចូលប្រើញឹកញាប់ អ្នកអាចដកទិន្នន័យទៅកន្លែងផ្ទុកត្រជាក់មួយផ្សេងទៀតដែលកំពុងដំណើរការ MinIO ដូច្នេះអ្នកអាចបង្កើនប្រសិទ្ធភាពទិន្នន័យចុងក្រោយបំផុតនៅលើផ្នែករឹងល្អបំផុតរបស់អ្នកដោយមិនចាំបាច់ប្រើទិន្នន័យដែលមិនប្រើ។ លំដាប់ ៖ MinIO គាំទ្រការចាក់សោវត្ថុ (ការរក្សាទុក) ដែលបង្ខំឱ្យសរសេរម្តង និងត្រៀមខ្លួនជាស្រេចនូវប្រតិបត្តិការជាច្រើនសម្រាប់រយៈពេលដែលមានមូលដ្ឋាន និងច្បាប់មិនកំណត់។ នេះអនុញ្ញាតឱ្យមានការអនុលោមតាមការរក្សាទិន្នន័យសំខាន់ៗ និងបំពេញតាមតម្រូវការ SEC17a-4(f), FINRA 4511(C) និង CFTC 1.31(c)-(d) ។ ការចាក់សោ និងរក្សាវត្ថុ មិនមែននិយាយទេ កម្មវិធីល្អគឺគ្មានអ្វីដែលគ្មានការគាំទ្រល្អនោះទេ។ MinIO ផ្តល់នូវការគាំទ្រដ៏ល្អបំផុតមួយនៅទីនោះដោយប្រើរបស់យើង។ វិបផតថល យើងមានវិស្វករដែលធ្វើការលើមូលដ្ឋានកូដស្នូល MinIO ឆ្លើយសំណួរដោយផ្ទាល់នៅក្នុងស្ទីល Slack អន្តរកម្ម និងការសហការមធ្យម។ នៅពេលអ្នកនិយាយជាមួយវិស្វករ ជាជាងពង្រីកបញ្ហារបស់អ្នកទៅវិស្វករកម្រិតបន្ទាប់ ដោយមិនឈប់ឈរ មនុស្សដែលអ្នកនិយាយជាមួយមានសមត្ថភាពដោះស្រាយបញ្ហាណាមួយដែលអ្នកជួបប្រទះ។ យើងថែមទាំងធ្លាប់មានអតិថិជនមករកយើងវិញបន្ទាប់ពីបានទៅជាមួយវេទិកាផ្ទុកទិន្នន័យរបស់ដៃគូប្រកួតប្រជែង ដោយសារតែខ្វះការគាំទ្រត្រឹមត្រូវ។ មិនថាអ្នករចនាកន្លែងផ្ទុករបស់អ្នកជាមួយនឹងលក្ខណៈពិសេសទាំងអស់នៅក្រោមពន្លឺថ្ងៃនោះទេ ប្រសិនបើអ្នកមិនគាំទ្រអតិថិជនរបស់អ្នកភ្លាមៗទេ នោះវាមិនមានប្រយោជន៍ទេ។ សម្រាប់ពួកយើង ការគាំទ្រអតិថិជនរបស់យើង និងធ្វើឱ្យពួកគេទទួលបានជោគជ័យ គឺជាអាទិភាពរបស់យើង #1 ។ SUBNET ប្រសិនបើអ្នកមានសំណួរណាមួយអំពីរបៀបផ្ទេរទិន្នន័យរបស់អ្នកពី Dell ECS ទៅ MinIO ការធ្វើចំណាកស្រុក ត្រូវប្រាកដថាទាក់ទងមកពួកយើងនៅលើ ! ស្លេក