ការផ្ទេរទិន្នន័យពី Dell ECS ទៅ MinIO

ចង្កោម Dell ECS អនុញ្ញាតឱ្យអ្នកផ្ទេរទិន្នន័យរបស់អ្នកទៅហាងដែលឆបគ្នា S3 ណាមួយ។ Dell ECS ហៅមុខងារនេះថា "Data Movement" ដែលហៅផងដែរថា copy-to-cloud។ វាជាលក្ខណៈពិសេសមួយដែលត្រូវបានណែនាំនៅក្នុង ECS 3.8.0.1 ដែលអនុញ្ញាតឱ្យអ្នកចម្លងវត្ថុពី Dell ECS ទៅ MinIO ដែលមានប្រជាប្រិយភាពខ្លាំងជាមួយអតិថិជន និងអនាគតដែលកំពុងធ្វើទំនើបកម្មជង់ផ្ទុករបស់ពួកគេ ដើម្បីគាំទ្រតម្រូវការហេដ្ឋារចនាសម្ព័ន្ធទិន្នន័យ AI របស់ពួកគេ។ ចលនាទិន្នន័យត្រូវបានបង្កើតឡើងនៅលើឧបករណ៍ប្រភពបើកចំហ ECS Sync ដែលផ្តល់នូវសមត្ថភាពក្នុងការចម្លងទិន្នន័យស្របគ្នា។

នៅក្នុងទិដ្ឋភាពទូទៅនេះ យើងនឹងបង្ហាញអ្នកពីរបៀបផ្ទេរទិន្នន័យពី Dell ECS ទៅកាន់ MinIO ដោយផ្តោតជាពិសេសទៅលើចំណុចខាងក្រោម៖

• កំណត់រចនាសម្ព័ន្ធប្រភព និងធុងគោលដៅ
• រៀបចំគោលនយោបាយចលនាទិន្នន័យ
• ការត្រួតពិនិត្យ និងកត់ត្រាការធ្វើចំណាកស្រុកទៅ MinIO

កំណត់រចនាសម្ព័ន្ធប្រភព និងធុងគោលដៅ

មុនពេលយើងអាចចាប់ផ្តើមបង្កើតគោលការណ៍ដើម្បីផ្ទេរទិន្នន័យ សូមប្រាកដថាប្រភព និងធុងគោលដៅត្រូវបានកំណត់រចនាសម្ព័ន្ធសម្រាប់ចលនាទិន្នន័យ។

កំណត់រចនាសម្ព័ន្ធធុងប្រភព Dell ECS

នៅខាងក្នុង គោលការណ៍ចលនាទិន្នន័យ ស្កេនធុងប្រភព ដើម្បីរាប់បញ្ចូលវត្ថុទាំងអស់សម្រាប់ចលនាទិន្នន័យដោយប្រើទិន្នន័យមេតា (MD) ស្វែងរក។

សម្រាប់ចលនាទិន្នន័យ ដើម្បីផ្លាស់ទីទិន្នន័យពិតប្រាកដ អ្នកត្រូវធានាថា MD Search ត្រូវបានបើកនៅលើធុងប្រភព Dell ECS និងរួមបញ្ចូល LastModified ជាវាលដែលបានធ្វើលិបិក្រម។

បន្ទាប់មកយើងកំណត់រចនាសម្ព័ន្ធ MinIO ដែលជាធុងគោលដៅ។

កំណត់រចនាសម្ព័ន្ធធុងគោលដៅ MinIO

ដើម្បីឱ្យទិន្នន័យត្រូវបានផ្ទេរទៅ MinIO យើងត្រូវបង្កើតធនធានខាងក្រោមនៅក្នុង MInIO ជាមុន៖

• ការចូលប្រើ និងសោសម្ងាត់
• ឈ្មោះធុង
• គោលនយោបាយ IAM

នៅពេលបង្កើតធុងទឹក ត្រូវប្រាកដថាបើកដំណើរការកំណែដាក់ធុង លុះត្រាតែធុងគោលដៅនៅក្នុង MinIO ត្រូវបានឧទ្ទិសសម្រាប់តែគោលការណ៍ចលនាទិន្នន័យប៉ុណ្ណោះ។ ត្រូវប្រាកដថាត្រូវកត់ចំណាំនូវព័ត៌មានលម្អិតខាងលើ បន្ទាប់ពីបង្កើតពួកវា ដោយសារតម្លៃរបស់ពួកគេត្រូវការនៅពេលក្រោយ។

គោលការណ៍ IAM គួរអនុញ្ញាត APIs ខាងក្រោម៖

• s3: ListBucket
• s3: GetObject
• s3: ដាក់វត្ថុ
• s3: លុបវត្ថុ

សូមអនុវត្តតាម ការណែនាំ នេះ ដើម្បីស្វែងយល់ពីរបៀបបង្កើតគោលការណ៍ IAM, Access Keys និង Buckets នៅក្នុងកុងសូល MinIO។

1. បញ្ចូល​ឈ្មោះ​អ្នក​ប្រើ​ដែល​ត្រូវ​បាន​កំណត់ ពេល​កំណត់​រចនាសម្ព័ន្ធ​ចង្កោម។
2. បញ្ចូល​ពាក្យ​សម្ងាត់​ដែល​ត្រូវ​បាន​កំណត់ ពេល​កំណត់​រចនាសម្ព័ន្ធ​ចង្កោម។
3. ចុច "ចូល"

4. កម្មវិធីរុករកវត្ថុ ៖ ធុងដែលត្រូវបានបង្កើត និងទិន្នន័យដែលបានផ្ទុកឡើងនឹងត្រូវបានបង្ហាញនៅទីនេះ។

   
   

5. សោចូលប្រើ ៖ សោចូលប្រើរចនាប័ទ្ម AWS IAM

   1. បង្កើត Access Key ៖ ចុចទីនេះ ដើម្បីបង្កើតការចូលប្រើ និងសម្ងាត់ដាច់ដោយឡែកពីអ្វីដែលយើងធ្លាប់ប្រើដើម្បីបើកដំណើរការ cluster។

   
   

6. ដាក់ធុង ៖ រាយធុងទឹកទាំងអស់ដែលមាន។

   1. បង្កើត Bucket ៖ ប្រសិនបើគ្មានធុងទេ សូមបន្តបង្កើតថ្មីមួយ។

   
   

7. គោលការណ៍ ៖ គោលនយោបាយ IAM

   
   

8. អត្តសញ្ញាណ ៖ បង្កើត និងភ្ជាប់ IDPs ផ្សេងៗដូចជា OpenID និង LDAP ។

   
   

9. ការត្រួតពិនិត្យ ៖ ត្រួតពិនិត្យគ្រប់ទិដ្ឋភាពទាំងអស់នៃចង្កោម ហើយថែមទាំងបញ្ជូនវាទៅ Prometheus ទៀតផង។

នៅពេលដែលការកំណត់រចនាសម្ព័ន្ធធុងប្រភព និងគោលដៅ នោះយើងរៀបចំគោលការណ៍ចលនាទិន្នន័យ។

គោលនយោបាយចលនាទិន្នន័យ

គោលការណ៍ចលនាទិន្នន័យគឺជានិយមន័យនៅក្នុង Dell ECS ដែលអាចកំណត់បានតាមរយៈ UI ឬ API ដែលកំណត់វត្ថុណាមួយនៅក្នុងធុងប្រភព Dell ECS គួរតែត្រូវបានចម្លងទៅធុងគោលដៅ MinIO ។ ការងារស្កេនគោលនយោបាយចលនាទិន្នន័យត្រូវបានចាប់ផ្តើមដោយស្វ័យប្រវត្តិ ប៉ុន្តែអាចត្រូវបានផ្អាក ឬបន្តឡើងវិញនៅពេលណាក៏បាន។ នេះគឺស្រដៀងទៅនឹង MinIO ដែរ។ ការចម្លងជាបាច់ ដំណើរការ។ តាមលំនាំដើម គោលការណ៍ចលនាទិន្នន័យផ្ទេរទិន្នន័យទៅ MinIO តាមលំដាប់លំដោយនៃពេលវេលា LastModified ។

យើង​នឹង​បង្ហាញ​អ្នក​នូវ​សេណារីយ៉ូ​នៃ​ចលនា​ទិន្នន័យ​ពីរ​ផ្សេង​គ្នា ដើម្បី​ផ្ដល់​ឱ្យ​អ្នក​នូវ​គំនិត​អំពី​របៀប​ដែល​វា​អាច​ដំណើរការ ប៉ុន្តែ​មេឃ​មាន​កម្រិត​នៅ​ពេល​ដែល​វា​មក​ដល់​របៀប​ដែល​អ្នក​ចង់​ធ្វើ​ការ​ផ្លាស់​ប្តូរ។

ការផ្លាស់ប្តូរទិន្នន័យទៅ MinIO

នៅក្នុងការកំណត់រចនាសម្ព័ន្ធនេះ យើងនឹងបន្ថែមប៊ីត និងប៊ីត MinIO ចាំបាច់សម្រាប់ Dell ECS ដើម្បីទាក់ទងជាមួយ។ ជំហានដំបូង នៅពេលដែល MD Search ត្រូវបានបើក គឺត្រូវបើក Data Mobility ទៅ ON ដូចដែលបានបង្ហាញខាងក្រោម។

នៅពេលដែល Data Mobility ត្រូវបានកំណត់ទៅ ON យើងអាចបន្ត ហើយកំណត់រចនាសម្ព័ន្ធគោលការណ៍នេះ។

• ចំណុច​បញ្ចប់ ៖ កំណត់​ចំណុច​នេះ​ទៅ​ចំណុច​ចុង MinIO http://<minio_ip>:<minio_port>
• ការចូលប្រើ និងសោសម្ងាត់ ៖ វាត្រូវបានបង្កើតនៅក្នុងកុងសូល MinIO ហើយរក្សាទុកក្នុងជំហានមុន។
• ឈ្មោះដាក់ធុង ៖ ឈ្មោះធុងគោលដៅ MinIO
• Logging Bucket៖ នេះគឺជាធុងទឹកនៅក្នុង Dell ECS ដែលកត់ត្រាកំហុសណាមួយក្នុងអំឡុងពេលធ្វើចំណាកស្រុក។

មានការកំណត់ផ្សេងទៀតខ្ញុំមិនបានឆ្លងកាត់ការកំណត់ទាំងអស់ទេគ្រាន់តែជាការកំណត់សំខាន់បំផុតប៉ុណ្ណោះ។ សូមចំណាំថា ប្រសិនបើទិន្នន័យត្រូវបានលុបចេញពីធុងប្រភព Dell ECS នោះវានឹងមិនត្រូវបានលុបចេញពីធុងគោលដៅ MinIO បន្ទាប់ពីការធ្វើចំណាកស្រុកត្រូវបានបញ្ចប់។

ការផ្លាស់ប្តូរទិន្នន័យជាមួយ Dremio ទៅ MinIO

ឥឡូវនេះ សូមក្រឡេកមើលពីរបៀបដែលការធ្វើចំណាកស្រុកមើលទៅដូចការប្រើប្រាស់កម្មវិធីដែលប្រើ Dremio។

មាន​ជំហាន​មួយ​ចំនួន​ដែល​កើត​ឡើង​ក្នុង​អំឡុង​ពេល​ការ​ធ្វើ​ចំណាក​ស្រុក​នេះ។

1. កម្មវិធីដែលប្រឈមមុខនឹងអតិថិជនសរសេរទៅកាន់ធុង Dell ECS ។
2. ECS ចម្លងទៅធុងទឹកក្នុងដំណាក់កាល MinIO ដែលបានកំណត់រចនាសម្ព័ន្ធដោយប្រើគោលការណ៍ចលនាទិន្នន័យ។
3. ទិន្នន័យ​ត្រូវ​បាន​ចម្លង​ទៅ​ដាក់​ធុង​ដំណាក់កាល។
4. ធុងទឹកដំណាក់កាល MinIO នឹងប្រើ ការជូនដំណឹងអំពីព្រឹត្តិការណ៍ ដើម្បីផ្ញើសារទៅកាន់ RabbitMQ ដែល Dremio នឹងត្រូវបានជាវ។
5. Dremio អានសារ និងបញ្ចូលទិន្នន័យពីធុងទឹកដំណាក់កាល MinIO ទៅកាន់ធុង Dremio នៅក្នុង MinIO ។
6. នៅពេលដែលទិន្នន័យត្រូវបានបញ្ចូល អ្នកអាចសម្អាតធុងផ្ទុក MinIO ដោយប្រើ a គោលនយោបាយវដ្តជីវិត .

នេះគ្រាន់តែជាឧទាហរណ៍ពីរប៉ុណ្ណោះ ប៉ុន្តែអ្នកអាចប្រើវិធីសាស្រ្តនេះដើម្បីផ្ទេរពីកម្មវិធីណាមួយដោយប្រើ Dell ECS ទៅ MinIO ។

ការត្រួតពិនិត្យ និងកត់ត្រាចលនាទិន្នន័យ

ក្នុងអំឡុងពេលដំណើរការផ្ទេរទិន្នន័យ វាជារឿងសំខាន់ក្នុងការតាមដានដំណើរការធ្វើចំណាកស្រុកទាំងមូល នៅពេលដែលវាផ្លាស់ទីទិន្នន័យទៅ MinIO ។ Dell ECS GUI ផ្តល់នូវផ្ទាំងគ្រប់គ្រងទិដ្ឋភាពទូទៅជាមួយនឹងការត្រួតពិនិត្យកម្រិតខ្ពស់ដែលបង្ហាញវត្ថុសរុបដែលបានចម្លង បៃសរុបដែលបានចម្លង ភាពយឺតយ៉ាវនៃសញ្ញាទឹក កំហុសសរុប វត្ថុដែលបានចម្លង បៃចម្លង ក្នុងចំណោមវត្ថុដទៃទៀត។

អ្នក​អាច​សិក្សា​បន្ថែម​ទៀត​ដើម្បី​បង្ហាញ​ព័ត៌មាន​ប្រភព/គោលដៅ​ជាក់លាក់​ដូចជា​ចំនួន​វត្ថុ​ និង​ទំហំ​ធុង​ក្នុង​រយៈ​ពេល​ដែល​បាន​ជ្រើសរើស​ក្នុង​អំឡុង​ពេល​ដំណើរ​ការ​ផ្លាស់​ប្តូរ។

នៅក្នុងដ្យាក្រាមដំបូងនៅដើមប្លក់នេះ យើងបានបង្ហាញធុងកំណត់ហេតុដែលយើងមាននៅខាង ECS នេះគឺជាកន្លែងដែលប្រតិបត្តិការទាំងអស់ពីចលនាទិន្នន័យត្រូវបានកត់ត្រាទុក។ វាមានប្រយោជន៍ខ្លាំងណាស់ក្នុងការបំបាត់បញ្ហាណាមួយក្នុងអំឡុងពេលដំណើរការចំណាកស្រុក ជាពិសេសនៅពេលដែលវាចំណាយពេលយូរដោយសារតែឧបសគ្គផ្នែករឹង និងរូបវ័ន្ត។

នេះគឺជាឧទាហរណ៍នៃរបៀបដែលកំណត់ហេតុមើលទៅដូច:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

ហេតុអ្វីបានជាធ្វើចំណាកស្រុកទៅ MinIO?

MinIO គឺជាប្រព័ន្ធគោលពីរ Go តែមួយដែលអាចត្រូវបានដាក់ឱ្យដំណើរការនៅក្នុងប្រភេទផ្សេងៗគ្នាជាច្រើននៃ cloud និងបរិស្ថាន prem ។ វា​មាន​ទម្ងន់​ស្រាល​ខ្លាំង​ណាស់ ប៉ុន្តែ​វា​ក៏​មាន​លក្ខណៈ​ពិសេស​ដែល​សំបូរ​ទៅ​ដោយ​របស់​ដូច​ជា​ការ​ចម្លង និង​ការ​អ៊ិនគ្រីប ហើយ​វា​ផ្តល់​នូវ​ការ​រួម​បញ្ចូល​ជាមួយ​កម្មវិធី​ផ្សេងៗ។

ពួកយើងបាន គោល វានៅ 325 GiB/s (349 GB/s) នៅលើ GETs និង 165 GiB/s (177 GB/s) នៅលើ PUTs ដែលមានត្រឹមតែ 32 nodes នៃ NVMe SSDs ក្រៅធ្នើរ – ហើយត្រូវបានប្រើដើម្បីសាងសង់បឹង/ផ្ទះទិន្នន័យ និងការវិភាគ និងបន្ទុកការងារ AI/ML ។

មិនត្រឹមតែប៉ុណ្ណឹងទេ ក្រៅប្រអប់ MinIO ក៏រួមបញ្ចូលផងដែរ៖

• ការអ៊ិនគ្រីប៖ MinIO គាំទ្រទាំងការអ៊ិនគ្រីបនៅ សម្រាក និងនៅក្នុង ឆ្លងកាត់ . នេះធានាថាទិន្នន័យត្រូវបានអ៊ិនគ្រីបនៅក្នុងផ្នែកទាំងអស់នៃប្រតិបត្តិការចាប់ពីពេលដែលការហៅទូរសព្ទត្រូវបានធ្វើឡើងរហូតដល់វត្ថុត្រូវបានដាក់ក្នុងធុង។

  
  

• ការការពារ Bitrot ៖ មានហេតុផលជាច្រើនដែលទិន្នន័យអាចត្រូវបានខូចនៅលើថាសរាងកាយ។ វាអាចបណ្តាលមកពីវ៉ុលកើនឡើង កំហុសក្នុងកម្មវិធីបង្កប់ ការអាន និងសរសេរខុសក្នុងចំនោមរបស់ផ្សេងទៀត។ MinIO ធានាថាទាំងនេះត្រូវបានចាប់យក និងជួសជុលភ្លាមៗ ដើម្បីធានាបាននូវភាពត្រឹមត្រូវនៃទិន្នន័យ។

  
  

• លុបការសរសេរកូដ ៖ ជាជាងធានាឱ្យបាននូវទិន្នន័យដែលលែងត្រូវការតទៅទៀត ដោយប្រើប្រាស់ RAID ដែលបន្ថែមការចំណាយបន្ថែមលើការអនុវត្ត នោះ MinIO ប្រើប្រាស់ទិន្នន័យដែលលែងត្រូវការតទៅទៀត និងភាពអាចរកបាន ដើម្បីបង្កើតវត្ថុឡើងវិញភ្លាមៗដោយគ្មានផ្នែករឹង ឬកម្មវិធីបន្ថែម។

  
  

• ការចូលប្រើដោយសុវត្ថិភាព ACLs និង PBAC៖ គាំទ្រគោលការណ៍រចនាប័ទ្ម IAM S3 ជាមួយនឹងការបង្កើតឡើងនៅក្នុង IDP សូមមើល ការអនុវត្តល្អបំផុតរបស់ MinIO - សុវត្ថិភាព និងការគ្រប់គ្រងការចូលប្រើ សម្រាប់ព័ត៌មានបន្ថែម។

  
  

• លំដាប់ ៖ សម្រាប់ទិន្នន័យដែលមិនត្រូវបានចូលប្រើញឹកញាប់ អ្នកអាចដកទិន្នន័យទៅកន្លែងផ្ទុកត្រជាក់មួយផ្សេងទៀតដែលកំពុងដំណើរការ MinIO ដូច្នេះអ្នកអាចបង្កើនប្រសិទ្ធភាពទិន្នន័យចុងក្រោយបំផុតនៅលើផ្នែករឹងល្អបំផុតរបស់អ្នកដោយមិនចាំបាច់ប្រើទិន្នន័យដែលមិនប្រើ។

  
  

• ការចាក់សោ និងរក្សាវត្ថុ ៖ MinIO គាំទ្រការចាក់សោវត្ថុ (ការរក្សាទុក) ដែលបង្ខំឱ្យសរសេរម្តង និងត្រៀមខ្លួនជាស្រេចនូវប្រតិបត្តិការជាច្រើនសម្រាប់រយៈពេលដែលមានមូលដ្ឋាន និងច្បាប់មិនកំណត់។ នេះអនុញ្ញាតឱ្យមានការអនុលោមតាមការរក្សាទិន្នន័យសំខាន់ៗ និងបំពេញតាមតម្រូវការ SEC17a-4(f), FINRA 4511(C) និង CFTC 1.31(c)-(d) ។

  
  

មិន​មែន​និយាយ​ទេ កម្មវិធី​ល្អ​គឺ​គ្មាន​អ្វី​ដែល​គ្មាន​ការ​គាំទ្រ​ល្អ​នោះ​ទេ។ MinIO ផ្តល់នូវការគាំទ្រដ៏ល្អបំផុតមួយនៅទីនោះដោយប្រើរបស់យើង។ SUBNET វិបផតថល យើងមានវិស្វករដែលធ្វើការលើមូលដ្ឋានកូដស្នូល MinIO ឆ្លើយសំណួរដោយផ្ទាល់នៅក្នុងស្ទីល Slack អន្តរកម្ម និងការសហការមធ្យម។ នៅពេលអ្នកនិយាយជាមួយវិស្វករ ជាជាងពង្រីកបញ្ហារបស់អ្នកទៅវិស្វករកម្រិតបន្ទាប់ ដោយមិនឈប់ឈរ មនុស្សដែលអ្នកនិយាយជាមួយមានសមត្ថភាពដោះស្រាយបញ្ហាណាមួយដែលអ្នកជួបប្រទះ។ យើងថែមទាំងធ្លាប់មានអតិថិជនមករកយើងវិញបន្ទាប់ពីបានទៅជាមួយវេទិកាផ្ទុកទិន្នន័យរបស់ដៃគូប្រកួតប្រជែង ដោយសារតែខ្វះការគាំទ្រត្រឹមត្រូវ។ មិនថាអ្នករចនាកន្លែងផ្ទុករបស់អ្នកជាមួយនឹងលក្ខណៈពិសេសទាំងអស់នៅក្រោមពន្លឺថ្ងៃនោះទេ ប្រសិនបើអ្នកមិនគាំទ្រអតិថិជនរបស់អ្នកភ្លាមៗទេ នោះវាមិនមានប្រយោជន៍ទេ។ សម្រាប់ពួកយើង ការគាំទ្រអតិថិជនរបស់យើង និងធ្វើឱ្យពួកគេទទួលបានជោគជ័យ គឺជាអាទិភាពរបស់យើង #1 ។

ប្រសិនបើអ្នកមានសំណួរណាមួយអំពីរបៀបផ្ទេរទិន្នន័យរបស់អ្នកពី Dell ECS ទៅ MinIO ការធ្វើចំណាកស្រុក ត្រូវប្រាកដថាទាក់ទងមកពួកយើងនៅលើ ស្លេក !