ዳታ ማይግሬሽን ካብ Dell ECS ናብ MinIO

Dell ECS ክላስተራት ዳታኻ ናብ ዝኾነ ምስ S3 ዝሰማማዕ ድኳን ክትሰግሮ የኽእለካ። Dell ECS ነዚ ባህሪ “Data Movement” ኢሉ ይጽውዖ፣ ቅዳሕ ናብ ደበና’ውን ይበሃል። ኣብ ECS 3.8.0.1 ዝተኣታተወ ባህሪ ኮይኑ ካብ Dell ECS ናብ MinIO ነገራት ክትቅድሕ ዘኽእለካ ኮይኑ እዚ ድማ ብዓማዊልን ተስፋ ዘለዎምን ንAI ዳታ ትሕተ ቅርጺ ጠለባቶም ንምድጋፍ ንመኽዘን ስታክ ዘመናዊ ዝገብርዎ ዘለዉ ብመጠኑ ተፈታዊ እዩ። ምንቅስቓስ ዳታ ኣብ ልዕሊ እቲ ECS Sync open-source tool ዝተሃንጸ ኮይኑ እዚ ድማ ነቲ ዳታ ብማዕረ ናይ ምቕዳሕ ዓቕሚ ይህብ።

ኣብዚ ሓፈሻዊ ትሕዝቶ ብፍሉይ ኣብዞም ዝስዕቡ ብምትኳር ከመይ ጌርና ዳታ ካብ Dell ECS ናብ MinIO ከም እንሰግሮ ከነርእየኩም ኢና፤

• ምውቃር ምንጪን ዕላማን ባልጃታት
• ፖሊሲታት ምንቅስቓስ መረዳእታ ምድላው
• ምክትታልን ምዝገባን ስደት ናብ MinIO

ምንጪን ዕላማን ባልጃታት ምውቃር

ቅድሚ ነቲ ዳታ ንምስግጋር ዝሕግዝ ፖሊሲ ምፍጣር ምጅማርና፡ ምንጪን ዕላማን ባልጃታት ንዳታ ምንቅስቓስ ከምዝተዋቕሩ ነረጋግጽ።

Dell ECS ምንጪ ባልጃ ምውቃር

ብውሽጢ ውሽጢ ፖሊሲ ምንቅስቓስ ዳታ ነቲ ምንጪ ባልጃ ስካን ብምግባር ንኹሎም ነገራት ምንቅስቓስ ዳታ ብመታዳታ (MD) Search ተጠቒሙ ይዝርዝር።

ዳታ ምንቅስቓስ ብጭቡጥ ዳታ ንምንቅስቓስ፡ MD Search ኣብቲ ናይ Dell ECS ምንጪ ባልጃ ከም ዝነቐለ ከተረጋግጽን LastModified ከም ኢንዴክስ ዝገበረ ዓውዲ ከተካትትን ኣለካ።

ቀጺልና ነቲ ዕላማ ባልጃ ዝኾነ MinIO ንውቅሮ።

MiniIO ዕላማ ባልጃ ምውቃር

እቲ ዳታ ናብ MinIO ንኽሰጋገር ኣቐዲምና ኣብ MInIO እዚ ዝስዕብ ጸጋ ክንፈጥር ኣለና፤

• መእተዊን ምስጢራዊ መፍትሕታትን
• ስም ባልጃ
• ፖሊሲ IAM

ነቲ ባልጃ ክትፈጥር ከለኻ፡ እቲ ኣብ MinIO ዘሎ ዕላማ ባልጃ ንፖሊሲ ምንቅስቓስ ዳታ ጥራይ ዝተወፈየ እንተዘይኮይኑ፡ ስሪት ባልጃ ምኽኣልካ ኣረጋግጽ። ድሕሪ ምፍጣርካ ነዞም ኣብ ላዕሊ ዝተጠቕሱ ዝርዝራት ከተስተብህለሎም ርግጸኛ ኩን ምኽንያቱ ክብርታቶም ድሒሮም ስለዘድልዩ።

ፖሊሲ IAM ነዞም ዝስዕቡ ኤፒኣይታት ክፈቅድ ኣለዎ፤

• s3:ዝርዝርባልጃ
• s3:GetObject ዝብል ጽሑፍ ኣሎ።
• s3:PutObject ዝብል ጽሑፍ ኣሎ።
• s3:DeleteObject

ኣብ MinIO console ከመይ ጌርና IAM policies, Access Keys and Buckets ንፈጥር ንምፍላጥ ነዚ መምርሒ ተኸተሉ።

1. ነቲ ክላስተር ኣብ ምውቃር ዝተሰርዐ ስም ተጠቃሚ ኣእቱ።
2. ነቲ ክላስተር ኣብ እትውቅረሉ እዋን ዝተቐመጠ ምልክት ቃል ኣእቱ።
3. “Login” ዝብል ጠውቕ።

4. Object Browser : ዝተፈጥሩን ዝተሰቐሉን ባልጃታት ኣብዚ ክረኣዩ እዮም።

   
   

5. መፍትሕ መእተዊ : AWS IAM ቅዲ መእተዊ መፍትሕ

   1. Create Access Key : ካብቲ ክላስተር ንምጅማር ዝተጠቐምናሉ ዝተፈልየ መእተዊን ምስጢርን ንምፍጣር ኣብዚ ጠውቑ።

   
   

6. ባልጃታት : ኩሎም እቶም ዘለዉ ባልጃታት ዘርዝሩ።

   1. Create Bucket : ባልጃታት እንተዘይሃልዮም ንቕድሚት ንኺድ ሓድሽ ፍጠር።

   
   

7. ፖሊሲታት : ፖሊሲታት IAM

   
   

8. መንነት : ዝተፈላለዩ IDPs ከም OpenIDን LDAPን ምፍጣርን ምትእስሳርን ።

   
   

9. ምክትታል : ኩሉ መዳያት ናይቲ ክላስተር ምክትታልን ዋላ ናብ ፕሮሚቲየስ ምልኣኽን።

ምንጪን ዕላማን ባልጃታት ምስ ተዋነሩ፡ ፖሊሲ ምንቅስቓስ ዳታ ንሰርዕ።

ፖሊሲ ምንቅስቓስ መረዳእታ

ፖሊሲ ምንቅስቓስ ዳታ ኣብ Dell ECS ወይ ብመንገዲ UI ወይ API ክቕመጥ ዝኽእል ትርጉም ኮይኑ ኣብ Dell ECS ምንጪ ባልጃ ኣየኖት ነገራት ናብ MinIO ዕላማ ባልጃ ክቕደሑ ከም ዘለዎም ዝገልጽ እዩ። ናይ ዳታ ምንቅስቓስ ፖሊሲ ስካን ስራሓት ብኣውቶማቲክ ይጅምሩ ግን ኣብ ዝኾነ እዋን ደው ክብሉ ወይ ዳግማይ ክጅምሩ ይኽእሉ። እዚ ምስ ናይ MinIO ኣዝዩ ዝመሳሰል እዩ። ምድግጋም ዕስለ (batch replication) ከይዲ። ብነባሪ እቲ ናይ ዳታ ምንቅስቓስ ፖሊሲ ነቲ ዳታ ናብ MinIO ብመስርዕ LastModified ግዜ የሰግሮ።

እዚ ከመይ ክሰርሕ ከም ዝኽእል ሓሳብ ንኽህበኩም ክልተ ዝተፈላለዩ ናይ ዳታ ምንቅስቓስ ስናርዮታት ከነርእየኩም ኢና፡ ግን እቲ ስደት ከመይ ጌርካ ክትገብሮ ከም እትደሊ ክመጽእ ከሎ ሰማይ ደረት እዩ።

ምንቅስቓስ ዳታ ናብ MinIO

ኣብዚ ውቅር እዚ ንDell ECS ንኽረዳዳእ ዘድልዩ MinIO bits and bobs ክንውስኸሎም ኢና። እቲ ቀዳማይ ስጉምቲ፡ MD Search ምስ ተኸፍተ፡ ከምዚ ኣብ ታሕቲ ዘሎ Data Mobility ናብ ON ምግባር እዩ።

Data Mobility ናብ ON ምስ ተቐመጠ ንቕድሚት ብምኻድ ነቲ ፖሊሲ ክንውቅሮ ንኽእል።

• መወዳእታ ነጥቢ : ነዚ ናብ MinIO መወዳእታ ነጥቢ http://<minio_ip>:<minio_port> ኣቐምጦ
• Access and Secret Key : እዚ ኣብ MinIO console ዝተፈጥረ ኮይኑ ኣብ ዝሓለፈ ስጉምቲ ዝተቐመጠ እዩ።
• ስም ባልጃ : ስም ዕላማ ባልጃ MinIO
• Logging Bucket: እዚ ኣብ Dell ECS ዘሎ ባልጃ ኮይኑ ኣብ እዋን ስደት ዝኾነ ጌጋታት ዝዝርግሕ እዩ።

ካልእ ቅጥዕታት ኣሎ፡ ኩሉ ቅጥዕታት ኣይሓለፍኩን፡ እቶም ኣገደስቲ ጥራይ። ዳታ ካብ Dell ECS source bucket እንተተደምሲሱ፡ እቲ ስደት ምስተዛዘመ ካብ MinIO target bucket ከምዘይድምሰስ ኣስተውዕሉ።

ምንቅስቓስ ዳታ ምስ ድሬሚዮ ናብ MinIO

ሕጂ ድሬሚዮ ዝጥቀም ኣፕሊኬሽን ተጠቂምና እቲ ስደት ከመይ ከም ዝመስል ንርአ።

ኣብዚ ስደት ዝፍጸሙ ውሑዳት ስጉምትታት ኣለዉ።

1. ሓደ ዓሚል ዝገጥም መተግበሪ ናብ ባልጃ ዴል ኢሲኤስ ይጽሕፍ።
2. ECS ናብ ሓደ ኣብ ውሽጢ MinIO ዝርከብ ናይ መድረኽ ባልጃ ይቕድሕ፣ እዚ ድማ ፖሊሲ ምንቅስቓስ ዳታ ተጠቒሙ ዝተዋቕረ እዩ።
3. ዳታ ናብቲ ናይ መድረኽ ባልጃ ይቕዳሕ።
4. እቲ MinIO staging bucket ክጥቀም እዩ። መፍለጢ ፍጻመ ናብ RabbitMQ መልእኽቲ ንምልኣኽ፡ ድሬሚዮ ሳብስክራይብ ክገብረሉ እዩ።
5. ድሬሚዮ ነቲ መልእኽቲ ኣንቢቡ ነቲ ዳታ ካብ MinIO staging bucket ናብቲ ኣብ MinIO ዘሎ Dremio bucket ይውሕጦ።
6. እቲ ዳታ ምስ ተዋሕጠ፡ ነቲ MinIO staging bucket ብ a ፖሊሲ ዑደት ህይወት .

እዚኦም ክልተ ኣብነታት ጥራይ እዮም ግን ነዚ ኣገባብ ተጠቒምካ ካብ ዝኾነ ኣፕሊኬሽን Dell ECS ተጠቂምካ ናብ MinIO ክትሰግር ትኽእል ኢኻ።

ምክትታልን ምዝገባን ምንቅስቓስ መረዳእታ

ኣብ እዋን መስርሕ ስደት ዳታ፡ ዳታ ናብ MinIO ኣብ ዘግዕዘሉ እዋን፡ ሓፈሻዊ መስርሕ ስደት ምክትታል ኣገዳሲ እዩ። Dell ECS GUI ሓፈሻዊ ትዕዝብቲ ዳሽቦርድታት ምስ ምዕቡል ምክትታል ይህብ እዚ ድማ ጠቕላላ ዝተቐድሑ ነገራት፣ ጠቕላላ ዝተቐድሑ ባይት፣ ዋተርማርክ ምድንጓይ፣ ጠቕላላ ጌጋታት፣ ዝተቐድሑ ነገራት፣ ባይት ዝተቐድሑን ካልኦትን ዘርኢ እዩ።

ብተወሳኺ ኣብ መስርሕ ስደት ኣብ ዝተመርጸ ግዜ ምንጪ/ዕላማ ፍሉይ ሓበሬታ ከም ቁጽሪ ነገራትን ዓቐን ባልጃን ንምርኣይ ክትኩዕት ትኽእል።

ኣብቲ ኣብ መጀመርታ ናይዚ ብሎግ ዘሎ ናይ መጀመርታ ስእላዊ መግለጺ ብወገን ECS ዘሎና ሎግ ባልጃ ኣርኢና ኣለና፣ እዚ ቦታ እዚ እዩ ኩሉ ካብ ምንቅስቓስ ዳታ ዝመጽእ ስርሒታት ዝምዝገበሉ። እዚ ኣብ መስርሕ ስደት ዝኾነ ይኹን ጸገም ንምእራም ኣዝዩ ሓጋዚ እዩ ብፍላይ ብሰንኪ ሃርድዌርን ኣካላዊ ጸገማትን ኣዝዩ ነዊሕ ግዜ ኣብ ዝወስደሉ እዋን።

እቶም ሎግስ ከመይ ከም ዝመስሉ ኣብነት እንሆ፤

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

ንምንታይ ናብ MinIO ትስደድ?

MinIO ኣብ ብዙሓት ዝተፈላለዩ ዓይነታት ደበናን on-prem ከባቢታትን ክጅምር ዝኽእል ሓደ Go binary እዩ። ኣዝዩ ቀሊል ኮይኑ፡ ግን ከኣ ከም ምብዛሕን ምስጢራዊ ምግባርን ዝኣመሰሉ ነገራት ዝተዓሸገ ባህሪ ዘለዎ ኮይኑ፡ ምስ ዝተፈላለዩ ኣፕሊኬሽናት ምውህሃድ ይህብ።

ንሕና... መዐቀኒ ተገይሩሉ። it at 325 GiB/s (349 GB/s) on GETs and 165 GiB/s (177 GB/s) on PUTs with just 32 nodes of off-the-shelf NVMe SSDs – ከምኡ’ውን ንህንጸት ዳታ ቀላያት/ቀላያት ገዛውቲ ይጥቀመሉ ከምኡ’ውን ትንታነታትን AI/ML ስራሕ ጽዕነትን።

እዚ ጥራይ ዘይኮነስ ካብ ሳንዱቕ ወጻኢ ዝኾነ MinIO ውን፤

• ምስጢራዊ ምግባር፦ MinIO ንኽልቲኡ ምስጢራዊ ምግባር ኣብ ይድግፍ ዕረፍቲ ከምኡውን ኣብ... ትራንዚት። . እዚ ድማ ካብታ ጻውዒት ዝተገብረላ ህሞት ጀሚሩ ክሳብ እቲ ነገር ኣብቲ ባልጃ ዝቕመጥ ኣብ ኩሉ ገጻት ናይቲ ትራንዛክሽን ዳታ ምስጢራዊ ምዃኑ የረጋግጽ።

  
  

• ቢትሮት ምክልኻል ፦ ኣብ ፊዚካዊ ዲስክታት ዳታ ክበላሾ ዝኽእለሉ ብዙሕ ምኽንያታት ኣሎ። ብሰንኪ ቮልቴጅ ስፓይክ፡ ባግ ኣብ ፋርምዌር፡ misdirected reads and writes ካልእን ክኸውን ይኽእል። MiniIO እዚኦም ኣብ በረራ ከምዝተቐረጹን ከምዝተዓረዩን ብምርግጋጽ ምሉእነት ዳታ ንምርግጋጽ እዩ።

  
  

• ምድምሳስ ኮዲንግ : ኣብ ክንዲ RAID ብምጥቃም ሪዱንዳንሲ ዳታ ምርግጋጽ እዚ ድማ ኣብ ኣፈጻጽማ ተወሳኺ ልዕሊ ዓቐን ዝውስኽ፡ MinIO ነዚ ዳታ ሪዱንዳንሲን ተረባሕነትን ባህሪ ተጠቒሙ ብዘይ ዝኾነ ተወሳኺ ሃርድዌር ወይ ሶፍትዌር ኣብ በረራ ነገራት ዳግማይ ንምህናጽ ይጥቀመሉ።

  
  

• ውሑስ መእተዊ ACLsን PBACን: IAM S3-ቅዲ ፖሊሲታት ምስ ኣብ ውሽጢ ዝተሃንጸ IDP ይድግፍ፣ ርአ MiniIO ብሉጻት ኣሰራርሓታት - ድሕነትን ምቁጽጻር መእተዊን ንዝያዳ ሓበሬታ።

  
  

• ደረጃ ምቕማጥ : ከምቲ ብዙሕ ግዜ ዘይርከብ ዳታ ዳታ ናብ ካልእ MinIO ዝሰርሕ ዝሑል መኽዘን ክትሰድድ ትኽእል ኢኻ ስለዚ እቲ ዘይተጠቐምካሉ ዳታ ቦታ ከይወሰደ ነቲ ዝሓሸ ዳታ ኣብ ዝበለጸ ሃርድዌርካ ከተመሓይሾ ትኽእል።

  
  

• ምዕጻውን ምዕቃብን ነገራት : MinIO ንውሓት ግዜ መሰረት ዝገበረን ንዘይተወሰነ ግዜ ሕጋዊ ምሓዝን ሓንሳብ ምጽሓፍን ንብዙሓት ስርሓት ድሉው ምግባርን ዘገድድ object locking (retention) ይድግፍ። እዚ ንቐንዲ ዳታ ምዕቃብ ምኽባር ዘኽእል ኮይኑ SEC17a-4(f), FINRA 4511(C), ከምኡ እውን CFTC 1.31(c)-(d) ረቛሒታት ዘማልእ እዩ።

  
  

ኣሽንኳይዶ ጽቡቕ ሶፍትዌር ብዘይ ጽቡቕ ደገፍ ዋላ ሓንቲ ኣይኮነን። MinIO ሓደ ካብቶም ዝበለጹ ደገፍ ኣብ ደገ ናትና ብምጥቃም ይህብ ሳብኔት። ፖርታል ዝበሃል ትካል እዩ። ኣብ MinIO core code base ዝሰርሑ መሃንድሳት ኣለዉና ንሕቶታት ብቐጥታ ብSlack style interactive and collaborative medium ይምልሱ። ምስ መሃንድስ ክትዛረብ ከለኻ ኣብ ክንዲ መወዳእታ ዘይብሉ ጉዳይካ ናብቲ ዝቕጽል ደረጃ መሃንድስ ከተዕብዮ ከለኻ እቶም እትዛረቦም ሰባት ዝኾነ ዘጋጥመካ ጉዳይ ናይ ምፍታሕ ዓቕሚ ኣለዎም። ዋላ ዓማዊል ብሰንኪ ሕጽረት ግቡእ ደገፍ ምስ ተወዳዳሪ መኽዘን መድረኽ ድሕሪ ምኻዶም ናባና ክምለሱ ጌርና ኢና። መኽዘንካ ምስ ኩሉ ባህርያት ኣብ ትሕቲ ጸሓይ ዲዛይን ጌርካዮ ብዘየገድስ፡ ዓሚልካ ብቕልጡፍ እንተዘይደጊፍካዮ ሽዑ ዋላ ሓንቲ ረብሓ የብሉን። ንዓና ዓማዊልና ምድጋፍን ዕዉታት ምግባርን ቀዳምነትና #1 እዩ።

ከመይ ጌርካ ዳታኻ ካብ Dell ECS ናብ MinIO migration ትስግሮ ዝኾነ ሕቶታት እንተሃልዩካ ኣብ ምብጻሕና ርግጸኛ ኩን። ስልችው ዝበለ !