Kelompok Dell ECS membolehkan anda memindahkan data anda ke mana-mana kedai yang serasi dengan S3. Dell ECS memanggil ciri ini "Pergerakan Data", juga dipanggil salin ke awan. Ia adalah ciri yang diperkenalkan dalam ECS 3.8.0.1 yang membolehkan anda menyalin objek daripada Dell ECS ke MiniIO yang agak popular dengan pelanggan dan prospek yang sedang memodenkan timbunan storan mereka untuk menyokong keperluan infrastruktur data AI mereka. Pergerakan Data dibina di atas alat sumber terbuka ECS Sync yang menyediakan keupayaan untuk menyalin data secara selari.   Dalam gambaran keseluruhan ini, kami akan menunjukkan kepada anda cara untuk memindahkan data daripada Dell ECS ke MiniIO dengan memfokuskan secara khusus pada perkara berikut:  Mengkonfigurasi Baldi Sumber dan Sasaran  Menyediakan Dasar Pergerakan Data  Memantau dan Melog perpindahan ke MiniIO  Konfigurasikan Baldi Sumber dan Sasaran  Sebelum kita boleh mula membuat dasar untuk memindahkan data, mari pastikan baldi sumber dan sasaran dikonfigurasikan untuk Pergerakan Data.  Konfigurasikan baldi sumber Dell ECS  Secara dalaman, dasar Pergerakan Data mengimbas baldi sumber untuk menghitung semua objek untuk pergerakan data menggunakan Carian Metadata (MD).  Untuk Pergerakan Data benar-benar memindahkan data, anda perlu memastikan Carian MD didayakan pada baldi sumber Dell ECS dan memasukkan LastModified sebagai medan diindeks.   Seterusnya mari kita konfigurasikan MiniIO, baldi sasaran.  Konfigurasikan Baldi Sasaran MiniIO  Untuk membolehkan data dipindahkan ke MiniIO, kami perlu mencipta sumber berikut dalam MInIO terlebih dahulu:  Akses dan Kunci Rahsia  Nama Baldi  dasar IAM  Apabila membuat baldi, pastikan anda mendayakan versi baldi, melainkan baldi sasaran dalam MiniIO dikhususkan hanya untuk dasar pergerakan data. Pastikan anda mencatat butiran di atas selepas menciptanya kerana nilainya diperlukan kemudian.  Dasar IAM harus membenarkan API berikut:  s3:ListBucket  s3:GetObject  s3:PutObject  s3:DeleteObject  Ikuti   ini untuk mengetahui cara membuat dasar IAM, Kunci Akses dan Baldi dalam konsol MiniIO.  panduan  Masukkan nama pengguna yang telah ditetapkan semasa mengkonfigurasi kluster.  Masukkan kata laluan yang telah ditetapkan semasa mengkonfigurasi kluster.  Klik “Log Masuk”     : Baldi yang telah dibuat dan data yang dimuat naik akan ditunjukkan di sini. Pelayar Objek    : Kekunci Akses Gaya IAM AWS Kekunci Akses    : Klik di sini untuk mencipta akses dan rahsia yang berasingan daripada yang kami gunakan untuk melancarkan kluster. Cipta Kunci Akses    : Senaraikan semua baldi yang tersedia. Baldi    : Jika tiada baldi, teruskan dan buat baldi baharu. Buat Baldi    : Polisi IAM Polisi    : Buat dan Sambungkan pelbagai IDP seperti OpenID dan LDAP. Identiti    : Pantau semua aspek kluster dan hantar ke Prometheus. Pemantauan  Setelah baldi Sumber dan Sasaran dikonfigurasikan, mari sediakan Dasar Pergerakan Data.  Dasar Pergerakan Data  Dasar Pergerakan Data ialah definisi dalam Dell ECS yang boleh ditetapkan sama ada melalui UI atau API yang mentakrifkan objek dalam baldi sumber Dell ECS harus disalin ke baldi sasaran MiniIO. Kerja imbasan dasar Pergerakan Data dicetuskan secara automatik tetapi boleh dijeda atau disambung semula pada bila-bila masa. Ini sangat serupa dengan MiniIO  proses. Secara lalai, dasar pergerakan data memindahkan data ke MiniIO mengikut urutan masa LastModified.   replikasi kelompok  Kami akan menunjukkan kepada anda dua senario Pergerakan Data yang berbeza untuk memberi anda idea tentang cara ini boleh berfungsi, tetapi langit adalah had apabila ia melibatkan cara anda ingin melakukan Migrasi.  Pergerakan Data ke MiniIO  Dalam konfigurasi ini, kami akan menambah bit dan bob MiniIO yang diperlukan untuk berkomunikasi dengan Dell ECS. Langkah pertama, sebaik Carian MD didayakan, adalah untuk mendayakan Mobiliti Data   seperti yang ditunjukkan di bawah.  ON  Setelah Mobiliti Data ditetapkan kepada   , kami boleh meneruskan dan mengkonfigurasi dasar. ON    : Tetapkan ini kepada titik akhir MiniO  Titik tamat http://<minio_ip>:<minio_port>    : Ini telah dibuat dalam konsol MiniIO dan disimpan dalam langkah sebelumnya. Akses dan Kunci Rahsia    : Nama baldi sasaran MiniIO Nama Baldi    Ini ialah baldi dalam Dell ECS yang merekodkan sebarang ralat semasa pemindahan. Baldi Pengelogan:  Terdapat tetapan lain, saya tidak pergi melalui semua tetapan, hanya yang paling penting. Sila ambil perhatian bahawa jika data dipadamkan daripada baldi sumber Dell ECS, ia tidak akan dipadamkan daripada baldi sasaran MiniIO selepas pemindahan telah selesai.  Pergerakan Data dengan Dremio ke MiniIO  Sekarang mari kita lihat bagaimana penghijrahan akan kelihatan seperti menggunakan aplikasi yang menggunakan Dremio.   Terdapat beberapa langkah yang berlaku semasa penghijrahan ini  Aplikasi yang dihadapi pelanggan menulis ke baldi Dell ECS.  ECS menyalin ke baldi pementasan dalam MiniIO yang dikonfigurasikan menggunakan dasar pergerakan data.  Data disalin ke baldi pementasan.  Baldi pementasan MiniIO akan digunakan  untuk menghantar mesej kepada RabbitMQ, yang akan dilanggan oleh Dremio.   Pemberitahuan Acara  Dremio membaca mesej dan menyedut data daripada baldi pementasan MiniIO ke baldi Dremio dalam MiniIO.  Setelah data diserap, anda boleh membersihkan baldi pementasan MiniIO menggunakan a  .   dasar kitaran hayat  Ini hanyalah dua contoh tetapi anda boleh menggunakan metodologi ini untuk berhijrah dari mana-mana aplikasi menggunakan Dell ECS ke MiniIO.  Pemantauan dan Pembalakan Pergerakan Data  Semasa proses pemindahan data, adalah penting untuk memerhatikan keseluruhan proses migrasi kerana ia mengalihkan data ke MiniIO. GUI Dell ECS menyediakan papan pemuka gambaran keseluruhan dengan pemantauan lanjutan yang menunjukkan jumlah objek yang disalin, jumlah bait yang disalin, lag tera air, jumlah ralat, objek yang disalin, salinan bait, antara lain.   Anda boleh menelusuri lebih lanjut untuk menunjukkan maklumat khusus sumber/sasaran seperti kiraan objek dan saiz baldi sepanjang tempoh yang dipilih semasa proses migrasi.   Dalam rajah awal pada permulaan blog ini, kami telah menunjukkan baldi log yang kami ada di sebelah ECS, di sinilah semua operasi dari Pergerakan Data direkodkan. Ini sangat membantu untuk menyahpepijat sebarang isu semasa proses migrasi terutamanya apabila ia mengambil masa yang sangat lama disebabkan oleh perkakasan dan kekangan fizikal.  Berikut ialah contoh bagaimana log kelihatan seperti:   2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS  Mengapa berhijrah ke MiniIO?  MiniIO ialah perduaan Go tunggal yang boleh dilancarkan dalam pelbagai jenis awan dan persekitaran di hadapan. Ia sangat ringan, tetapi juga dilengkapi ciri dengan perkara seperti replikasi dan penyulitan, dan ia menyediakan penyepaduan dengan pelbagai aplikasi.  Kami telah  ia pada 325 GiB/s (349 GB/s) pada GET dan 165 GiB/s (177 GB/s) pada PUT dengan hanya 32 nod NVMe SSD yang luar biasa – dan digunakan untuk membina tasik data/rumah tasik dan analisis dan beban kerja AI/ML.   ditanda aras  Bukan itu sahaja tetapi di luar kotak MiniIO juga termasuk:  Penyulitan: MiniIO menyokong kedua-dua penyulitan di  dan dalam  . Ini memastikan bahawa data disulitkan dalam semua aspek transaksi dari saat panggilan dibuat sehingga objek diletakkan di dalam baldi.   Rehat   Transit  : Terdapat beberapa sebab data boleh rosak pada cakera fizikal. Ia mungkin disebabkan oleh lonjakan voltan, pepijat dalam perisian tegar, bacaan dan penulisan yang salah hala antara lain. MiniIO memastikan bahawa ini ditangkap dan diperbaiki dengan cepat untuk memastikan integriti data.   Perlindungan Bitrot  : Daripada memastikan lebihan data menggunakan RAID yang menambah overhed tambahan pada prestasi, MiniIO menggunakan lebihan data dan ciri ketersediaan ini untuk membina semula objek dengan cepat tanpa sebarang perkakasan atau perisian tambahan.   Pengekodan Pemadaman  ACL dan PBAC Akses Selamat: Menyokong dasar gaya IAM S3 dengan IDP terbina dalam, lihat  untuk maklumat lanjut.   Amalan Terbaik MiniIO - Keselamatan dan Kawalan Akses  : Untuk data yang tidak dapat diakses sekerap anda boleh menyedut data ke storan sejuk lain yang menjalankan MinIO supaya anda boleh mengoptimumkan data terkini pada perkakasan terbaik anda tanpa data yang tidak digunakan mengambil ruang.   Pemeringkatan  : MiniIO menyokong penguncian objek (pengekalan) yang menguatkuasakan penulisan sekali dan menyediakan banyak operasi untuk pegangan undang-undang berasaskan tempoh dan tidak terbatas. Ini membolehkan pematuhan pengekalan data utama dan memenuhi keperluan SEC17a-4(f), FINRA 4511(C) dan CFTC 1.31(c)-(d).   Penguncian dan Pengekalan Objek  Apatah lagi, perisian yang baik bukan apa-apa tanpa sokongan yang baik. MiniIO menyediakan salah satu sokongan terbaik di luar sana menggunakan kami  portal. Kami mempunyai jurutera yang bekerja pada asas kod teras MiniIO menjawab soalan secara langsung dalam medium interaktif dan kolaboratif gaya Slack. Apabila anda bercakap dengan jurutera dan bukannya meningkatkan isu anda ke peringkat seterusnya jurutera, orang yang anda bercakap mampu menyelesaikan sebarang isu yang anda temui. Kami juga telah meminta pelanggan kembali kepada kami selepas menggunakan platform storan pesaing kerana kekurangan sokongan yang sewajarnya. Tidak kira jika anda mereka bentuk storan anda dengan semua ciri di bawah matahari, jika anda tidak menyokong pelanggan anda dengan segera maka ia tidak berguna. Bagi kami menyokong pelanggan kami dan menjadikan mereka berjaya adalah keutamaan kami #1.   SUBNET  Jika anda mempunyai sebarang soalan tentang cara memindahkan data anda daripada migrasi Dell ECS ke MiniIO, pastikan anda menghubungi kami di  !   Kendur

Developers do. Download MinIO and see for yourself. 

MinIO

Audio ini dihasilkan dalam bahasa asal cerita!

Migrasi Data daripada Dell ECS kepada MiniIO

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps