11,946 測定値

Dell ECS から MinIO へのデータ移行

に MinIO7m2024/09/18

長すぎる; 読むには

Dell ECS クラスターを使用すると、データを任意の S3 互換ストアに移行できます。Dell ECS ではこの機能を「データ移動」と呼び、クラウドへのコピーとも呼ばれます。これは ECS 3.8.0.1 で導入された機能で、Dell E CS から MinIO にオブジェクトをコピーできます。

featured image - Dell ECS から MinIO へのデータ移行

Dell ECS クラスターを使用すると、データを任意の S3 互換ストアに移行できます。Dell ECS ではこの機能を「データ移動」と呼んでおり、クラウドへのコピーとも呼ばれています。これは ECS 3.8.0.1 で導入された機能で、Dell ECS から MinIO にオブジェクトをコピーできます。これは、AI データインフラストラクチャの要件をサポートするためにストレージスタックを最新化している顧客や見込み客に非常に人気があります。データ移動は、データを並列にコピーする機能を提供する ECS Sync オープンソースツール上に構築されています。

この概要では、特に次の点に焦点を当てて、Dell ECS から MinIO にデータを移行する方法を説明します。

ソースバケットとターゲットバケットの設定
データ移動ポリシーの設定
MinIOへの移行の監視とログ記録

ソースバケットとターゲットバケットを構成する

データを移行するためのポリシーの作成を開始する前に、ソースバケットとターゲットバケットがデータ移動用に構成されていることを確認しましょう。

Dell ECSソースバケットを構成する

内部的には、データ移動ポリシーはソースバケットをスキャンし、メタデータ (MD) 検索を使用してデータ移動の対象となるすべてのオブジェクトを列挙します。

データ移動で実際にデータを移動するには、Dell ECS ソースバケットで MD 検索が有効になっていることを確認し、インデックスフィールドとして LastModified を含める必要があります。

次に、ターゲットバケットである MinIO を構成します。

MinIOターゲットバケットを構成する

データを MinIO に転送するには、事前に MInIO に次のリソースを作成する必要があります。

アクセスキーと秘密キー
バケット名
IAM ポリシー

バケットを作成するときは、MinIO のターゲットバケットがデータ移動ポリシー専用でない限り、バケットのバージョン管理を必ず有効にしてください。後で値が必要になるため、上記の詳細を作成後に必ずメモしておいてください。

IAM ポリシーでは、次の API を許可する必要があります。

s3:リストバケット
s3:オブジェクトの取得
s3:オブジェクトを置く
s3:オブジェクトの削除

このガイドに従って、MinIO コンソールで IAM ポリシー、アクセスキー、バケットを作成する方法を学習します。

クラスターの構成時に設定したユーザー名を入力します。
クラスターの構成時に設定したパスワードを入力します。
「ログイン」をクリック

オブジェクトブラウザー: 作成され、データがアップロードされたバケットがここに表示されます。
アクセスキー: AWS IAM スタイルのアクセスキー
1. アクセスキーの作成: クラスターの起動に使用したものとは別のアクセスキーとシークレットを作成するには、ここをクリックします。
バケット: 使用可能なすべてのバケットを一覧表示します。
1. バケットの作成: バケットがない場合は、新しいバケットを作成してください。
ポリシー: IAM ポリシー
アイデンティティ: OpenID や LDAP などのさまざまな IDP を作成して接続します。
監視: クラスターのあらゆる側面を監視し、それを Prometheus に送信します。

ソースバケットとターゲットバケットが設定されたら、データ移動ポリシーを設定しましょう。

データ移動ポリシー

データ移動ポリシーは、Dell ECSの定義であり、UIまたはAPIを介して設定でき、Dell ECSソースバケット内のどのオブジェクトをMinIOターゲットバケットにコピーするかを定義します。データ移動ポリシーのスキャンジョブは自動的にトリガーされますが、いつでも一時停止または再開できます。これは、MinIOのバッチレプリケーションプロセス。デフォルトでは、データ移動ポリシーは LastModified 時間の順にデータを MinIO に移行します。

これがどのように機能するかについてのアイデアを提供するために、2 つの異なるデータ移動シナリオを紹介します。ただし、移行の実行方法に関しては、制限はありません。

MinIOへのデータ移動

この構成では、Dell ECS が通信するために必要な MinIO の各種機能を追加します。MD Search を有効にしたら、まず、以下に示すように、データモビリティをONにします。

データモビリティをONに設定したら、ポリシーを構成できます。

エンドポイント: MinIOエンドポイントhttp://<minio_ip>:<minio_port>に設定します。
アクセスキーと秘密キー: これは MinIO コンソールで作成され、前の手順で保存されました。
バケット名: MinIO ターゲットバケット名
ログバケット:これは、移行中に発生したエラーを記録する Dell ECS のバケットです。

他にも設定はありますが、すべての設定を説明したわけではなく、最も重要な設定についてのみ説明しました。Dell ECS ソースバケットからデータが削除された場合、移行が完了した後も MinIO ターゲットバケットからデータは削除されないことに注意してください。

Dremio から MinIO へのデータ移動

ここで、Dremio を使用するアプリケーションを使用した移行がどのようになるかを見てみましょう。

この移行中にいくつかのステップが実行されます

顧客向けアプリケーションが Dell ECS バケットに書き込みます。
ECS は、データ移動ポリシーを使用して構成された MinIO 内のステージングバケットにコピーします。
データはステージングバケットにコピーされます。
MinIOステージングバケットはイベント通知Dremio がサブスクライブする RabbitMQ にメッセージを送信します。
Dremio はメッセージを読み取り、MinIO ステージングバケットから MinIO の Dremio バケットにデータを取り込みます。
データが取り込まれたら、MinIOステージングバケットをクリーンアップすることができます。ライフサイクルポリシー。

これらはほんの 2 つの例ですが、この方法論を使用して、Dell ECS を使用する任意のアプリケーションから MinIO に移行できます。

データ移動の監視とログ記録

データ移行プロセスでは、データを MinIO に移動するため、移行プロセス全体を監視することが重要です。Dell ECS GUI は、コピーされたオブジェクトの合計数、コピーされたバイトの合計数、ウォーターマークの遅延、エラーの合計数、コピーされたオブジェクト、コピーされたバイト数などを表示する高度な監視機能を備えた概要ダッシュボードを提供します。

さらにドリルダウンして、移行プロセス中に選択した期間のオブジェクト数やバケットサイズなどのソース/ターゲット固有の情報を表示できます。

このブログの冒頭の最初の図では、ECS 側にあるログバケットを示しました。これは、データ移動からのすべての操作が記録される場所です。これは、特にハードウェアや物理的な制約により移行プロセスに非常に長い時間がかかる場合に、移行プロセス中の問題をデバッグするのに非常に役立ちます。

ログの例は次のようになります。

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

MinIO に移行する理由は何ですか?

MinIO は、さまざまな種類のクラウドおよびオンプレミス環境で起動できる単一の Go バイナリです。非常に軽量ですが、レプリケーションや暗号化などの機能も満載で、さまざまなアプリケーションとの統合も提供します。

私たちはベンチマークわずか 32 ノードの市販の NVMe SSD で、GET で 325 GiB/秒 (349 GB/秒)、PUT で 165 GiB/秒 (177 GB/秒) の速度を実現し、データレイク/レイクハウス、分析、AI/ML ワークロードの構築に使用されています。

それだけでなく、MinIO にはすぐに使える以下の機能も含まれています。

暗号化: MinIOは、休むそして交通これにより、呼び出しが行われた瞬間からオブジェクトがバケットに配置されるまで、トランザクションのあらゆる側面でデータが暗号化されることが保証されます。
ビットロット保護: 物理ディスク上のデータが破損する理由はいくつかあります。電圧スパイク、ファームウェアのバグ、誤った読み取りや書き込みなどが原因である可能性があります。MinIO は、これらをキャプチャしてオンザフライで修正し、データの整合性を確保します。
消失訂正符号: パフォーマンスにオーバーヘッドを追加する RAID を使用してデータの冗長性を確保するのではなく、MinIO はこのデータ冗長性と可用性機能を使用して、追加のハードウェアやソフトウェアなしでオブジェクトをオンザフライで再構築します。
セキュアアクセスACLとPBAC: 組み込みIDPによるIAM S3スタイルのポリシーをサポートします。 MinIO ベストプラクティス - セキュリティとアクセス制御詳細についてはこちらをご覧ください。
階層化: あまり頻繁にアクセスされないデータについては、MinIO を実行している別のコールドストレージにデータを転送して、未使用のデータがスペースを占有することなく、最適なハードウェア上で最新のデータを最適化できます。
オブジェクトのロックと保持MinIO は、期間ベースおよび無期限の法的保留のために、1 回の書き込みと多数の準備操作を強制するオブジェクトロック (保持) をサポートします。これにより、キーデータ保持コンプライアンスが可能になり、SEC17a-4(f)、FINRA 4511(C)、および CFTC 1.31(c)-(d) の要件を満たします。

言うまでもなく、良いソフトウェアは良いサポートがなければ意味がありません。MinIOは、サブネットポータル。MinIO コアコードベースに取り組んでいるエンジニアが、Slack スタイルのインタラクティブで共同的な媒体で直接質問に回答します。問題を次のレベルのエンジニアに延々とエスカレートするのではなく、エンジニアと話をすれば、話をした人たちが遭遇するあらゆる問題を解決することができます。競合他社のストレージプラットフォームに移行した後、適切なサポートが受けられなかったために当社に戻ってきたお客様もいます。あらゆる機能を備えたストレージを設計しても、お客様に迅速にサポートしなければ意味がありません。当社にとって、お客様をサポートし、成功させることは最優先事項です。

Dell ECSからMinIOへの移行方法についてご質問がある場合は、お気軽にお問い合わせください。スラック！