Dell ECS クラスターを使用すると、データを任意の S3 互換ストアに移行できます。Dell ECS ではこの機能を「データ移動」と呼んでおり、クラウドへのコピーとも呼ばれています。これは ECS 3.8.0.1 で導入された機能で、Dell ECS から MinIO にオブジェクトをコピーできます。これは、AI データ インフラストラクチャの要件をサポートするためにストレージ スタックを最新化している顧客や見込み客に非常に人気があります。データ移動は、データを並列にコピーする機能を提供する ECS Sync オープンソース ツール上に構築されています。  この概要では、特に次の点に焦点を当てて、Dell ECS から MinIO にデータを移行する方法を説明します。 ソースバケットとターゲットバケットの設定 データ移動ポリシーの設定 MinIOへの移行の監視とログ記録 ソースバケットとターゲットバケットを構成する データを移行するためのポリシーの作成を開始する前に、ソース バケットとターゲット バケットがデータ移動用に構成されていることを確認しましょう。  Dell ECSソースバケットを構成する 内部的には、データ移動ポリシーはソース バケットをスキャンし、メタデータ (MD) 検索を使用してデータ移動の対象となるすべてのオブジェクトを列挙します。 データ移動で実際にデータを移動するには、Dell ECS ソース バケットで MD 検索が有効になっていることを確認し、インデックス フィールドとして LastModified を含める必要があります。  次に、ターゲット バケットである MinIO を構成します。  MinIOターゲットバケットを構成する データを MinIO に転送するには、事前に MInIO に次のリソースを作成する必要があります。 アクセスキーと秘密キー バケット名 IAM ポリシー バケットを作成するときは、MinIO のターゲット バケットがデータ移動ポリシー専用でない限り、バケットのバージョン管理を必ず有効にしてください。後で値が必要になるため、上記の詳細を作成後に必ずメモしておいてください。  IAM ポリシーでは、次の API を許可する必要があります。  s3:リストバケット s3:オブジェクトの取得 s3:オブジェクトを置く s3:オブジェクトの削除 この に従って、MinIO コンソールで IAM ポリシー、アクセス キー、バケットを作成する方法を学習します。  ガイド クラスターの構成時に設定したユーザー名を入力します。 クラスターの構成時に設定したパスワードを入力します。  「ログイン」をクリック : 作成され、データがアップロードされたバケットがここに表示されます。 オブジェクト ブラウザー : AWS IAM スタイルのアクセスキー アクセスキー : クラスターの起動に使用したものとは別のアクセス キーとシークレットを作成するには、ここをクリックします。 アクセス キーの作成 : 使用可能なすべてのバケットを一覧表示します。 バケット : バケットがない場合は、新しいバケットを作成してください。 バケットの作成 : IAM ポリシー ポリシー : OpenID や LDAP などのさまざまな IDP を作成して接続します。 アイデンティティ : クラスターのあらゆる側面を監視し、それを Prometheus に送信します。 監視 ソース バケットとターゲット バケットが設定されたら、データ移動ポリシーを設定しましょう。 データ移動ポリシー データ移動ポリシーは、Dell ECSの定義であり、UIまたはAPIを介して設定でき、Dell ECSソースバケット内のどのオブジェクトをMinIOターゲットバケットにコピーするかを定義します。データ移動ポリシーのスキャンジョブは自動的にトリガーされますが、いつでも一時停止または再開できます。これは、MinIOの プロセス。デフォルトでは、データ移動ポリシーは LastModified 時間の順にデータを MinIO に移行します。 バッチレプリケーション これがどのように機能するかについてのアイデアを提供するために、2 つの異なるデータ移動シナリオを紹介します。ただし、移行の実行方法に関しては、制限はありません。  MinIOへのデータ移動 この構成では、Dell ECS が通信するために必要な MinIO の各種機能を追加します。MD Search を有効にしたら、まず、以下に示すように、データ モビリティを にします。  ON データ モビリティを に設定したら、ポリシーを構成できます。 ON : MinIOエンドポイント に設定します。 エンドポイント http://<minio_ip>:<minio_port> : これは MinIO コンソールで作成され、前の手順で保存されました。 アクセス キーと秘密キー : MinIO ターゲット バケット名 バケット名 これは、移行中に発生したエラーを記録する Dell ECS のバケットです。 ログ バケット: 他にも設定はありますが、すべての設定を説明したわけではなく、最も重要な設定についてのみ説明しました。Dell ECS ソース バケットからデータが削除された場合、移行が完了した後も MinIO ターゲット バケットからデータは削除されないことに注意してください。  Dremio から MinIO へのデータ移動 ここで、Dremio を使用するアプリケーションを使用した移行がどのようになるかを見てみましょう。  この移行中にいくつかのステップが実行されます 顧客向けアプリケーションが Dell ECS バケットに書き込みます。  ECS は、データ移動ポリシーを使用して構成された MinIO 内のステージング バケットにコピーします。 データはステージング バケットにコピーされます。  MinIOステージングバケットは Dremio がサブスクライブする RabbitMQ にメッセージを送信します。 イベント通知  Dremio はメッセージを読み取り、MinIO ステージング バケットから MinIO の Dremio バケットにデータを取り込みます。 データが取り込まれたら、MinIOステージングバケットをクリーンアップすることができます。 。   ライフサイクルポリシー これらはほんの 2 つの例ですが、この方法論を使用して、Dell ECS を使用する任意のアプリケーションから MinIO に移行できます。 データ移動の監視とログ記録 データ移行プロセスでは、データを MinIO に移動するため、移行プロセス全体を監視することが重要です。Dell ECS GUI は、コピーされたオブジェクトの合計数、コピーされたバイトの合計数、ウォーターマークの遅延、エラーの合計数、コピーされたオブジェクト、コピーされたバイト数などを表示する高度な監視機能を備えた概要ダッシュボードを提供します。  さらにドリルダウンして、移行プロセス中に選択した期間のオブジェクト数やバケット サイズなどのソース/ターゲット固有の情報を表示できます。  このブログの冒頭の最初の図では、ECS 側にあるログ バケットを示しました。これは、データ移動からのすべての操作が記録される場所です。これは、特にハードウェアや物理的な制約により移行プロセスに非常に長い時間がかかる場合に、移行プロセス中の問題をデバッグするのに非常に役立ちます。 ログの例は次のようになります。   2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS  MinIO に移行する理由は何ですか?  MinIO は、さまざまな種類のクラウドおよびオンプレミス環境で起動できる単一の Go バイナリです。非常に軽量ですが、レプリケーションや暗号化などの機能も満載で、さまざまなアプリケーションとの統合も提供します。 私たちは わずか 32 ノードの市販の NVMe SSD で、GET で 325 GiB/秒 (349 GB/秒)、PUT で 165 GiB/秒 (177 GB/秒) の速度を実現し、データ レイク/レイク ハウス、分析、AI/ML ワークロードの構築に使用されています。 ベンチマーク それだけでなく、MinIO にはすぐに使える以下の機能も含まれています。 暗号化: MinIOは、 そして これにより、呼び出しが行われた瞬間からオブジェクトがバケットに配置されるまで、トランザクションのあらゆる側面でデータが暗号化されることが保証されます。 休む 交通 : 物理ディスク上のデータが破損する理由はいくつかあります。電圧スパイク、ファームウェアのバグ、誤った読み取りや書き込みなどが原因である可能性があります。MinIO は、これらをキャプチャしてオンザフライで修正し、データの整合性を確保します。   ビットロット保護 : パフォーマンスにオーバーヘッドを追加する RAID を使用してデータの冗長性を確保するのではなく、MinIO はこのデータ冗長性と可用性機能を使用して、追加のハードウェアやソフトウェアなしでオブジェクトをオンザフライで再構築します。   消失訂正符号 セキュアアクセスACLとPBAC: 組み込みIDPによるIAM S3スタイルのポリシーをサポートします。 詳細についてはこちらをご覧ください。   MinIO ベスト プラクティス - セキュリティとアクセス制御 : あまり頻繁にアクセスされないデータについては、MinIO を実行している別のコールド ストレージにデータを転送して、未使用のデータがスペースを占有することなく、最適なハードウェア上で最新のデータを最適化できます。   階層化 MinIO は、期間ベースおよび無期限の法的保留のために、1 回の書き込みと多数の準備操作を強制するオブジェクト ロック (保持) をサポートします。これにより、キー データ保持コンプライアンスが可能になり、SEC17a-4(f)、FINRA 4511(C)、および CFTC 1.31(c)-(d) の要件を満たします。   オブジェクトのロックと保持 言うまでもなく、良いソフトウェアは良いサポートがなければ意味がありません。MinIOは、 ポータル。MinIO コア コード ベースに取り組んでいるエンジニアが、Slack スタイルのインタラクティブで共同的な媒体で直接質問に回答します。問題を次のレベルのエンジニアに延々とエスカレートするのではなく、エンジニアと話をすれば、話をした人たちが遭遇するあらゆる問題を解決することができます。競合他社のストレージ プラットフォームに移行した後、適切なサポートが受けられなかったために当社に戻ってきたお客様もいます。あらゆる機能を備えたストレージを設計しても、お客様に迅速にサポートしなければ意味がありません。当社にとって、お客様をサポートし、成功させることは最優先事項です。 サブネット  Dell ECSからMinIOへの移行方法についてご質問がある場合は、お気軽にお問い合わせください。 ！ スラック

Developers do. Download MinIO and see for yourself. 

MinIO

このオーディオは、ストーリーの元の言語で制作されています。

Dell ECS から MinIO へのデータ移行

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

暗号通貨の成長: 効果的なユーザーペルソナの作成

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

暗号通貨の成長: 効果的なユーザーペルソナの作成

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps