MinIO DataPod: エクサスケール コンピューティングのリファレンス アーキテクチャ

現代の企業は、そのデータによって自らを定義します。そのためには、AI/ML 用のデータ インフラストラクチャだけでなく、ビジネス インテリジェンス、データ分析、データ サイエンスをサポートできる最新のデータレイクの基盤となるデータ インフラストラクチャが必要です。これは、企業が遅れている場合、AI を使い始めたばかりの場合、または高度な洞察を得るために AI を使用している場合に当てはまります。当面は、これが企業の認識方法になるでしょう。企業で AI を市場に出す方法という大きな問題には、複数の次元または段階があります。これには、データの取り込み、変換、トレーニング、推論、生成、アーカイブが含まれ、各段階でデータが共有されます。これらのワークロードが拡大するにつれて、基盤となる AI データ インフラストラクチャの複雑さが増します。これにより、総所有コスト (TCO) を最小限に抑えながら、高性能なインフラストラクチャが必要になります。

MinIO は、エクサスケール AI やその他の大規模データ レイク ワークロードをサポートするデータ インフラストラクチャの包括的な青写真を作成しました。これは MinIO DataPod と呼ばれています。使用する測定単位は 100 PiB です。なぜでしょうか。それは、これが今日の企業で一般的であるからです。以下に簡単な例をいくつか示します。

• ほぼ1エクサバイトの自動車ビデオを保有する北米の自動車メーカー

• 50PB以上の車両テレメトリを備えたドイツの自動車メーカー

• 50PB以上の生物学的、化学的、患者中心のデータを持つバイオテクノロジー企業

• 500PB以上のログファイルを持つサイバーセキュリティ企業

• 200PB以上のビデオを保有するメディアストリーミング会社

• 航空機からの80PB以上の地理空間、ログ、テレメトリデータを保有する防衛請負業者

  
  

現時点で 100 PB に達していなくても、数四半期以内には達するでしょう。平均的な企業は年間 42% の成長率で成長していますが、データ中心の企業はその 2 倍、あるいはそれ以上の成長率で成長しています。

MinIO Datapod リファレンス アーキテクチャは、さまざまな方法でスタックしてほぼあらゆる規模を実現できます。実際、このブループリントを基に、エクサバイトを超える規模や複数のハードウェア ベンダーで構築したお客様がいます。MinIO DataPod は、インフラストラクチャ管理者がさまざまな AI および ML ワークロードに対してコスト効率の高いソリューションを展開できるようにするエンドツーエンドのアーキテクチャを提供します。これが、当社のアーキテクチャの根拠です。

AIには分散ストレージとコンピューティングが必要

AI ワークロード、特に生成 AI では、コンピューティングに GPU が本質的に必要です。GPU は、驚異的なスループット、メモリ帯域幅、並列処理機能を備えた素晴らしいデバイスです。ますます高速化する GPU に対応するには、高速ストレージが必要です。これは、トレーニング データがメモリに収まらず、トレーニング ループでストレージへの呼び出しが増える場合に特に当てはまります。さらに、企業ではパフォーマンスだけでなく、セキュリティ、レプリケーション、回復力も求められます。

エンタープライズ ストレージの要件では、アーキテクチャがストレージをコンピューティングから完全に分離していることが求められます。これにより、ストレージをコンピューティングとは独立して拡張できるようになります。また、ストレージの増加は一般にコンピューティングの増加よりも 1 桁以上大きいため、このアプローチにより、優れた容量使用率を通じて最高の経済性が保証されます。

AIワークロードには異なるクラスのネットワークが必要

ネットワーク インフラストラクチャは、AI ワークロードの展開用に 100 ギガビット/秒 (Gbps) の帯域幅リンクで標準化されています。最新の NVMe ドライブは平均 7GBps のスループットを提供するため、ストレージ サーバーと GPU コンピューティング サーバー間のネットワーク帯域幅が AI パイプライン実行パフォーマンスのボトルネックになります。

Infiniband (IB) のような複雑なネットワーク ソリューションでこの問題を解決するには、実際の制限があります。次の理由から、企業には、すぐに使用できる既存の業界標準のイーサネット ベースのソリューション (HTTP over TCP など) を活用して、GPU に高スループットでデータを配信することをお勧めします。

• より大規模でオープンなエコシステム
• ネットワークインフラコストの削減
• RDMA over Ethernet サポート (例: RoCEv2) による高速相互接続 (800 GbE 以上)
• イーサネットの導入、管理、監視における既存の専門知識とツールを再利用
• GPUとストレージサーバー間の通信に関するイノベーションは、イーサネットベースのソリューションで起こっています。

AIの要件はオブジェクトストレージを必要とする

パブリック クラウドの AI データ インフラストラクチャがすべてオブジェクト ストア上に構築されているのは偶然ではありません。また、すべての主要な基礎モデルがオブジェクト ストアでトレーニングされたのも偶然ではありません。これは、POSIX が AI に必要なデータ規模で動作するにはあまりにも多すぎるという事実によるものです (従来のファイラーの主張に反して)。

パブリック クラウドで AI を提供するのと同じアーキテクチャを、プライベート クラウド、そしてもちろんハイブリッド クラウドにも適用する必要があります。オブジェクト ストアは、さまざまなデータ形式や大量の非構造化データの処理に優れており、パフォーマンスを犠牲にすることなく、増大するデータに合わせて簡単に拡張できます。フラットな名前空間とメタデータ機能により、大規模なデータセットへの高速アクセスを必要とする AI タスクに不可欠な効率的なデータ管理と処理が可能になります。

高速 GPU が進化し、ネットワーク帯域幅が 200/400/800 Gbps 以上に標準化されるにつれて、最新のオブジェクト ストアが AI ワークロードのパフォーマンス SLA とスケールを満たす唯一のソリューションになります。

すべてをソフトウェアで定義

GPU が主役であり、ハードウェアであることは周知の事実です。しかし、Nvidia でさえ、その秘密は CUDA にあると語っています。しかし、チップの外に目を向けると、インフラストラクチャの世界はますますソフトウェア定義になっています。このことは、ストレージほど当てはまる分野はありません。ソフトウェア定義のストレージ ソリューションは、スケーラビリティ、柔軟性、クラウド統合に不可欠であり、次の理由から従来のアプライアンス ベースのモデルを上回っています。

• クラウド互換性: ソフトウェア定義ストレージは、複数のクラウドにまたがって実行できないアプライアンスとは異なり、クラウド操作に適合します。

  
  

• コンテナ化: アプライアンスをコンテナ化できないため、クラウドネイティブの利点が失われ、Kubernetes オーケストレーションができなくなります。

  
  

• ハードウェアの柔軟性: ソフトウェア定義ストレージは、エッジからコアまで幅広いハードウェアをサポートし、多様な IT 環境に対応します。

  
  

• 適応型パフォーマンス: ソフトウェア定義ストレージは比類のない柔軟性を提供し、さまざまなチップセットにわたるさまざまな容量とパフォーマンスのニーズを効率的に管理します。

  
  

エクサバイト規模では、シンプルさとクラウドベースの運用モデルが重要です。ソフトウェア定義ソリューションとしてのオブジェクト ストレージは、市販のコモディティ (COTS) ハードウェアや、ベアメタル、仮想マシン、コンテナなど、あらゆるコンピューティング プラットフォームでシームレスに動作する必要があります。

オブジェクト ストレージ用のカスタム ハードウェア アプライアンスは、多くの場合、設計の悪いソフトウェアを高価なハードウェアと複雑なソリューションで補うため、総所有コスト (TCO) が高くなります。

AI向けMinIO DataPODハードウェア仕様:

AI イニシアチブに MinIO を使用するエンタープライズ顧客は、エクサバイト規模のデータ インフラストラクチャを 100PiB の繰り返し可能な単位で構築します。これにより、インフラストラクチャ管理者は、一定期間にわたって AI データが指数関数的に増加しても、展開、保守、スケーリングのプロセスを容易に行うことができます。以下は、100PiB 規模のデータ インフラストラクチャを構築するための部品表 (BOM) です。

クラスター仕様

シングルラック仕様

ストレージサーバーの仕様

ストレージ サーバー リファレンス

Dell : PowerEdge R7615 ラック サーバー

HPE : HPE ProLiant DL345 Gen11

スーパーマイクロ: A+ サーバー 2114S-WN24RT

ネットワークスイッチ仕様

価格

MinIO は複数の顧客でこのアーキテクチャを検証しており、他の顧客も 1 テラバイトあたり月額平均価格を目にすることになると思われます。これは平均的な市場価格であり、実際の価格は構成やハードウェア ベンダーとの関係によって異なる場合があります。

AI 向けのベンダー固有のターンキー ハードウェア アプライアンスは、TCO が高くなり、エクサバイト規模の大規模データ AI イニシアチブのユニット エコノミクスの観点から拡張できません。

結論

すべての AI/ML ワークロードの TCO 目標を満たしながらエクサバイト規模のデータ インフラストラクチャをセットアップすることは、複雑で、正しく行うのが難しい場合があります。MinIO の DataPOD インフラストラクチャ ブループリントにより、インフラストラクチャ管理者は、拡張性が高く、パフォーマンスが高く、コスト効率に優れた S3 互換の MinIO エンタープライズ オブジェクト ストアを使用して、必要な市販のハードウェアをシンプルかつ簡単にセットアップできるため、エンタープライズ ランドスケープ内の組織全体で AI イニシアチブからの価値実現までの全体的な時間が改善されます。