パブリック クラウドの回帰の経済性と、大規模になるとコストがかかりすぎる理由

過去数年間で明らかになったことは、パブリック クラウドは、そのメリットにもかかわらず、大規模なコスト削減を実現しないということです。ある程度は生産性が向上しますが、コストは削減されません。パブリック クラウドには、ビジネスに必要な規模ですぐに利用できるインフラストラクチャという非常に強力な価値提案を提供し、運用と経済の両方の効率を高めるという利点があります。クラウドは、会社のリソースを解放して新製品や成長に集中できるため、イノベーションの促進にも役立ちます。ただし、データを操作するだけで出力コストが発生し、これは非常に高額であることがわかっています。これは、アプリケーションとワークロードが永続的で一貫性があり、データ集約型 (読み取りおよび書き込み呼び出しのボリューム/速度/種類が多い) である場合、または高性能分析を伴う場合に特に当てはまります。これらは、成長するにつれてパブリック クラウドで維持できなくなります。

「クラウドに関する業界の経験が成熟し、クラウドのライフサイクルが企業の経済に与える影響がより包括的に理解されるようになると、クラウドは企業の初期段階では確実にその期待に応えてくれるものの、企業が拡大し成長が鈍化するにつれて、利益率へのプレッシャーがメリットを上回り始める可能性があることが明らかになってきています。」 -サラ・ワン＆マーティン・カサド、アンドリーセン・ホロウィッツ、2021年

この見解は2021年のものですが、非常に先見の明がありました。2024年には、データは増加しています（ある調査によると、年間平均約20％）。 2022年のIDC調査)、ワークロードが大きくなり、規模が問題になっています。スケーリングの技術ではなく、特にパブリッククラウドでのスケーリングのコストです。デビッド・リンシカムによると、パブリッククラウドが「追い出された」 :

コスト- 特定のワークロードの場合、クラウドで実行するにはコストがかかりすぎます。コモディティ ハードウェアの価格はここ数年で大幅に下がっており、ハードウェアにかかる CapEx は以前ほど大きくありません。

移行の失敗- 最適にリファクタリングされていない、またはクラウドネイティブに調整されていないワークロードは、当初の予測の約 2.5 倍のコストがかかっています。オンプレミスの非効率的なアプリは、クラウドでも非効率的であることが判明しました。効率化にはコストがかかりすぎて、結局は価値がありません。

ニーズの減少 -当初は迅速かつ効率的に起動し、拡張も可能でなければならなかったアプリケーションは、クラウドで拡張されましたが、今では単なる反復タスクとデータストレージのマシンになっています。これらのアプリは、クラウドが提供する高速な拡張性のメリットを享受できなくなり、高価なストレージを大量に使用するだけになっています。柔軟で迅速に拡張可能なモデルはもはや必要ありません。ハードウェアのコモディティ化により、これらのワークロードを実行するための新しいコスト効率の高い方法が生まれました。最近のバークレイズによると、 CIO アンケート多くの CIO が同意しています。

そこから同じa16z記事-

「2017年にDropboxはS-1 IPO 前の 2 年間でインフラストラクチャの最適化の見直しにより、累計で 7,500 万ドルもの節約を実現しました。その大部分は、パブリック クラウドからのワークロードの移行によるものです。」

クラウドコストが売上原価の50%以上（例えばアーサナ、データドッグ、 プレレンダー、その他) の場合は、ワークロードがパブリック クラウドで何を実行しているかを確認する時期です。組織およびビジネスのリーダーは、方向転換できるようにこれを認識する必要があります。データ分析キューブ、インメモリ データベース、データ分析クラスターの実行など、特定のワークロードはオンプレミス インフラストラクチャに適しています。ただし、これらはほんの一例です。

このスケールの問題によって影響を受ける特定のトレンドに焦点を当てるために、AI/ML、特に LLM (大規模言語モデル) を見てみましょう。現在の AI イニシアチブで独自の LLM または基盤モデルを構築している場合は、パブリック クラウドでそれを実行することの短所を検討してください。

1. 規模の拡大に伴う高コスト- 大規模なLLMのトレーニングと運用にはコストがかかり、LLMが大きくなるにつれてパブリッククラウドのコストも増大します。

   
   

2. 制御の喪失- 実装、インフラストラクチャ、パフォーマンスに対する制御と可視性が低下する

   
   

3. ベンダー ロックイン- あるクラウド プラットフォームで LLM をトレーニングした場合、別のプラットフォームに移行するのは困難です。さらに、単一のクラウド プロバイダーだけに依存すると、特にポリシーや価格変動に関して固有のリスクが伴います。

   
   

4. データのプライバシーとセキュリティ- ここではデータ主権についても触れておきます。要するに、世界中の地域にサーバーが分散しているプロバイダーにデータを託すということです。

   
   

企業がペタバイト規模のデータを扱っている場合、またはそのような規模に近づいている場合、経済的にはプライベート クラウドが有利です。確かに、不動産、ハードウェア、電力/冷却を含めたインフラストラクチャを構築する (または Equinix などからリースする) 必要がありますが、それでも経済的には非常に有利です。パブリック クラウドは、クラウド ネイティブの方法を学び、クラウド ネイティブ アプリケーションのポートフォリオにアクセスするには最適な場所ですが、拡張するには最適な場所ではありません。

経済学の例

では、経済性はどうでしょうか。例として、Kubernetes を使用して Apache Spark と Dremio を管理し、永続的で一貫性のある分析ワークロードを実現する 10 PB の最新データレイクを取り上げます。これらのタイプのワークロードでは、分析、更新、リフレッシュ、およびプレゼンテーションのために、オブジェクト ストレージからの頻繁なデータの読み取りと書き込みが必要です。コスト構造の観点から、主なコスト要因についていくつかの仮定を使用します。

• これらのデータ レイクとワークロードは、データを使用できない場合は有用性が限られます。データは洞察を提供し、他のアプリケーションに役立ち、ストレージ環境外で処理する必要がある場合があります。そのためには、データをストレージから転送する必要があります。月間 500 TB がアクセスされると仮定すると、これは月間アクセスされるデータのわずか 5% に過ぎません。

  
  

• データ/オブジェクト リクエスト (PUT、GET、HEAD など) については、1 か月あたり 100 億件を超えるオブジェクト リクエストが発生する、同様の一貫性と持続性のあるワークロードを持つお客様と連携してきました。そのため、このタイプのワークロードでは、100 億件を控えめな想定として使用できます。

  
  

• 同様に、同じ顧客は、それらのオブジェクトに対してほぼ同じ数の暗号化要求を目にするため、ここでも控えめな仮定として 10b を使用します。

  
  

これらの仮定に基づくと、パブリック クラウドのコストは次のようになります。

10PB のパブリック クラウドの年間コスト = 730 万ドルまたは 1 GB/月あたり 0.061 ドル

上記の仮定はあくまでも仮定であり、仮定が多数あるという事実は、特定の使用状況やワークロード要因に応じてコストがどれだけ変動するかを示しています。これにより、予算を立てる際に大きな課題が生じます。さらに、組織は通常、データが「アクティブ」でなくなった場合にデータをよりコールドな層に移動するため、階層化やデータ ライフサイクル アクティビティがまったく行われないこともまれです。しかし、層によって GB/月あたりの価格が異なり、オブジェクトをそれらの層に自動的に移動するためのコストも発生するため、これらすべてがコストを増加させるだけです。

MinIO を使用すると、パブリック クラウドで使用されているのと同じテクノロジ (S3 API 互換のオブジェクト ストレージ、高密度コンピューティング、高速ネットワーク、Kubernetes、コンテナー、マイクロサービス) を使用して、プライベート クラウド (コロケーションまたはデータセンター) を拡張できます。大きな違いの 1 つは、インフラストラクチャがサポートしている限り、オブジェクト リクエスト (GET、PUT など) にコストがかからず、リクエスト数に制限がないことです。さらに、 MinIO Enterprise および Community バージョンには暗号化が含まれており、要求される暗号化オブジェクトの数に制限はありません。

このオプションにより、運用コスト、柔軟性、制御の理想的な組み合わせが実現します。ハードウェアの CAPEX は確かに発生しますが、小規模から始めて、クラウドの主要な教訓 (弾力性、コンポーネントごとのスケーリング、コンピューティングとストレージの分離) を活用することで、企業は初期投資を最小限に抑え、運用コストの節約を最大化できます。

MinIO をコモディティ ハードウェアと組み合わせてコロケーションまたは独自のデータセンターで運用すると、パブリック クラウドのコスト (およびクラウド コストの管理に関連するコスト) を 50% ～ 70% 削減でき、場合によってはそれ以上削減できます。

10PB の年間 Colo/MinIO コスト = 年間 170 万ドル、または 1 GB/月あたり 0.014 ドル

これは、パブリッククラウドと比較して、10PBのストレージのストレージコストが約77%削減されることを意味します。ストレージ容量のニーズが小さい場合でも（200TB～2PB）、節約効果は検討する価値があります。業界最高のストレージパフォーマンス、バケットレベルのセキュリティのための組み込みファイアウォール、オブジェクトストレージ用に特別に設計された可観測性、そしてその他多くの付加価値機能パブリッククラウドでは追加コストがかかります。

リソース要因

簡単に分析する価値のあるもう1つの要素は、リソース（人的資源）です。パブリッククラウドインフラストラクチャの管理に必要なリソースの数は、クラウドインフラストラクチャの規模に応じて5〜10 FTEの範囲になるとお客様から聞いています。これには、クラウドエンジニア、クラウドチームリーダー、DevOpsエンジニア、クラウドPMが含まれます。 グラスドアこれらの FTE コストは、フル稼働の場合、年間 70 万ドルから 150 万ドルの範囲になります。

また、当社のお客様 (最近の調査では 76%) からは、MinIO の重要な価値要因の 1 つとして、使いやすさと管理のしやすさを挙げられています。同じ調査で、60% のお客様が MinIO の運用効率向上の能力を挙げています。

「MinIO により、サポートとメンテナンスのコストが削減されました。」

• プロフェッショナルサービス会社

「MinIO は製品として非常に優れたストレージ ソリューションであり、リソースのコストを 50% 以上削減しました。」

• エンドツーエンドのDevOpsサービスに特化した大手テクノロジーソリューションプロバイダー

社内では、さまざまなワークロード、ストレージ ニーズ、テストなどに MinIO を使用しており、PB 以上のインフラストラクチャでは 1 FTE ～ 3 FTE で MinIO を管理できると見積もっています。これにより、最小限のリソースで大規模なインフラストラクチャを実現できます。

はじめる

プライベートクラウドの経済性がどのように機能するのか、そしてその理由がわかったところで、この道を歩み始めるにはどのような手順を踏めばよいのか疑問に思われるでしょう。私の同僚がこれについて書いています。ここそしてここパブリック クラウドからの移行の詳細については、クラウド チームと DevOps チームにこれらのブログを参照することをお勧めします。

当社では、数多くのお客様がコモディティ ハードウェアと自社のデータ センターまたはコロケーションを使用してデータを本国に戻し、MinIO の高性能でシンプルなオブジェクト ストレージ ソリューションによって実際のコスト削減とメリットを実現しているのを目にしてきました。

上記の分析が示すように、企業は、データセンターまたはコロケーション サービス内の自社ハードウェアにデータを戻すことで、既存のパブリック クラウド S3 の年間推定料金の 50% 以上という大幅なコスト削減を実現できます。上記のシナリオでは、わずか 10PB で、企業は今後 5 年間で約 650 万ドルを節約できます。

実のところ、パブリック クラウドは規模が大きくなるとコストがかかりすぎます。パブリック クラウドは本質的に弾力性があるため、スケーリングは魅力的に見えますが、経済的な観点からはほとんどの場合間違った選択です。これは、AI/ML などのデータ集約型のタスクに特に当てはまります。これらのタスクでは、パブリック クラウドでのコストと制御の喪失がかなり大きくなる可能性があります。データが拡大するにつれて、MinIO を使用したプライベート クラウド ソリューションは経済的に優れたものとなり、同等の (おそらくより優れた) テクノロジを低コストで提供します。コモディティ ハードウェアとプライベート クラウド インフラストラクチャを活用することで、企業はパブリック クラウドと比較して大幅なコスト削減とパフォーマンスのメリットを実現できます。そのメリットは、場合によっては 70% にもなります。ワークロードをパブリック クラウドから移行し、MinIO を使用して重要なビジネス アプリケーションを最新化およびスケーリングすることを検討することをお勧めします。

さらに詳しく知りたい場合や、弊社の価値エンジニアリング機能を利用して独自のモデルを実行したい場合は、弊社までご連絡ください。こんにちはそして会話を始めることができます。