AWS、GCP、Azure で 10 PB の冷たいデータが 20 年以上にわたってコストがかかる

AWS/GCP/Azure で 10 PB, 20 年間のアーカイブがテープでサポートされるオブジェクトストアに比べて本当にかかる費用 Why long-term preservation is back on the board agenda ほとんどのクラウド請求書は、ラウンドエラーとして人生を始めた。 ここに数テラバイト、そこにバックアップボックス、コンプライアンスのための「ただのケース」アーカイブ、それは安く、柔軟に、そして、批判的に誰かの問題に見えた。 早速、数年後: あなたは「冷たい」レベルに座っているペタバイトを持っています。 ファイナンスは、ほとんど変わらないデータのための年間7桁のクラウドラインアイテムに注目しています。 法的およびコンプライアンスは、主権、保留、および削除の保証に関する困難な質問を提起しています。 持続可能性はもはや気分の良いスライドではなく、あなたの会社の名前を含む排出目標です。 ここはどこ (データは5～20年以上保持しなければならない) (あなたが積極的にビジネスを運営するために使用するデータ) 同じように扱い、あなたは1つを過剰に費やしたり、他のものを過剰に保護したりします。 preservation storage operational storage クラウド・クール・ストレージは、多くの点で、素晴らしく機能する賃貸モデルです。 : elastic workloads 短期実験 Burstyアナリスト シーズンアプリ あなたが決して触れないことを望む災害回復コピー しかし、for 10年以上生きなければならないと、経済やリスクプロフィールが大きく異なるようになる。 regulatory archives, historical content, medical images, logs, and R&D datasets だからこそ 移動データ あなたがコントロールしているオンプレミスやホスティング環境に、クラウドから戻り、真面目な会話に戻っています。 repatriation 外出 not all data belongs on a permanent subscription model. この記事は、具体的なシナリオを通して進みます: 10ペタバイトの冷たいデータ、毎月約2.5%にアクセスし、5 / 10 / 20年を超えて、主要なクラウド冷たいレベルとテープベースのオブジェクトストアに比べて。 , compared across major cloud cold layers and a . 10 petabytes of cold data, accessed about 2.5% per month, over 5 / 10 / 20 years tape-based object store 私たちは数学を可視化し、トーンを正直にし、結論を実践的に保ちます。 The scenario: 10 PB under glass シナリオ:10 PB under glass ワークロードを絞り込んで、数字がハンドウェイにならないようにしましょう。 ファイルサイズ:10 PB = 10,000 TB ≈10,000,000 GB アクセス率:毎月アクセスされるデータの2.5%→0.025 × 10,000,000 GB = 250,000 GB/month→ ~3,000,000 GB/year retrieved だからあなたは: 大きな、比較的安定したコルプス(10 PB) アクセス数は低いがゼロではない(監査、調査、修復などのための毎月の読み込み) 長い視野:5年、10年、20年 比較してみよう: クラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラス AWS S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval S3 Glacier Deep Archive Google Cloud Platform Nearline Coldline Archive Azure Blob Storage Cool tier (Cool access tier) On-premise: a tape-backed object store (テープバックされたオブジェクトストア) LTO.org スタイルの数字に基づくコストプロフィールを使用して、中型テープインフラストラクチャ: ハードウェア(サーバー): $35,000 ハードウェア(ディスクストレージ/キャッシュ): $25,000 Hardware (Tape library + drives): $80,000 メディア: $63,600 ソフトウェア:35,000ドル → Initial CapEx = $238,600 進行中: オペレーティングスタッフ: $5,000/month = $60,000/year 保守費:2000ドル/年 フロアスペース: $4,500 / month = $54,000 / year, with 4% annual uplift エネルギー:指定されていない; 数学ではゼロとして扱います(実際の生活:たぶん10～15k/年を加える)。 リフレッシュサイクル: Server + disk: → at years 5, 10, 15, 20 every 5 years $60,000 テープハードウェア + メディア: 7 年ごとに → $143,600 年 7, 14, 21 そして、一度に追加します。 全10PBを家に持ち帰る。 cloud egress cost for egress we will assume a large-volume blended rate of 実際の割引オファーは異なりますが、大容量の公共価格はその地域に着陸します。 $0.05/GB 10 PB = 10,000,000 GB → 10,000,000 GB × $0.05/GB ≈ $500,000 帰国するために退去します。 10 PB = 10,000,000 GB → 10,000,000 GB × $0.05/GB ≈ $500,000 帰国するために退去します。 Cloud cold storage: the actual cost of “keeping it just in case” クラウド・クール・ストレージ:実際のコストは「その場合にだけ維持する」 AWS から始め、GCP と Azure を高いレベルで見ていきましょう。 Anatomy of cloud cold storage cost 各クラスのクラスでは、あなたの年間コストには2つの主要なコンポーネントがあります。 クリーンストレージ: Annual storage cost=Data (GB)×Price ($/GB-month)×12 Retrieval + egress 料金: Annual retrieval cost=Data retrieved annually (GB)×(retrieval fee+egress fee) 私のケースでは: データ容量:10,000GB Data retrieved annually: 3,000,000 GB Egress 料金: $0.05/GB (仮定) 収集料金:ストレージクラスにより異なります。 例文として、2025年以降の典型的な米国の地域価格(丸め)を使用します。 AWS (US リージョン; AWS 広告価格に基づく推定基準 (あなたのマイルは非常に高いかもしれません)) S3 Glacier Instant Retrieval Storage: ~ $0.004/GB-month Retrieval: ~ (class fee) $0.03/GB S3 Glacier Flexible Retrieval Storage: ~ $0.0036/GB-month Retrieval: ~ (standard retrieval) $0.01/GB S3 Glacier Deep Archive Storage: (AWS public doc) $0.00099/GB-month Retrieval: ~ (typical deep archive retrieval) $0.02/GB GCP と Azure には類似の形態があり、リスト価格は少し異なりますが、パターンは同じです:低ストレージ、 . non-trivial retrieval and egress Worked example: AWS S3 Glacier Deep Archive 数学を完全に示すために S3 Glacier Deep Archive の検索結果 the cheapest major cloud cold tier Inputs データ容量:10,000GB ストレージ料金(S): $0,00099 per GB-month Annual retrieval volume: 3,000,000 GB 受信料(R): GB 当たり $0.02 Egress料金(E): GBあたり0.05ドル Step 1 – Annual storage cost Annual storage=10,000,000×0.00099×12 1000000 × 000099 = 9900 9900 × 12 = $118800/年 Step 2 – Annual retrieval + egress cost Annual retrieval=3,000,000×(0.02+0.05) Retrieval + egress = 0.02 + 0.05 = $0.07/GB 3,000,000 × 0.07 = $210,000/year Step 3 – Total annual cost Annual total=118,800+210,000=$328,800 Step 4 – 5, 10, 20-year totals : 5 × 328,800 = 5 years $1,644,000 : 10 × 328,800 = 10 years $3,288,000 20年: 20 × 328,800 = $6,576,000 たとえその中でも、 , 10 PB with modest ongoing access は次のとおりです。 cheapest AWS cold class ~$1.64M 5年以上 ~ $3.29M over 10 years ~$6.58M 20年以上 ...そしてそれは無視している: 最低保管期間の罰則(90～180日) 求人料金 S3 Standard にバージョンアップするコピーを復元時に「リハイド」する あなたは支払う そして . rent forever tolls every time you read 他の雲の冷たい層を高レベルで見る Using similar reasoning and current public price examples (storage + retrieval + egress), you end up in this ballpark for 10 PB and the same access pattern: Order-of-magnitude TCO for 10 PB @ 2.5%/month access Order-of-magnitude TCO for 10 PB @ 2.5%/month access All numbers rounded to nearest $0.1M, assuming similar $0.05/GB egress and representative retrieval fees. AWS Glacier Instant: , , ~$3.6M (5 yr) $7.2M (10 yr) $14.4M (20 yr) Glacier Flexible: , , ~$3.1M $6.1M $12.2M Glacier Deep Archive: , , ~$1.6M $3.3M $6.6M (Nearline / Coldline / Archive with typical prices like 0.010 / 0.007 / 0.004 $ per GB-month) GCP Nearline: , , ~$6.9M $13.8M $27.6M Coldline: , , ~$5.3M $10.5M $21.0M Archive: , , ~$3.9M $7.8M $15.6M (≈ $0.01–0.0115/GB-month plus retrieval + egress; Azure also has Cold/Archive tiers, but you asked specifically for Cool) Azure Blob Cool Blob Cool: , , ~$7.8M $15.6M $31.2M 幅広いパターン: : easily . Anything “Instant” or “Cool” $6–15M+ over 10–20 years 最も深いアーカイブレイヤー(AWS Deep Archive、GCP Archive、Azure Archive)は、ストレージ部分を下げますが、リクエスト + egress はまだ噛みます。 Tape-backed object store: your own cold cloud Now let’s look at the tape-backed object store using the numbers you provided. One-time CapEx Server hardware: $35,000 ディスクストレージ(キャッシュ): $25,000 テープ ライブラリ + ドライブ: $80,000 テープメディア: $63,600 ソフトウェア:35,000ドル Initial CapEx=35,000+25,000+80,000+63,600+35,000=$238,600 こんな 環境に立ち向かうために $238,600 Annual OpEx (baseline) Operations staff: → $5,000/month $60,000/year Maintenance: $2,000/year フロアスペース: $4,500 / month → $54,000 / year, with 4% annual increase 今のエネルギーを無視して、あなたの : year-1 baseline OpEx Year 1 OpEx=60,000+2,000+54,000=$116,000 From year 2 onward, floor space increases: Floor space in year n=54,000×(1.04)^(n−1) 他のすべて(オプション + メンテナンス)は、シンプルさのために平らに保ちます。 Refresh cycles 5年ごとに(5年、10年、15年、20年):サーバー+ディスクアップグレードのための6万ドル 7年ごとに(7年、14年、21年・・・):テープハードウェア+新メディア(必要に応じて)で143600ドル These are big, but they happen only a few times over 20 years. Putting it together: TCO over 5, 10, 20 years Running the math with: 初期キャップ Annual OpEx(エスカレーションフロアスペース) Scheduled refreshes You get approximate totals: 5年間のTCO(テープ envのみ) ≈ $0.90M 10年 TCO ≈ $1.77M 20年 TCO ≈ $3.61M now add the to bring the 10 PB home: one-time egress 10,000,000 GB × $0.05/GB = $500,000 こんな “tape + migration” TCO: Horizon Tape env only + 10 PB egress Total Tape+Egress TCO 5yr $0.90M $0.50M $1.40M 10yr $1.77M $0.50M $2.27M 20yr $3.61M $0.50M $4.11M 5yr ¥0.90m $0.50M 1.40Mドル 10円 1.77Mドル ドル 0.50M $2.27M 20円 ドル 3.61M $0.50M ドル 4.11M 覚えておいてください: That's with 電力と冷却に年間10～15千ドルを加えても、数百万のクラウド請求に比べると、総額はほとんど動かない。 no energy cost Head-to-head: cloud vs tape for 10 PB Head-to-head: cloud vs tape for 10 PB Versus AWS S3 Glacier Deep Archive 「最も安価な実現可能なクラウド・クール」と「あなた自身のテープ・クラウド」を比較する Horizon AWS S3 Glacier Deep Archive Tape + Egress Cloud – Tape (extra spend) 5yr $1.64M $1.4M +0.24M 10yr $3.29M $2.27M +1.02M 20yr $6.58M $4.11M +2.47M 5yr 1.64Mドル ドル 1.4M +0.24M 10yr $3.29M ドル 2.27M トップ > 1.02m 20円 $6.58M ドル 4.11M +247m 解釈: 5年以上にわたり、テープは勝利しますが、謙虚なマージン(~$240k)です。 10年以上にわたり、テープ+エグレスは約100万ドル安くなっています。 Over , tape+egress is roughly . 20 years $2.5M cheaper それは、反対の 主流の雲の冷たい層。 cheapest Versus more expensive tiers (Instant, Nearline, Cool), tape wins by multiple millions. Pros and cons: this isn’t just about dollars 利点と欠点:これは単にドルのことではありません。 Cloud cold storage – PROs No CapEx, no capacity planning You “flip a switch,” you pay monthly. Good when future capacity needs are uncertain. baked in Global durability and availability Multi-AZ, multi-region options; you inherit their durability and uptime SLAs. Operational simplicity No hardware lifecycle management, no tape handling, no real estate decisions. Elastic recovery and DR use cases Easy to wire into cloud-native DR patterns, cross-region replication, etc. Cloud cold storage – CONs Permanent rental model The longer you keep data, the more the cloud wins— . not you For 10–20-year archives, the TCO behaves like a . perpetual tax Retrieval + egress penalties You pay every time you actually use your preserved data. Harder to justify new analytics or reuse on old data when the meter is running. Pricing opacity and volatility New tiers, new knobs, “discounts” that add complexity. It’s easy to end up paying for the wrong tier or misconfigured lifecycle. Lock-in The more archive data you park, the harder it becomes politically and financially to leave. Tape-backed object store – PROs TCO flattens over time After you absorb CapEx and migration, your , and the 5/7-year refresh cycles are predictable. run-rate is stable The 10–20-year graph looks more like a than an ever-increasing slope. plateau No per-GB retrieval fees You can read as much as you want; the cost is operational, not metered. Incentivizes more reuse of historical data instead of hoarding it in the dark. Control and sovereignty Physical control over media. You decide destruction procedures, air-gapping, and chain of custody. Preservation-friendly Well-designed tape workflows (with checksums, periodic scrubbing, and migration) are still considered among the most robust strategies for long-term digital preservation. Tape-backed object store – CONs Up-front CapEx and project risk You need budget, design time, and internal champions to execute. Migration from cloud introduces scheduling, bandwidth, and cutover risk. Operational complexity Tape libraries, drives, media management, and monitoring are not “set and forget.” You need people (or managed services) with relevant skills. Physical dependency Libraries and robotics can fail. You must design for spare parts, vendor support windows, and disaster recovery. Scalability and agility trade-offs Scaling beyond initial design requires deliberate planning and additional CapEx. You don’t get the same “spin up another region” flexibility you have in cloud. When does repatriation make sense? 帰国はいつ意味があるの? From a C-suite / IT management lens, you repatriate preservation data when: The dataset is large enough Order of magnitude: and growing. ≥ 5–10 PB Below that, the complexity may outweigh the savings unless there are strong non-financial drivers. The access pattern is low but steady You touch the data (audits, research, investigations, training sets) but not daily. do Enough to be penalized by retrieval/egress, but not enough to justify hot storage. The retention horizon is long is where the cloud rent really starts to look ugly compared to “owning the house.” 10+ years Regulatory or institutional mandates often live in this band (records, medical, scientific, cultural). Governance and sovereignty matter You need to prove, with confidence, that: Data hasn’t been altered. Retention and deletion policies are actually enforced. Data is stored in specific jurisdictions under your operational control. You can staff or source the operational competency Either in-house tape and archive expertise, or a managed service provider who can run the environment with clear SLAs. If you check most of those boxes, cloud cold storage for preservation becomes less “strategic agility” and more “expensive comfort blanket.” A practical decision framework for the board and CIO 取締役会とCIOのための実践的な意思決定枠組み If you’re trying to decide what to do with a 10 PB archive sitting in Glacier/Coldline/Blob Cool, here’s a simple roadmap you can put in front of the C-suite. Step 1 - Inventory and segment the archive (アーカイブを分割する) How much of the 10 PB is: Regulatory / compliance data? High-value institutional memory (R&D, design, media, logs)? Low-value “just in case” junk? Segment by: (years) Retention requirement (frequency, type of queries) Access pattern and risk tolerance Business owner ステップ2 - 現在のクラウドコストの実際のベースラインを作成する 12～24ヶ月の実際の請求書を引く。 Separate: Storage charges (by tier) Retrieval charges Egress charges Per-request charges これらのコストを5 / 10 / 20年以内にプロジェクトし、ベンダーマーケティングの例ではなく、実際の成長の仮定を使用します。 ここで、上記の10 PB、2.5 %の月間アクセス数学は、あなたに あなたのモデルが20年以内にあなたのTCOが800万ドルになると言うなら、モデル(数学ではなく)は間違っている。 sanity check Step 3 – Design an on-prem (or hosted) preservation layer. ステップ3 – On-prem (or hosted) preservation layerを設計する Size the tape environment (drives, slots, media) and disk cache for: Current 10 PB + expected growth. Monthly access pattern (enough drives/cache to keep SLA reasonable). Get for: real quotes Hardware (library, drives, servers, storage) Software (object storage, HSM, preservation workflows) Support contracts Floor space and power 複数年の CapEx/OpEx プロフィールとクラウドベースラインを比較します。 ステップ4 - 移住と割引の計画 Decide you want to move 10 PB out: how quickly Network only? Cloud provider’s bulk export devices? Hybrid (start with hottest subsets)? Take into account: Network capacity and impact on other workloads. Order of operations (which buckets/collections first). Parallel validation and fixity checking (hash verification). Temporary storage needed for staging. ここは、一度の 経済的な決断:今すぐ支払い、長期的なコントロールを買う。 $500k egress ステップ5 - 統治と保存の実践を組み込む Regardless of where the data lives, for long-term preservation you need: 明確な保存スケジュールと法的保有。 ハッシュチェック(Hash Verification) フォーマット移行プラン(ファイル形式、コーデック、スケジュールが古くなります)。 監査能力(誰がアクセスしたか、何が復元されたか、何が変更されたか) テープバックされたオブジェクトストアはあなたのものになれます。 管理とプロセスがハードウェアとともに設計されている場合に限ります。 institutional memory tier ステップ6:5年ごとに見直し On each tech refresh cycle (5 or 7 years), reassess: Storage media roadmap (LTO generations, new cold media technologies). Cloud pricing changes (cloud isn’t standing still). Regulatory changes (retention, privacy, jurisdiction). Sustainability targets. あなたが今日行う決断は、取り返しがたいものではなく、重要なのは、支払いに眠りにつくことではない。 何が可能だったのかというと、 . millions in rent owned, well-run archival estate The bottom line for the C-suite The bottom line for the C-suite について オペレーティングワークロードでは、クラウドは依然として強力なツールです。 のために , cloud cold tiers look a lot like a あなた自身の歴史に、あなたがそれを読むたびにタクシースタートで。 10 PB of long-term preservation data with modest ongoing access lifetime subscription 適切に設計され、運用されたテープベースのオブジェクトストアは、これを以下に変える: 20年以上にわたる予測可能で平らなTCO曲線。 No per-GB read penalties, encouraging reuse and analysis. 再利用と分析を奨励する。 主権、統治、保存管理の向上。 決断は「クラウドが悪い、テープが良い」ではありません。 柔軟性と豊富なサービスが勝つ場所(クラウド)で、速く、変化しやすい、時間に敏感なワークロードを設定し、長期的な経済とコントロールが勝つ場所(テープベースの保存レベル)で、大きな、ゆっくりと変化するコレクションを構築します。 Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). If you’re holding 10 PB of “cold” data in the cloud today and expecting to keep it there for 10–20 years, you’re not just storing history—you’re renting it. The question for the C-suite is simple: あなたは永遠に家賃を支払い続けたいですか、それともあなたの制度記憶が住んでいる建物を所有したいですか? あなたは永遠に家賃を支払い続けたいですか、それともあなたの制度記憶が住んでいる建物を所有したいですか?