Ano ang 10 PB ng Cold Data Really Cost sa AWS, GCP, Azure vs Tape sa loob ng 20 taon

Ano ang isang 10 PB, 20 taon na archive ay talagang mahal sa AWS / GCP / Azure vs isang tape-backed object store Why long-term preservation is back on the board agenda Ang karamihan ng cloud bills ay nagsimula ng buhay bilang rounding errors. Ang ilang terabytes dito, isang backup bucket dito, isang "just in case" archive para sa compliance. Sa loob ng isang taon na ang nakalipas You’ve got sitting in “cold” tiers. petabytes Ang Finance ay nakikita sa isang 7-figure annual cloud line item para sa data na halos hindi gumagana. Ang legal at pag-compliance ay nag-aalok ng mga mahirap na mga tanong tungkol sa soberania, pag-iisip, at mga garantiya ng pag-ulitin. Sustainability ay hindi na isang feel-good slide; ito ay isang emissions target na may pangalan ng iyong kumpanya sa kanya. Ito ay kung saan (data na dapat mong i-cover para sa 5–20+ taon) ay diverges mula sa (data na ginagamit mo upang gamitin ang negosyo). Magtatrabaho sa mga ito sama, at makakakuha ka ng overspending sa isa o under-protect ang isa. preservation storage operational storage Cloud cold storage ay, sa maraming paraan, isang rental model na gumagana brilliantly para sa : elastic workloads Short-term experiments Mga Analysis Paggamit ng Apps Disaster recovery mga kopya na matupad na hindi mo mai-touch But for Kung ang mga ito ay dapat na magkaroon ng isang dekada o higit pa, ang ekonomiya at risk profile ay nagsimula na magiging malaki. regulatory archives, historical content, medical images, logs, and R&D datasets Ito ang dahilan para I-move ang data sa cloud at sa isang on-premise o hosted na environment na iyong kontrolado - ay bumalik sa serious conversations. Hindi dahil "cloud ay isang error," ngunit dahil repatriation ang out not all data belongs on a permanent subscription model. Ang artikulong ito ay naglalakbay sa pamamagitan ng isang konkretong scenario: 10 petabytes ng cold data, na-access tungkol sa 2.5% bawat buwan, sa loob ng 5 / 10 / 20 taon, sa pagitan ng mga pangunahing cloud cold layers at isang tape-based object store. Pagkakaiba sa pagitan ng mga pinakamalaking cloud cold layers at a . 10 petabytes of cold data, accessed about 2.5% per month, over 5 / 10 / 20 years tape-based object store Ipinanganak namin ang matematika na nakikita, ang tono ay sinasabi, at ang konklusyon ay praktikal. The scenario: 10 PB under glass Ang scenario: 10 PB sa ilalim ng glass Ipinapakita namin ang workload upang ang mga numero ay hindi hand-wavy. Total archive size:10 PB = 10,000 TB ≈10,000,000 GB Access rate:2.5% ng data accessed per month → 0.025 × 10,000,000 GB = 250,000 GB / month → ~3,000,000 GB / taon na-recover At ikaw ay: Ang isang malaking, relatively stable corpus (10 PB) Low ngunit hindi zero access (mahayag na read para sa audits, investigations, restorations, at iba pa) A : 5, 10, 20 years long horizon Magbigay kami ng mga comparison: Mga klase ng cold storage AWS S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval S3 Glacier Deep Archive Google Cloud Platform Nearline Coldline Archive Azure Blob Storage Cool tier (Cool access tier) On-premise: isang tape-backed object store Paggamit ng isang profile ng gastos batay sa mga numero sa estilo ng LTO.org para sa isang medium-size tape infrastructure: Hardware (Server): $ 35,000 Hardware (Disk Storage / Cache): $ 25,000 Hardware (Tape library + mga drive): $ 80,000 Mga pahinang tumuturo: $ 63,600 Mga software: $ 35,000 na ang Initial CapEx = $238,600 Sa ngayon: Operating staff: $ 5,000 / buwan = $ 60,000 / taon Maaring: $ 2,000 / taon Floor space: $ 4,500 / buwan = $ 54,000 / taon, na may 4% annual uplift Ang enerhiya: hindi na-specified; kami ay nagtatrabaho ito bilang zero sa matematika (ang tunay na buhay: magdagdag ng maaaring $ 10-15k / taon). Ang mga siklo ng refresh: Server + disk: bawat 5 taon → $60,000 sa mga taon 5, 10, 15, 20 Tape hardware + media: bawat 7 taon → $143,600 sa mga taon 7, 14, 21 Tapos, merong mga commercial na over na. Ipinanganak ang 10 PB sa bahay. cloud egress cost Para sa egress, makikita natin ang isang malaking-volume blended rate ng para sa cloud → on-prem transfers. Real discount deals ay magbabago, ngunit public pricing para sa mga malaking volumes land sa na lugar na ito. $0.05/GB 10 PB = 10,000,000 GB → 10,000,000 GB × $0.05/GB ≈ $500,000 ay bumalik sa repatriate. 10 PB = 10,000,000 GB sa mga repatriate. 10,000,000 GB × $0.05/GB ≈ $500,000 egress Cloud cold storage: the actual cost of “keeping it just in case” Cloud cold storage: ang katotohanan na gastos ng "pagtataguyod lamang sa kaso" Magsisimula sa AWS, pagkatapos ay makikita namin ang GCP at Azure sa isang mataas na antas. Anatomy of cloud cold storage cost Para sa bawat klase ng cloud, ang iyong annual cost ay may dalawang pangunahing mga bahagi: Maghanap ng mga stock: Annual storage cost=Data (GB)×Price ($/GB-month)×12 : Retrieval + egress tolls Annual retrieval cost=Data retrieved annually (GB)×(retrieval fee+egress fee) Sa aking kaso: Mga pahinang tumuturo: 10,000,000 GB Ang mga data na inilabas sa loob ng isang taon: 3,000,000 GB Pag-iisip ng pag-iisip: $ 0.05 / GB (ang mga sumusunod) Pag-recovery fee: varies sa pamamagitan ng storage class Ginagamit namin ang mga tipikal na mga presyo ng rehiyon ng US (pumunta) mula sa 2025 para sa ilustrasyon: AWS (U.S. region; halimbawa base sa AWS advertised pricing (ang iyong mileage ay maaaring malaki)) S3 Glacier Instant Retrieval Storage: ~ $0.004/GB-month Retrieval: ~ (class fee) $0.03/GB S3 Glacier Flexible Retrieval Storage: ~ $0.0036/GB-month Retrieval: ~ (standard retrieval) $0.01/GB S3 Glacier Deep Archive Storage: (AWS public doc) $0.00099/GB-month Retrieval: ~ (typical deep archive retrieval) $0.02/GB GCP and Azure have similar shapes—slightly different list prices, but the same pattern: low storage, . non-trivial retrieval and egress Worked example: AWS S3 Glacier Deep Archive Magbigay ng inspirasyon sa matematika para sa Mga pahinang tumuturo sa S3 Glacier Deep Archive the cheapest major cloud cold tier Inputs Mga pahinang tumuturo: 10,000,000 GB Ang presyo ng storage (S): $0.00099 sa bawat GB-moon Ang volume ng pag-recover: 3,000,000 GB Pag-recovery fee (R): $0.02 bawat GB Egress fee (E): $0.05 bawat GB Step 1 – Annual storage cost Annual storage=10,000,000×0.00099×12 10,000,000 × 0,00099 = 9,900 9,900 × 12 = $118,800 / taon Step 2 – Annual retrieval + egress cost Annual retrieval=3,000,000×(0.02+0.05) Retrieval + egress = 0.02 + 0.05 = $0.07/GB 3,000,000 × 0,07 = $ 210,000 / taon Step 3 – Total annual cost Annual total=118,800+210,000=$328,800 Step 4 – 5, 10, 20-year totals : 5 × 328,800 = 5 years $1,644,000 10 taon: 10 × 328,800 = $ 3,288,000 20 taon: 20 × 328,800 = $ 6,576,000 So even in the , 10 PB with modest ongoing access is: cheapest AWS cold class ~ $1.64M over 5 years ~$3.29M sa loob ng 10 taon ~ $6.58M over 20 years ... at ito ay pag-ignorate: Ang minimum na panahon ng paghahatid (90-180 araw) Per-request fees Staging copies into S3 Standard while restores are “rehydrated” You pay at ang . rent forever tolls every time you read High-level look at other cloud cold tiers Upang gamitin ang parehong pag-argument at kasalukuyang mga halimbawa ng presyo ng publiko (storage + retrieval + egress), pumunta ka sa balpark na ito para sa 10 PB at ang parehong pattern ng access: Order-of-magnitude TCO for 10 PB @ 2.5%/month access Order-of-magnitude TCO for 10 PB @ 2.5%/month access Ang lahat ng mga numero ay na-arrowed sa pinakamataas na $0.1M, nangangahulugan na tulad ng $0.05 / GB egress at representative retrieval fee. AWS Glacier Instant: , , ~$3.6M (5 yr) $7.2M (10 yr) $14.4M (20 yr) Glacier Flexible: , , ~$3.1M $6.1M $12.2M Glacier Deep Archive: , , ~$1.6M $3.3M $6.6M (Nearline / Coldline / Archive with typical prices like 0.010 / 0.007 / 0.004 $ per GB-month) GCP Nearline: , , ~$6.9M $13.8M $27.6M Coldline: , , ~$5.3M $10.5M $21.0M Archive: , , ~$3.9M $7.8M $15.6M (≈ $0.01–0.0115/GB-month plus retrieval + egress; Azure also has Cold/Archive tiers, but you asked specifically for Cool) Azure Blob Cool Blob Cool: , , ~$7.8M $15.6M $31.2M Ang mga pattern: Anything “Instant” o “Cool”: madaling $6–15M+ sa loob ng 10–20 taon. Ang mga pangunahing layer ng archive (AWS Deep Archive, GCP Archive, Azure Archive) ay mas mababa ang bahagi ng storage, ngunit ang retrieval + egress ay palagi. Tape-backed object store: your own cold cloud Ngayon, tingnan natin ang tape-backed object store gamit ang mga numero na ibinigay mo. One-time CapEx Hardware ng mga server: $35,000 Disk Storage (cache): $ 25,000 Tape library + mga drive: $80,000 Mga media ng tape: $63,600 Mga software: $ 35,000 Initial CapEx=35,000+25,000+80,000+63,600+35,000=$238,600 Ako ay to stand up the environment. $238,600 Annual OpEx (baseline) Operations staff: → $5,000/month $60,000/year Maaring: $ 2,000 / taon Floor space: $ 4,500 / buwan → $ 54,000 / taon, na may 4% annual increase Ang enerhiya ngayon, ang iyong : year-1 baseline OpEx Year 1 OpEx=60,000+2,000+54,000=$116,000 Mula sa taon 2 sa itaas, ang floor space ay lumaki: Floor space in year n=54,000×(1.04)^(n−1) Lahat ng iba (ops + maintenance) kami ay patungo sa flat para sa simplicity. Refresh cycles Lahat ng 5 taon (5, 10, 15, 20): $ 60,000 para sa server + disk upgrades Lahat ng 7 taon (7, 14, 21...): $ 143,600 para sa tape hardware + mga bagong media (ngayon kailangan) These are big, but they happen only a few times over 20 years. Putting it together: TCO over 5, 10, 20 years Matematika sa pamamagitan ng: Ang unang capex Annual OpEx (na may escalating floor space) Paglalarawan ng Refresh Makikita mo ang mga sumusunod: 5 taon TCO (tape env lamang) ≈ $0.90M 10 taon TCO ≈ $1.77M ≈ 20-year TCO $3.61M Ngayon i-add ang Para sa pagbibigay ng 10 PB: one-time egress 10,000,000 GB × $0.05 / GB = $500,000 Ako ay “tape + migration” TCO: Horizon Tape env only + 10 PB egress Total Tape+Egress TCO 5yr $0.90M $0.50M $1.40M 10yr $1.77M $0.50M $2.27M 20yr $3.61M $0.50M $4.11M 5 ang $0.90 sa loob ng Mga $0.50m 1,40 milyong 10 ang 1,77 milyong Mga $0.50m Mga $ 2,27 20 ang Mga $ 3,61M Mga $0.50m $4.11M Huwag isipin: ito ay sa Gayunpaman kung i-add $10-15k / taon para sa power at cooling, ang mga total ay malapit na lumipat sa pagitan ng multi-milyon cloud bills. no energy cost Head-to-head: cloud vs tape for 10 PB Head-to-head: cloud vs tape para sa 10 PB Versus AWS S3 Glacier Deep Archive Compare “cheapest viable cloud cold” vs “your own tape cloud”: Horizon AWS S3 Glacier Deep Archive Tape + Egress Cloud – Tape (extra spend) 5yr $1.64M $1.4M +0.24M 10yr $3.29M $2.27M +1.02M 20yr $6.58M $4.11M +2.47M 5 ang Mga $ 1,64M $ 1,4 milya +0.24 sa loob ng 10yr $ 3,29 sa loob ng Mga $ 2,27 +1.02M 20 ang Mga Tiket sa Paglipad $4.11M +2.47M Ang interpretasyon: Sa loob ng 5 taon, ang tape ay gumana, ngunit sa isang maliit na margin (~ $ 240k). Sa loob ng 10 taon, tape+egress ay tungkol sa $ 1M mas mababa. Sa loob ng 20 taon, tape+egress ay halos $2.5M mas mababa. At ito ay laban sa sa mga mainstream cloud cold tiers. cheapest Sa pagitan ng mas mahal na mga layers (Instant, Nearline, Cool), tape wins sa ilang milyong. Pros and cons: this isn’t just about dollars Pros at cons: ito ay hindi lamang tungkol sa dolyar Cloud cold storage – PROs No CapEx, no capacity planning You “flip a switch,” you pay monthly. Good when future capacity needs are uncertain. baked in Global durability and availability Multi-AZ, multi-region options; you inherit their durability and uptime SLAs. Operational simplicity No hardware lifecycle management, no tape handling, no real estate decisions. Elastic recovery and DR use cases Easy to wire into cloud-native DR patterns, cross-region replication, etc. Cloud cold storage – CONs Permanent rental model The longer you keep data, the more the cloud wins— . not you For 10–20-year archives, the TCO behaves like a . perpetual tax Retrieval + egress penalties You pay every time you actually use your preserved data. Harder to justify new analytics or reuse on old data when the meter is running. Pricing opacity and volatility New tiers, new knobs, “discounts” that add complexity. It’s easy to end up paying for the wrong tier or misconfigured lifecycle. Lock-in The more archive data you park, the harder it becomes politically and financially to leave. Tape-backed object store – PROs TCO flattens over time After you absorb CapEx and migration, your , and the 5/7-year refresh cycles are predictable. run-rate is stable The 10–20-year graph looks more like a than an ever-increasing slope. plateau No per-GB retrieval fees You can read as much as you want; the cost is operational, not metered. Incentivizes more reuse of historical data instead of hoarding it in the dark. Control and sovereignty Physical control over media. You decide destruction procedures, air-gapping, and chain of custody. Preservation-friendly Well-designed tape workflows (with checksums, periodic scrubbing, and migration) are still considered among the most robust strategies for long-term digital preservation. Tape-backed object store – CONs Up-front CapEx and project risk You need budget, design time, and internal champions to execute. Migration from cloud introduces scheduling, bandwidth, and cutover risk. Operational complexity Tape libraries, drives, media management, and monitoring are not “set and forget.” You need people (or managed services) with relevant skills. Physical dependency Libraries and robotics can fail. You must design for spare parts, vendor support windows, and disaster recovery. Scalability and agility trade-offs Scaling beyond initial design requires deliberate planning and additional CapEx. You don’t get the same “spin up another region” flexibility you have in cloud. When does repatriation make sense? Kailan ang repatriation ay may kaalaman? Mula sa isang C-suite / IT management lens, i-repatriate ang data ng preservation kapag: The dataset is large enough Order of magnitude: and growing. ≥ 5–10 PB Below that, the complexity may outweigh the savings unless there are strong non-financial drivers. The access pattern is low but steady You touch the data (audits, research, investigations, training sets) but not daily. do Enough to be penalized by retrieval/egress, but not enough to justify hot storage. The retention horizon is long is where the cloud rent really starts to look ugly compared to “owning the house.” 10+ years Regulatory or institutional mandates often live in this band (records, medical, scientific, cultural). Governance and sovereignty matter You need to prove, with confidence, that: Data hasn’t been altered. Retention and deletion policies are actually enforced. Data is stored in specific jurisdictions under your operational control. You can staff or source the operational competency Either in-house tape and archive expertise, or a managed service provider who can run the environment with clear SLAs. Kung i-check ang karamihan ng mga box na ito, ang cloud cold storage para sa preservation ay mas mababa sa “strategic agility” at mas “expensive comfort blanket.” A practical decision framework for the board and CIO Ang isang practical decision framework para sa board at CIO Kung nag-aalok mo kung ano ang dapat gawin sa isang 10 PB archive siting sa Glacier/Coldline/Blob Cool, dito ay isang simpleng roadmap na maaari mong ilagay sa harap ng C-suite. Step 1 – Inventory and segment the archive How much of the 10 PB is: Regulatory / compliance data? High-value institutional memory (R&D, design, media, logs)? Low-value “just in case” junk? Segment by: (years) Retention requirement (frequency, type of queries) Access pattern and risk tolerance Business owner Step 2 – Pagbuo ng isang tunay na baseline ng kasalukuyang gastos sa cloud Pumunta 12-24 buwan ng mga real bills. Separate: Storage charges (by tier) Retrieval charges Egress charges Per-request charges Project those costs over using your actual growth assumptions, not vendor marketing examples. 5 / 10 / 20 years Ito ay kung saan ang 10 PB, 2.5% monthly access math sa itaas ay nagbibigay sa iyo ng isang : kung ang iyong modelo ay nagsasabi na ang iyong TCO ay $ 800k sa loob ng 20 taon, ang modelo - hindi ang matematika - ay mabigyan. sanity check Step 3 - Design ng isang on-prem (o hosted) preservation layer Size the tape environment (drives, slots, media) and disk cache for: Current 10 PB + expected growth. Monthly access pattern (enough drives/cache to keep SLA reasonable). Get for: real quotes Hardware (library, drives, servers, storage) Software (object storage, HSM, preservation workflows) Support contracts Floor space and power Ipasok ang multi-year CapEx/OpEx profile laban sa iyong cloud baseline. Step 4 – Plan ang migration at cutover Decide you want to move 10 PB out: how quickly Network only? Cloud provider’s bulk export devices? Hybrid (start with hottest subsets)? Take into account: Network capacity and impact on other workloads. Order of operations (which buckets/collections first). Parallel validation and fixity checking (hash verification). Temporary storage needed for staging. Ito ay kung saan ang isang-time Ito ay isang financial decision: magbayad ngayon, i-buy back long-term control. $500k egress Step 5 - I-embed ang mga patakaran ng governance at preservation Kahit na kung saan ang mga data ay nakatira, para sa long-term preservation kailangan mo: Clear and legal holds. retention schedules Fixity checks (hash verification) sa pamamagitan ng panahon. Format migrasyon mga plano (file formats, codecs, schemes ay magtatapos). Auditability (who accessed, kung ano ang tinutukoy, kung ano ang tinutukoy). Ang isang tape-backed object store ay maaaring maging iyong , ngunit lamang kung ang governance at proseso ay dinisenyo kasama ang hardware. institutional memory tier Step 6 - Revisited ang lahat ng 5 taon On each tech refresh cycle (5 or 7 years), reassess: Storage media roadmap (LTO generations, new cold media technologies). Cloud pricing changes (cloud isn’t standing still). Regulatory changes (retention, privacy, jurisdiction). Sustainability targets. Ang pag-uugali mo ngayon ay hindi irreversible; kung ano ang ibig sabihin ay hindi mag-sleep sa pagbayad Para sa kung ano ang maaaring maging isang . millions in rent owned, well-run archival estate The bottom line for the C-suite Ang bottom line para sa C-suite Para sa mga operational workloads, ang cloud ay isang malakas na tool. Para sa , cloud cold tiers nakakita ng maraming tulad ng isang sa iyong sarili na kasaysayan, na may isang toll booth sa lahat ng pagkakataon mo makikita ito. 10 PB of long-term preservation data with modest ongoing access lifetime subscription Ang isang tape-backed object store, na napaka-design at operated, ay nag-iisa na ito sa: A predictable, flattening over 20 years. TCO curve Walang per-GB read penalties, na-encouraging reuse at pag-analysis. Improved sovereignty, governance, at preservation control. Ang decision ay hindi “cloud bad, tape good.” Ito ay: I-set ang mga mabilis na, mababago, time-sensitive workloads kung saan ang elasticity at maraming mga serbisyo ay gumagana (cloud). I-set ang malaking, slow-changing, must-keep-for-decades-collections kung saan ang long-term economics at control ay gumagana (tape-backed preservation layer). Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Kung ikaw ay nagtatag ng 10 PB ng "cold" data sa cloud ngayon at naghintay upang i-save ito para sa 10-20 taon, hindi mo lamang i-save ang kasaysayan - ikaw ay i-lease ito. Ang tanong para sa C-suite ay simpleng: Gusto mo bang magbayad ng rental forever, o gusto mo bang magkaroon ng bahay kung saan ang iyong pamumuhay na institusyonal? Gusto mo bang magbayad ng rental forever, o gusto mo bang magkaroon ng bahay kung saan ang iyong pamumuhay na institusyonal?