Quins 10 PB de dades fredes realment costen a AWS, GCP, Azure vs Tape en 20 anys

Quin cost real té un arxiu de 10 PB de 20 anys a AWS/GCP/Azure versus un magatzem d'objectes amb suport de cinta Why long-term preservation is back on the board agenda La majoria de les factures de núvol van començar la vida com errors d'arrodoniment. Un parell de terabytes aquí, un recipient de seguretat allà, un arxiu "just en cas" per al compliment. semblava barat, flexible i - críticament - el problema d'algú altre. Avanç uns quants anys: Tens petabytes asseguts en nivells “frescos”. Finances està mirant a un element de línia de núvol anual de 7 xifres per a dades que gairebé mai canvien. La llei i el compliment estan plantejant preguntes incòmodes sobre la sobirania, la retenció i les garanties de supressió. La sostenibilitat ja no és un esllavissatge; és un objectiu d'emissions amb el nom de la vostra empresa. Aquí és on (dades que haureu de conservar durant 5–20+ anys) difereix de (dades que utilitzeu activament per dur a terme el negoci). tractar-los igual, i vostè gastarà en excés en un o sota-protegir l'altre. preservation storage operational storage L'emmagatzematge en fred en el núvol és, en molts aspectes, un model de lloguer que funciona brillantment per a : elastic workloads Short-term experiments Anàlisi Bursty Aplicacions de temporada Les còpies de recuperació de desastres que esperes no tocar mai Però per que ha de viure durant una dècada o més, l’economia i el perfil de risc comencen a semblar molt diferents. regulatory archives, historical content, medical images, logs, and R&D datasets És per això que Dades en moviment del núvol i en un entorn on-premise o allotjat que controles, torna en converses serioses. no perquè “el núvol va ser un error”, sinó perquè repatriation fora not all data belongs on a permanent subscription model. Aquest article va a través d'un escenari concret: 10 petabytes de dades fredes, accedits al voltant del 2,5% al mes, durant 5 / 10 / 20 anys, en comparació amb els principals nivells freds de núvols i un magatzem d'objectes basat en cinta. , comparat entre els majors nivells de núvols freds i a . 10 petabytes of cold data, accessed about 2.5% per month, over 5 / 10 / 20 years tape-based object store Mantindrem la matemàtica visible, el to honest i la conclusió pràctica. The scenario: 10 PB under glass Escenari: 10 PB sota el vidre Anem a fixar la càrrega de treball perquè els números no siguin d'ona a mà. Dimensió total de l'arxiu: 10 PB = 10.000 TB ≈10.000.000 GB Taxa d'accés: 2,5% de les dades accedides per mes → 0,025 × 10.000.000 GB = 250.000 GB/mes → ~3,000.000 GB/any recuperades Així que teniu: Un corpus gran i relativament estable (10 PB) Accés baix però no zero (lletes mensuals per a auditories, investigacions, restauracions, etc.) Un llarg horitzó: 5, 10, 20 anys Nosaltres ho compararem: Classe d'emmagatzematge en núvol AWS S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval S3 Glacier Deep Archive Google Cloud Platform Nearline Coldline Archive Azure Blob Storage Cool tier (Cool access tier) On-premise: una botiga d'objectes amb suport de cinta Utilitzar un perfil de cost basat en els números d'estil LTO.org per a una infraestructura de cinta de mida mitjana: Hardware (Server): 35 000 dòlars Hardware (emmagatzematge de disc / memòria cau): $ 25,000 Hardware (Biblioteca de cinta + unitats): $ 80.000 Mitjans de comunicació: $63,600 Programari: 35.000 € El Initial CapEx = $238,600 Actualment en curs: Personal d'operacions: $ 5.000 / mes = $ 60.000 / any Manteniment: 2.000 € / any Espai de terra: $ 4.500 / mes = $ 54.000 / any, amb un 4% d'ascens anual Energia: no especificada; el tractarem com a zero en les matemàtiques (vida real: afegir potser $ 10-15k / any). Cicles de refredament: Servidor + disc: cada 5 anys → 60.000 dòlars als anys 5, 10, 15, 20 Tape hardware + media: → at years 7, 14, 21 every 7 years $143,600 I afegirem una vegada per treure el ple 10 PB a casa. cloud egress cost Per a Egress assumirem una taxa mixta de volum gran de Les ofertes de descompte reals variaran, però els preus públics per a grans volums aterren en aquest barri. $0.05/GB 10 PB = 10.000.000 GB → 10.000.000 GB × $0.05/GB ≈ $500.000 excedir a repatriar. 10 PB = 10.000.000 GB → 10.000.000 GB × $0.05/GB ≈ $500.000 excedir a repatriar. Cloud cold storage: the actual cost of “keeping it just in case” Emmagatzematge en núvol en fred: el cost real de “mantenir-lo només en cas” Comencem amb AWS, després mirem GCP i Azure a un nivell alt. Anatomy of cloud cold storage cost Per a cada classe de núvol, el cost anual té dos components principals: Emmagatzematge net: Annual storage cost=Data (GB)×Price ($/GB-month)×12 Retrieval + Egress taxes: Annual retrieval cost=Data retrieved annually (GB)×(retrieval fee+egress fee) En el nostre cas: Dades emmagatzemades: 10.000.000 GB Dades recuperades anualment: 3.000.000 GB Taxa d'excés: $ 0,05 / GB (assumit) Taxa de recollida: varia segons la classe d'emmagatzematge Utilitzarem els preus regionals típics dels EUA (arrodonits) a partir de 2025 per a una il·lustració: AWS (regió dels EUA; base aproximada sobre el preu anunciat d'AWS (el teu quilometratge pot ser molt)) S3 Glacier Instant Retrieval Storage: ~ $0.004/GB-month Retrieval: ~ (class fee) $0.03/GB S3 Glacier Flexible Retrieval Storage: ~ $0.0036/GB-month Retrieval: ~ (standard retrieval) $0.01/GB S3 Glacier Deep Archive Storage: (AWS public doc) $0.00099/GB-month Retrieval: ~ (typical deep archive retrieval) $0.02/GB GCP i Azure tenen formes similars: preus de llista lleugerament diferents, però el mateix patró: baix emmagatzematge, . non-trivial retrieval and egress Worked example: AWS S3 Glacier Deep Archive A continuació, mostrem la matemàtica per Arxiu S3 Glacier Deep Archive. the cheapest major cloud cold tier Inputs Dades emmagatzemades: 10.000.000 GB Preu de l'emmagatzematge (S): $0.00099 per GB-mes Volum de recuperació anual: 3.000.000 GB Taxa de recuperació (R): 0,02 $ per GB Taxa Egress (E): 0,05 dòlars per GB Step 1 – Annual storage cost Annual storage=10,000,000×0.00099×12 10.000.000 × 0.00099 = 9.900 9,900 × 12 = $118,800 / any Step 2 – Annual retrieval + egress cost Annual retrieval=3,000,000×(0.02+0.05) Recuperació + egress = 0.02 + 0.05 = $0.07/GB 3 000 000 × 0,07 = 210 000 $ / any Step 3 – Total annual cost Annual total=118,800+210,000=$328,800 Step 4 – 5, 10, 20-year totals 5 anys: 5 × 328,800 = $ 1,644,000 10 anys: 10 × 328,800 = $ 3,288,000 20 anys: 20 × 328,800 = 6.576.000 dòlars Fins i tot en la , 10 PB amb accés modest en curs és: cheapest AWS cold class ~$1.64M més de 5 anys ~$3.29M més de 10 anys ~ $ 6.58M més de 20 anys I això és ignorar: Duració mínima de l'emmagatzematge (90-180 dies) Taxes per sol·licitud Staging còpies a S3 estàndard mentre les restauracions són "rehidratats" Vostè paga and . rent forever tolls every time you read High-level look at other cloud cold tiers Utilitzant raonaments similars i exemples actuals de preus públics (emmagatzematge + recuperació + egress), vostè acaba en aquest parc de boles per 10 PB i el mateix patró d'accés: TCO per ordre de mida per 10 PB @ 2,5% / accés mensual Order-of-magnitude TCO for 10 PB @ 2.5%/month access Tots els números es van arrodonir fins als més propers 0,1 milions de dòlars, assumint un cost similar de 0,05 dòlars per GB i despeses de recuperació representatives. AWS Glacier Instant: , , ~$3.6M (5 yr) $7.2M (10 yr) $14.4M (20 yr) Glacier Flexible: , , ~$3.1M $6.1M $12.2M Glacier Deep Archive: , , ~$1.6M $3.3M $6.6M (Nearline / Coldline / Archive with typical prices like 0.010 / 0.007 / 0.004 $ per GB-month) GCP Nearline: , , ~$6.9M $13.8M $27.6M Coldline: , , ~$5.3M $10.5M $21.0M Archive: , , ~$3.9M $7.8M $15.6M (≈ $0.01–0.0115/GB-month plus retrieval + egress; Azure also has Cold/Archive tiers, but you asked specifically for Cool) Azure Blob Cool Blob Cool: , , ~$7.8M $15.6M $31.2M El patró més ampli: : easily . Anything “Instant” or “Cool” $6–15M+ over 10–20 years Deepest archive tiers (AWS Deep Archive, GCP Archive, Azure Archive) lower the storage part, but retrieval + egress still bite. Tape-backed object store: your own cold cloud Ara anem a fer una ullada a la botiga d'objectes amb suport de cinta utilitzant els números que heu proporcionat. One-time CapEx Hardware del servidor: 35.000 dòlars Disk storage (cache): $25,000 Biblioteca de cinta + unitats: 80.000 dòlars Mitjans de comunicació de cinta: $63,600 Programari: 35.000 € Initial CapEx=35,000+25,000+80,000+63,600+35,000=$238,600 Així to stand up the environment. $238,600 Annual OpEx (baseline) Personal d'operacions: $ 5.000 / mes → $ 60.000 / any Manteniment: 2.000 € / any Espai de terra: 4.500 dòlars / mes → 54.000 dòlars / any, amb un augment anual del 4% Des de llavors, la seva energia, : year-1 baseline OpEx Year 1 OpEx=60,000+2,000+54,000=$116,000 From year 2 onward, floor space increases: Floor space in year n=54,000×(1.04)^(n−1) Tota la resta (opcions + manteniment) el mantindrem per a la simplicitat. Refresh cycles Cada 5 anys (5, 10, 15, 20): 60.000 dòlars per a actualitzacions de servidor + disc Every 7 years (7, 14, 21…): for tape hardware + new media (if needed) $143,600 Són grans, però només succeeixen unes poques vegades en 20 anys. Putting it together: TCO over 5, 10, 20 years Córrer la matemàtica amb: Capex inicial Annual OpEx (with escalating floor space) Scheduled refreshes Trobareu un total aproximat: TCO de 5 anys (només env de cinta) ≈ $0.90M 10 anys TCO ≈ $ 1.77M 20 anys TCO ≈ $3.61M Ara afegeix el to bring the 10 PB home: one-time egress 10.000.000 GB × 0,05 $ / GB = 500.000 $ Així “tape + migration” TCO: Horizon Tape env only + 10 PB egress Total Tape+Egress TCO 5yr $0.90M $0.50M $1.40M 10yr $1.77M $0.50M $2.27M 20yr $3.61M $0.50M $4.11M 5r $0.90M 0,50 m 1,40 milions 10r 1,77 milions 0,50 m $2.27M 20 anys $3.61M 0,50 m 4,11 milions Recordeu que això és amb Fins i tot si afegiu $10-15k / any per a l'electricitat i la refrigeració, els totals amb prou feines es mouen en comparació amb les factures de núvol de diversos milions. no energy cost Head-to-head: cloud vs tape for 10 PB Cap a cap: núvol vs cinta per a 10 PB Versus AWS S3 Glacier Deep Archive Compara “el núvol més barat viable fred” vs “el teu propi núvol de cinta”: Horizon AWS S3 Glacier Deep Archive Tape + Egress Cloud – Tape (extra spend) 5yr $1.64M $1.4M +0.24M 10yr $3.29M $2.27M +1.02M 20yr $6.58M $4.11M +2.47M 5r $1.64M $1.4M Més de 0,24 m 10r $3.29M 2,27 milions Més de 1.02 m 20 anys 6,58 milions 4,11 milions Més de 2.47m La interpretació: Over , tape wins, but by a modest margin (~$240k). 5 years Over , tape+egress is about . 10 years $1M cheaper Més de 20 anys, la cinta + esgrès és aproximadament 2,5 milions de dòlars més barat. Això és en contra de Els principals núvols freds. cheapest Versus nivells més cars (Instant, Nearline, Cool), la cinta guanya per diversos milions. Pros and cons: this isn’t just about dollars Pros i contres: no es tracta només de dòlars Cloud cold storage – PROs No CapEx, no capacity planning You “flip a switch,” you pay monthly. Good when future capacity needs are uncertain. baked in Global durability and availability Multi-AZ, multi-region options; you inherit their durability and uptime SLAs. Operational simplicity No hardware lifecycle management, no tape handling, no real estate decisions. Elastic recovery and DR use cases Easy to wire into cloud-native DR patterns, cross-region replication, etc. Cloud cold storage – CONs Permanent rental model The longer you keep data, the more the cloud wins— . not you For 10–20-year archives, the TCO behaves like a . perpetual tax Retrieval + egress penalties You pay every time you actually use your preserved data. Harder to justify new analytics or reuse on old data when the meter is running. Pricing opacity and volatility New tiers, new knobs, “discounts” that add complexity. It’s easy to end up paying for the wrong tier or misconfigured lifecycle. Lock-in The more archive data you park, the harder it becomes politically and financially to leave. Tape-backed object store – PROs TCO flattens over time After you absorb CapEx and migration, your , and the 5/7-year refresh cycles are predictable. run-rate is stable The 10–20-year graph looks more like a than an ever-increasing slope. plateau No per-GB retrieval fees You can read as much as you want; the cost is operational, not metered. Incentivizes more reuse of historical data instead of hoarding it in the dark. Control and sovereignty Physical control over media. You decide destruction procedures, air-gapping, and chain of custody. Preservation-friendly Well-designed tape workflows (with checksums, periodic scrubbing, and migration) are still considered among the most robust strategies for long-term digital preservation. Tape-backed object store – CONs Up-front CapEx and project risk You need budget, design time, and internal champions to execute. Migration from cloud introduces scheduling, bandwidth, and cutover risk. Operational complexity Tape libraries, drives, media management, and monitoring are not “set and forget.” You need people (or managed services) with relevant skills. Physical dependency Libraries and robotics can fail. You must design for spare parts, vendor support windows, and disaster recovery. Scalability and agility trade-offs Scaling beyond initial design requires deliberate planning and additional CapEx. You don’t get the same “spin up another region” flexibility you have in cloud. When does repatriation make sense? Quan té sentit la repatriació? Des d'una lent de gestió de C-suite / IT, repatriem les dades de conservació quan: The dataset is large enough Order of magnitude: and growing. ≥ 5–10 PB Below that, the complexity may outweigh the savings unless there are strong non-financial drivers. The access pattern is low but steady You touch the data (audits, research, investigations, training sets) but not daily. do Enough to be penalized by retrieval/egress, but not enough to justify hot storage. The retention horizon is long is where the cloud rent really starts to look ugly compared to “owning the house.” 10+ years Regulatory or institutional mandates often live in this band (records, medical, scientific, cultural). Governance and sovereignty matter You need to prove, with confidence, that: Data hasn’t been altered. Retention and deletion policies are actually enforced. Data is stored in specific jurisdictions under your operational control. You can staff or source the operational competency Either in-house tape and archive expertise, or a managed service provider who can run the environment with clear SLAs. If you check most of those boxes, cloud cold storage for preservation becomes less “strategic agility” and more “expensive comfort blanket.” A practical decision framework for the board and CIO Un marc de decisió pràctic per al consell i el CIO Si estàs tractant de decidir què fer amb un arxiu de 10 PB assegut a Glacier / Coldline / Blob Cool, aquí tens un mapa de ruta senzill que pots posar davant de la suite C. Pas 1 - Inventari i segmentació de l'arxiu How much of the 10 PB is: Regulatory / compliance data? High-value institutional memory (R&D, design, media, logs)? Low-value “just in case” junk? Segment by: (years) Retention requirement (frequency, type of queries) Access pattern and risk tolerance Business owner Pas 2 – Construir una base real del cost actual del núvol Retirar 12-24 mesos de factures reals. Separate: Storage charges (by tier) Retrieval charges Egress charges Per-request charges Projecció d'aquests costos en 5 / 10 / 20 anys utilitzant els seus supòsits de creixement real, no els exemples de màrqueting de venedors. Aquí és on el 10 PB, el 2,5% de les matemàtiques d'accés mensual més amunt li dóna una : if your model says your TCO will be $800k over 20 years, the model—not the math—is wrong. sanity check Pas 3 - Dissenyar un nivell de conservació on-prem (o allotjat) Size the tape environment (drives, slots, media) and disk cache for: Current 10 PB + expected growth. Monthly access pattern (enough drives/cache to keep SLA reasonable). Get for: real quotes Hardware (library, drives, servers, storage) Software (object storage, HSM, preservation workflows) Support contracts Floor space and power Compareu el perfil CapEx/OpEx multianual amb la base del núvol. Pas 4 – Planificar la migració i el cobrament Decide you want to move 10 PB out: how quickly Network only? Cloud provider’s bulk export devices? Hybrid (start with hottest subsets)? Take into account: Network capacity and impact on other workloads. Order of operations (which buckets/collections first). Parallel validation and fixity checking (hash verification). Temporary storage needed for staging. Aquí és on l'únic És una decisió financera: pagar ara, comprar el control a llarg termini. $500k egress Pas 5 - Incorporar pràctiques de governança i conservació Independentment d'on viuen les dades, per a la conservació a llarg termini necessiteu: Calendaris de retenció clars i possessions legals. Controls de fiabilitat (verificació de hash) al llarg del temps. Plans de migració de format (formats d'arxiu, codecs, esquemes s'envelliran). Auditabilitat (qui va accedir, què es va restaurar, què es va canviar). Una botiga d'objectes amb suport de cinta pot convertir-se en la seva , però només si la governança i el procés estan dissenyats juntament amb el maquinari. institutional memory tier Pas 6 - Revisió cada 5 anys On each tech refresh cycle (5 or 7 years), reassess: Storage media roadmap (LTO generations, new cold media technologies). Cloud pricing changes (cloud isn’t standing still). Regulatory changes (retention, privacy, jurisdiction). Sustainability targets. La decisió que prens avui no és irrevocable; el que importa no és somniar en pagar. El que podria haver estat un . millions in rent owned, well-run archival estate The bottom line for the C-suite The bottom line for the C-suite Per a les càrregues de treball operatives, el núvol segueix sent una eina poderosa. per Els núvols freds semblen molt a a la teva pròpia història, amb un taulell cada vegada que intentes llegir-la. 10 PB of long-term preservation data with modest ongoing access lifetime subscription A tape-backed object store, properly designed and operated, turns that into: Una curva de TCO predictible i aplanada durant 20 anys. No hi ha penalitzacions per GB, encoratjant la reutilització i l'anàlisi. Millorar la sobirania, la governança i el control de la conservació. La decisió no és “cloud bad, tape good”. Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Si avui estàs emmagatzemant 10 PB de dades "fresques" al núvol i esperes mantenir-les allà durant 10-20 anys, no estàs emmagatzemant només l'historial, estàs llogat. La pregunta per a la C-suite és simple: Vols continuar pagant el lloguer per sempre, o vols posseir l’edifici on viu la teva memòria institucional? Vols continuar pagant el lloguer per sempre, o vols posseir l’edifici on viu la teva memòria institucional?