Što 10 PB hladnih podataka stvarno košta u AWS-u, GCP-u, Azure-u i Tape-u tijekom 20 godina

Što 10 PB, 20-godišnji arhiv stvarno košta u AWS / GCP / Azure-u u usporedbi s prodajom objekata uz potporu trake Why long-term preservation is back on the board agenda Većina računa u oblaku započela je život kao zaokružene pogreške. Nekoliko terabajta ovdje, rezervna kutija tamo, arhiv "samo u slučaju" za usklađenost. izgledalo je jeftino, fleksibilno i - kritično - netko drugi problem. Brzo napredovanje nekoliko godina: Imate petabajte koji sjede u "hladnim" razinama. Financije gledaju na 7-cifrenu godišnju liniju oblaka za podatke koji se gotovo nikada ne mijenjaju. Pravo i usklađenost postavljaju neugodna pitanja o suverenitetu, zadržavanju i jamstvima brisanja. Održivost više nije slajd za dobro raspoloženje; to je cilj emisije s imenom vaše tvrtke na njemu. Ovo je mjesto gdje (podaci koje morate čuvati 5–20+ godina) razlikuje se od (Podaci koje aktivno koristite za vođenje poslovanja). tretirajte ih isto, a vi ćete trošiti previše na jednom ili pod-zaštititi drugi. preservation storage operational storage Cloud hladno skladištenje je, na mnoge načine, model najma koji radi sjajno za : elastic workloads Kratkoročni eksperimenti Bursty analitičari Sezonske aplikacije Kopije za oporavak katastrofa koje se nadate da nikada nećete dodirnuti Ali za koji moraju živjeti desetljeće ili više, ekonomija i profil rizika počinju izgledati vrlo različito. regulatory archives, historical content, medical images, logs, and R&D datasets Evo zašto Premještanje podataka od oblaka i u okruženje na licu mjesta ili smješteno pod kontrolom – vraća se u ozbiljne razgovore. repatriation out not all data belongs on a permanent subscription model. Ovaj članak ide kroz konkretan scenarij: 10 petabajta hladnih podataka, pristupa oko 2,5% mjesečno, tijekom 5 / 10 / 20 godina, u usporedbi s velikim hladnim slojevima oblaka i skladištem objekata na bazi trake. , u usporedbi s velikim hladnim slojevima oblaka i . 10 petabytes of cold data, accessed about 2.5% per month, over 5 / 10 / 20 years tape-based object store Matematika će biti vidljiva, ton iskren, a zaključak praktičan. The scenario: 10 PB under glass Scenarij: 10 PB pod staklom Postavimo radno opterećenje tako da brojevi nisu ručni valovi. Ukupna veličina arhiva: 10 PB = 10 000 TB ≈ 10 000 000 GB Stopa pristupa: 2,5% podataka pristupljenih mjesečno → 0,025 × 10 000 000 GB = 250 000 GB / mjesec → ~ 3 000 000 GB / godina prikupljenih Dakle imate: Veliki, relativno stabilan korpus (10 PB) Niska, ali ne i nula pristupa (mjesečna čitanja za revizije, istrage, restauracije itd.) Dugi horizont: 5, 10, 20 godina Mi ćemo usporediti: Cloud hladno skladištenje klase AWS S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval S3 Glacier Deep Archive Google Cloud Platform Nearline Coldline Archive Azure Blob Storage Cool tier (Cool access tier) On-premise: prodavnica objekata s potporom na trakama Korištenje profila troškova na temelju brojeva u stilu LTO.org za infrastrukturu srednje veličine trake: Hardware (Server): 35 tisuća dolara Hardware (Skladištenje na disku / cache): 25.000 dolara Hardware (Tape knjižnica + diskovi): 80.000 dolara Mediji: $ 63,600 Softver: 35 tisuća dolara → Initial CapEx = $238,600 U tijeku : Operativno osoblje: 5 000 USD / mjesec = 60 000 USD / godina Održavanje: 2000 dolara godišnje Podni prostor: $ 4.500 / mjesec = $ 54.000 / godina, s 4% godišnjeg podizanja Energija: nije navedeno; mi ćemo ga tretirati kao nulu u matematici (stvarni život: dodajte možda 10-15 tisuća dolara godišnje). Ciklusi osvježavanja: Server + disk: svakih 5 godina → 60.000 dolara u godinama 5, 10, 15, 20 Tape hardver + mediji: svakih 7 godina → 143.600 dolara u godinama 7, 14, 21 Dodat će se jedanput Pokušajte izvući punih 10 PB kući. cloud egress cost Za egress ćemo pretpostaviti veliku količinu mješovite stope Stvarne popust ponude će varirati, ali javna cijena za velike količine zemljišta u tom susjedstvu. $0.05/GB 10 PB = 10 000 000 GB → 10 000 000 GB × 0,05 USD/GB ≈ 500 000 USD za repatrijaciju. 10 PB = 10 000 000 GB Za povratak u domovinu. 10,000,000 GB × $0.05/GB ≈ $500,000 egress Cloud cold storage: the actual cost of “keeping it just in case” Hladno skladištenje u oblaku: stvarni trošak "držati ga samo u slučaju" Počnimo s AWS-om, a zatim ćemo pogledati GCP i Azure na visokoj razini. Anatomy of cloud cold storage cost Za svaku klasu oblaka, godišnji trošak ima dvije glavne komponente: Čistoća skladišta: Annual storage cost=Data (GB)×Price ($/GB-month)×12 Retrieval + egress pristojbe: Annual retrieval cost=Data retrieved annually (GB)×(retrieval fee+egress fee) U našem slučaju: Broj pohranjenih podataka: 10 000 GB Godišnje prikupljanje podataka: 3 000 000 GB Pristojba za Egress: 0,05 USD/GB ( pretpostavlja se) Naknada za preuzimanje: varira prema klasi skladištenja Za ilustraciju ćemo koristiti tipične cijene regije SAD-a (zaokružene) od 2025. godine: AWS (region SAD-a; približna osnova na AWS oglašavanju cijena (vaša kilometraža može biti vrlo)) S3 Glacier Instant Retrieval Storage: ~ $0.004/GB-month Retrieval: ~ (class fee) $0.03/GB S3 Glacier Flexible Retrieval Storage: ~ $0.0036/GB-month Retrieval: ~ (standard retrieval) $0.01/GB S3 Glacier Deep Archive Storage: (AWS public doc) $0.00099/GB-month Retrieval: ~ (typical deep archive retrieval) $0.02/GB GCP i Azure imaju slična oblika - malo različite cijene popisa, ali isti uzorak: nisko skladištenje, . non-trivial retrieval and egress Worked example: AWS S3 Glacier Deep Archive Pokušajmo u potpunosti pokazati matematiku za S3 Glacier Deep Archive (S3 Glacier duboki arhiv) the cheapest major cloud cold tier Inputs Broj pohranjenih podataka: 10 000 GB Cijena skladištenja (S): $0.00099 po GB-mjeseci Godišnji volumen pretraživanja: 3 000 000 GB Naknada za preuzimanje (R): 0,02 USD po GB Pristojba za Egress (E): 0,05 USD po GB Step 1 – Annual storage cost Annual storage=10,000,000×0.00099×12 10 000 000 × 0 00099 = 9 900 9,900 × 12 = 118 800 dolara godišnje Step 2 – Annual retrieval + egress cost Annual retrieval=3,000,000×(0.02+0.05) Retrieval + egress = 0.02 + 0.05 = $0.07/GB 3 000 000 × 0,07 = 210 000 USD godišnje Step 3 – Total annual cost Annual total=118,800+210,000=$328,800 Step 4 – 5, 10, 20-year totals : 5 × 328,800 = 5 years $1,644,000 10 godina: 10 × 328,800 = $ 3,288,000 20 godina: 20 × 328.800 = 6.576.000 dolara So even in the , 10 PB s skromnim kontinuiranim pristupom je: cheapest AWS cold class ~ $ 1.64M tijekom 5 godina ~ $3.29M over 10 years ~ $ 6.58M preko 20 godina I to je ignoriranje: Kazne za minimalno vrijeme skladištenja (90-180 dana) Zahtjev za plaćanje Stagiranje kopija u S3 Standard dok su obnovi "rehidrirani" Vi plaćate i . rent forever tolls every time you read Vrhunski pogled na druge hladne razine oblaka Korištenjem sličnih razmatranja i trenutnih primjera javnih cijena (skladištenje + preuzimanje + izlazak), završite u ovoj lopti za 10 PB i istom obrascu pristupa: Order-of-magnitude TCO for 10 PB @ 2.5%/month access Order-of-magnitude TCO for 10 PB @ 2.5%/month access All numbers rounded to nearest $0.1M, assuming similar $0.05/GB egress and representative retrieval fees. AWS Glacier Instant: , , ~$3.6M (5 yr) $7.2M (10 yr) $14.4M (20 yr) Glacier Flexible: , , ~$3.1M $6.1M $12.2M Glacier Deep Archive: , , ~$1.6M $3.3M $6.6M (Nearline / Coldline / Archive with typical prices like 0.010 / 0.007 / 0.004 $ per GB-month) GCP Nearline: , , ~$6.9M $13.8M $27.6M Coldline: , , ~$5.3M $10.5M $21.0M Archive: , , ~$3.9M $7.8M $15.6M (≈ $0.01–0.0115/GB-month plus retrieval + egress; Azure also has Cold/Archive tiers, but you asked specifically for Cool) Azure Blob Cool Blob Cool: , , ~$7.8M $15.6M $31.2M Široki uzorak: : easily . Anything “Instant” or “Cool” $6–15M+ over 10–20 years Deepest archive tiers (AWS Deep Archive, GCP Archive, Azure Archive) lower the storage part, but retrieval + egress still bite. Tape-backed object store: your own cold cloud Now let’s look at the tape-backed object store using the numbers you provided. One-time CapEx Hardware servera: 35 tisuća dolara Disk storage (cache): $25,000 Knjižnica tepiha + pogoni: 80.000 dolara Mediji za snimanje: $ 63,600 Software: $35,000 Initial CapEx=35,000+25,000+80,000+63,600+35,000=$238,600 tako Da bi se zaštitilo okoliš. $238,600 Annual OpEx (baseline) Operativno osoblje: 5 000 USD / mjesec → 60 000 USD / godina Održavanje: 2000 dolara godišnje Podni prostor: 4.500 dolara mjesečno → 54.000 dolara godišnje, s godišnjim povećanjem od 4% Ignorirajući energiju za sada, vaš : year-1 baseline OpEx Year 1 OpEx=60,000+2,000+54,000=$116,000 From year 2 onward, floor space increases: Floor space in year n=54,000×(1.04)^(n−1) Sve ostalo (opcije + održavanje) ćemo držati ravnomjerno za jednostavnost. Refresh cycles Svakih 5 godina (5, 10, 15, 20): 60.000 dolara za nadogradnje servera + diska Svakih 7 godina (7, 14, 21...): $ 143,600 za hardver za trake + novi mediji (ako je potrebno) Oni su veliki, ali se događaju samo nekoliko puta tijekom 20 godina. Putting it together: TCO over 5, 10, 20 years Učinite matematiku s: Inicijalni CapEx Godišnji OpEx (s eskalirajućim podnim prostorom) Planirane osvježavanje Dobivate približne ukupne vrijednosti: 5-godišnji TCO (samo tape env) ≈ $ 0.90M 10-godišnji TCO ≈ $ 1.77M 20 godina TCO ≈ $ 3.61M Sada dodajte to bring the 10 PB home: one-time egress 10 000 000 GB × 0,05 USD/GB = 500 000 USD tako “tape + migration” TCO: Horizon Tape env only + 10 PB egress Total Tape+Egress TCO 5yr $0.90M $0.50M $1.40M 10yr $1.77M $0.50M $2.27M 20yr $3.61M $0.50M $4.11M 5R 0,90 m 0,50 m 1,40 milijuna 10 IRA $1.77M 0,50 m $2.27M dvadesetih 3,61 milijuna 0,50 m $4.11M Zapamtite: to je s Čak i ako dodate 10-15 tisuća dolara godišnje za struju i hlađenje, ukupni iznosi jedva se kreću u usporedbi s multi-milijun računima za cloud. no energy cost Head-to-head: cloud vs tape for 10 PB Head-to-head: cloud vs tape za 10 PB Versus AWS S3 Glacier Deep Archive Compare “cheapest viable cloud cold” vs “your own tape cloud”: Horizon AWS S3 Glacier Deep Archive Tape + Egress Cloud – Tape (extra spend) 5yr $1.64M $1.4M +0.24M 10yr $3.29M $2.27M +1.02M 20yr $6.58M $4.11M +2.47M 5yr 1,64 milijuna $1.4M +0.24M 10 IRA $3.29M $2.27M + 1,02 m dvadesetih $6.58M $4.11M Više od 2.47m Interpretation: Over , tape wins, but by a modest margin (~$240k). 5 years Više od 10 godina, tape+egress je oko 1M dolara jeftiniji. Više od 20 godina, tape+egress je otprilike 2,5 milijuna dolara jeftiniji. A to je protiv od mainstream oblak hladnih razina. cheapest U odnosu na skuplje razine (Instant, Nearline, Cool), traka pobjeđuje za nekoliko milijuna. Pros and cons: this isn’t just about dollars Pro i kontra: nije riječ samo o dolarima Cloud cold storage – PROs No CapEx, no capacity planning You “flip a switch,” you pay monthly. Good when future capacity needs are uncertain. baked in Global durability and availability Multi-AZ, multi-region options; you inherit their durability and uptime SLAs. Operational simplicity No hardware lifecycle management, no tape handling, no real estate decisions. Elastic recovery and DR use cases Easy to wire into cloud-native DR patterns, cross-region replication, etc. Cloud cold storage – CONs Permanent rental model The longer you keep data, the more the cloud wins— . not you For 10–20-year archives, the TCO behaves like a . perpetual tax Retrieval + egress penalties You pay every time you actually use your preserved data. Harder to justify new analytics or reuse on old data when the meter is running. Pricing opacity and volatility New tiers, new knobs, “discounts” that add complexity. It’s easy to end up paying for the wrong tier or misconfigured lifecycle. Lock-in The more archive data you park, the harder it becomes politically and financially to leave. Tape-backed object store – PROs TCO flattens over time After you absorb CapEx and migration, your , and the 5/7-year refresh cycles are predictable. run-rate is stable The 10–20-year graph looks more like a than an ever-increasing slope. plateau No per-GB retrieval fees You can read as much as you want; the cost is operational, not metered. Incentivizes more reuse of historical data instead of hoarding it in the dark. Control and sovereignty Physical control over media. You decide destruction procedures, air-gapping, and chain of custody. Preservation-friendly Well-designed tape workflows (with checksums, periodic scrubbing, and migration) are still considered among the most robust strategies for long-term digital preservation. Tape-backed object store – CONs Up-front CapEx and project risk You need budget, design time, and internal champions to execute. Migration from cloud introduces scheduling, bandwidth, and cutover risk. Operational complexity Tape libraries, drives, media management, and monitoring are not “set and forget.” You need people (or managed services) with relevant skills. Physical dependency Libraries and robotics can fail. You must design for spare parts, vendor support windows, and disaster recovery. Scalability and agility trade-offs Scaling beyond initial design requires deliberate planning and additional CapEx. You don’t get the same “spin up another region” flexibility you have in cloud. When does repatriation make sense? Kada povratak ima smisla? Iz objektiva za upravljanje C-suite / IT, vraćate podatke o očuvanju kada: The dataset is large enough Order of magnitude: and growing. ≥ 5–10 PB Below that, the complexity may outweigh the savings unless there are strong non-financial drivers. The access pattern is low but steady You touch the data (audits, research, investigations, training sets) but not daily. do Enough to be penalized by retrieval/egress, but not enough to justify hot storage. The retention horizon is long is where the cloud rent really starts to look ugly compared to “owning the house.” 10+ years Regulatory or institutional mandates often live in this band (records, medical, scientific, cultural). Governance and sovereignty matter You need to prove, with confidence, that: Data hasn’t been altered. Retention and deletion policies are actually enforced. Data is stored in specific jurisdictions under your operational control. You can staff or source the operational competency Either in-house tape and archive expertise, or a managed service provider who can run the environment with clear SLAs. Ako provjerite većinu tih kutija, hladno skladištenje u oblaku za očuvanje postaje manje "strateške agilnosti" i više "skuplje udobnosti". A practical decision framework for the board and CIO A practical decision framework for the board and CIO Ako pokušavate odlučiti što učiniti s 10 PB arhivskim sjedištem u Glacier / Coldline / Blob Cool, ovdje je jednostavan plan koji možete staviti ispred C-suita. Korak 1 – Popis i segmentacija arhiva How much of the 10 PB is: Regulatory / compliance data? High-value institutional memory (R&D, design, media, logs)? Low-value “just in case” junk? Segment by: (years) Retention requirement (frequency, type of queries) Access pattern and risk tolerance Business owner Korak 2 – Izgradite stvarnu bazu trenutnih troškova oblaka Izvadite 12-24 mjeseca stvarnih računa. Separate: Storage charges (by tier) Retrieval charges Egress charges Per-request charges Projektirajte te troškove tijekom 5 / 10 / 20 godina koristeći vaše stvarne pretpostavke rasta, a ne primjere marketinga dobavljača. This is where the 10 PB, 2.5% monthly access math above gives you a Ako vaš model kaže da će vaš TCO biti 800 tisuća dolara tijekom 20 godina, model - a ne matematika - je pogrešan. sanity check Korak 3 - Dizajn on-prem (ili domaćin) razina očuvanja Size the tape environment (drives, slots, media) and disk cache for: Current 10 PB + expected growth. Monthly access pattern (enough drives/cache to keep SLA reasonable). Get for: real quotes Hardware (library, drives, servers, storage) Software (object storage, HSM, preservation workflows) Support contracts Floor space and power Usporedite višegodišnji profil CapEx/OpEx s baznom linijom u oblaku. Korak 4 – Planiranje migracije i prijenosa Decide you want to move 10 PB out: how quickly Network only? Cloud provider’s bulk export devices? Hybrid (start with hottest subsets)? Take into account: Network capacity and impact on other workloads. Order of operations (which buckets/collections first). Parallel validation and fixity checking (hash verification). Temporary storage needed for staging. To je mjesto gdje je jednom To je financijska odluka: platite sada, kupite dugoročnu kontrolu. $500k egress Korak 5 – Ugradite prakse upravljanja i očuvanja Bez obzira na to gdje se podaci nalaze, za dugoročno čuvanje potrebni su: Jasni rasporedi zadržavanja i zakonske odredbe. Provjera fiksnosti (hash provjera) tijekom vremena. Planovi migracije formatiranja (formatiranje datoteka, kodeki, sheme će ostariti). Auditabilnost (ko je pristupio, što je obnovljeno, što je promijenjeno). Objektna trgovina koja se temelji na traci može postati vaša , ali samo ako su upravljanje i proces dizajnirani zajedno s hardverom. institutional memory tier Korak 6 – Revizija svakih 5 godina On each tech refresh cycle (5 or 7 years), reassess: Storage media roadmap (LTO generations, new cold media technologies). Cloud pricing changes (cloud isn’t standing still). Regulatory changes (retention, privacy, jurisdiction). Sustainability targets. Odluka koju donosite danas nije nepovratna; ono što je važno nije spavanje u plaćanje. Za ono što bi moglo biti . millions in rent owned, well-run archival estate The bottom line for the C-suite The bottom line for the C-suite Za operativna radna opterećenja, oblak je još uvijek moćan alat. za Sljedeći Članak Oblaci hladnoće izgledaju vrlo slično a na svoju vlastitu povijest, s tarifnim stožerom svaki put kada pokušate pročitati. 10 PB of long-term preservation data with modest ongoing access lifetime subscription Objektna skladišta koja se temelje na traci, pravilno dizajnirana i upravljana, pretvaraju se u: A predictable, flattening over 20 years. TCO curve Ne pročitajte kazne po GB-u, potičući ponovnu uporabu i analizu. Poboljšanje suvereniteta, upravljanja i kontrole očuvanja. Odluka nije “cloud loše, tape dobro.” Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Ako danas držite 10 PB "hladnih" podataka u oblaku i očekujete da ćete ih držati tamo 10-20 godina, ne samo da pohranjujete povijest - iznajmljivate je. Pitanje za C-suite je jednostavno: Do you want to keep paying rent forever, or do you want to own the building where your institutional memory lives? Želite li nastaviti plaćati najam zauvijek, ili želite posjedovati zgradu u kojoj živi vaše institucionalno sjećanje?