AWS, GCP, Azure vs Tape 20 il ərzində 10 PB-nin nə qədər maliyeti var?

AWS/GCP/Azure-də 10 PB, 20 illik arşivin qiyməti nə qədərdir? Why long-term preservation is back on the board agenda Çoğu bulud hesabı həyatını yuvarlama hatalar kimi başlamışdır. Bir neçə terabayt burada, bir backup bucket orada, uyğunluq üçün “doğrudan da olsa” arxiv. Bir neçə il əvvəl: “Sürücülər”də “Sürücülər”də “Sürücülər”də “Sürücülər”də “Finansiya” hər il 7-ci dəqiqə dəyişən məlumatlar üçün 7-ci hissədə bir bulud line elementinə baxır. “Legal” və “Compliance” “Sovereignty”, “Retention” və “Deletion” garantiyaları ilə bağlı çətin soruşurlar. Sürdürülebilirlik artıq xoşbəxt bir slaid deyil; o, şirkətin adını içində olan emision hədəfidir. Bu yerdə (Sizin 5-20 il ərzində saxlamaq zorundasınız) İşləmək üçün aktiv olaraq istifadə etdiyiniz verilər.Onları da eşitdirin və birinə çox xərcləyəcəksiniz, ya da digərini az-sağlayacaqsınız. preservation storage operational storage “Cold Storage” bir çox hallarda çox yaxşı işləyir. : elastic workloads Kısa müddətli eksperimentlər Analitiklər Sezonluq apps Ümid edirəm ki, heç vaxt etiraf etməyəcəksiniz Lakin üçün Bir il və ya daha çox yaşamaq lazımdırsa, ekonomiya və risk profilü çox fərqli görünməyə başlayır. regulatory archives, historical content, medical images, logs, and R&D datasets Bu səbəbdən Məşhur data VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. repatriation out not all data belongs on a permanent subscription model. Bu yazı konkret bir scenario ilə gedir: 10 petabajt soğuk veriliş, ayda 2.5%, 5 / 10 / 20 il ərzində, böyük bulud soğuk layerləri və kaset bazalı objekt depolama ilə qarşılaşıb. ABŞ-ın ən böyük dondurma və . 10 petabytes of cold data, accessed about 2.5% per month, over 5 / 10 / 20 years tape-based object store Biz matematika görünür, ton dürüst, və sonuc praktika ilə saxlayırıq. The scenario: 10 PB under glass Şəkil altında 10 PB Hesab edirəm ki, bu işlərin sayı artmayacaq. Toplam arxiv boyutu: 10 PB = 10,000 TB ≈10,000,000 GB İstirahət həcmi: ayda qulaq asılan vergilərin 2,5% → 0,025 × 10 000 000 GB = 250 000 GB / ay → ~ 3 000 000 GB / ildə alınan Sizdə belə var: Böyük, nisbətən stabil corpus (10 PB) Düşük, lakin sıfır qasım (auditlər, araşdırmalar, restorasyonlar üçün aylıq oxunub) Uzun müddət: 5, 10, 20 il İndi bir-birinə bənzəyəcəyik: Cold Storage Solutions xəritədə AWS S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval S3 Glacier Deep Archive Google Cloud Platform Nearline Coldline Archive Azure Blob Storage Cool tier (Cool access tier) On-premise: Tape-backed objekt mağazası LTO.org-style sayı bazarındakı qiymət profilinin istifadə edilməsi orta ölçü tape infrastrukturu üçün: Hardware (Server) – 35 000 dollar Hardware (Disk depolama / cache): 25 000 dollar Hardware (Tape kütləvi + sürücülər): $ 80,000 Media: 63 600 dollar Software: $35,000 və Initial CapEx = $238,600 Əvvəlki → Operativ işçilər: $5,000 / ay = $60,000 / il Sürücülük: 2000 dollar / il Dərslər: $ 4,500 / ay = $ 54,000 / il, 4% il uplift ilə Enerji: açıqlanmamışdır; biz bunu matematikdə sıfır olaraq qəbul edəcəyik (doğru həyat: belki 10–15 000 dollar / il daxil edəcəyik). Qısa sürətlər: Server + disk: hər 5 il → $60,000 5, 10, 15, 20 ildə Tape hardware + media: hər 7 il → $ 143,600 ildə 7, 14, 21 Bir dəfə də əlavə edəcəyik. Evdə 10 pb-nin tamamını çəkmək olar. cloud egress cost “Egzert”ə görə, çoxlu sayda təyyarə alırıq. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. $0.05/GB 10 PB = 10,000,000 GB → 10,000,000 GB × $0.05/GB ≈ $500,000 geri qaytarılmaq üçün. 10 PB = 10 000 000 GB Geri qayıtmaq üçün 10,000,000 GB × $0.05/GB ≈ $500,000 egress Cloud cold storage: the actual cost of “keeping it just in case” “Cold Storage: the actual cost of “keeping it just in case”” (Culda soğuk depolama: “Şübhəsiz ki, bunu yalnız bir halda saxlamaq”nın real maliyeti) AWS ilə başlayırıq, sonra GCP və Azure-ni yüksək düzeydə görəcəyik. Anatomy of cloud cold storage cost Hər bir bulud klassı üçün, yıllık xərclərinizin iki əsas komponenti vardır: Depozit xəritədə: Annual storage cost=Data (GB)×Price ($/GB-month)×12 Xatırladaq ki, Xatırladaq ki, Xatırladaq: Annual retrieval cost=Data retrieved annually (GB)×(retrieval fee+egress fee) Bizim işimizdə: Təsəvvür: 10 000 GB Gündəlik verilər: 3 000 000 GB Xatırladaq ki, ABŞ-ın qiyməti 0.05 dollardır. Depozit: Depozit klassına görə dəyişir Biz 2025-ci ilə qədər tipik ABŞ regionu qiymətləri istifadə edəcəyik: AWS (ABŞ regionu; AWS reklamlaşdırılmış qiymətləndirmə bazası (kilometriniz çox ola bilər)) S3 Glacier Instant Retrieval Storage: ~ $0.004/GB-month Retrieval: ~ (class fee) $0.03/GB S3 Glacier Flexible Retrieval Storage: ~ $0.0036/GB-month Retrieval: ~ (standard retrieval) $0.01/GB S3 Glacier Deep Archive Storage: (AWS public doc) $0.00099/GB-month Retrieval: ~ (typical deep archive retrieval) $0.02/GB GCP və Azure-nin bənzər formaları var – az fərqli list fiyatları, lakin aynı model: düşük depolama, . non-trivial retrieval and egress Worked example: AWS S3 Glacier Deep Archive Matematika üçün bütün bunları göstərək. S3 Glacier Deep Arşivi the cheapest major cloud cold tier Inputs Təsəvvür: 10 000 GB Depozitin qiyməti (S): $0.00099 GB-ya qədər ayda İstehsal müddəti: 3000 GB Tarix (R): GB-ya görə 0,02 dollar Egress xərcləri (E): GB-ya görə 0.05 dollar Step 1 – Annual storage cost Annual storage=10,000,000×0.00099×12 10 000 000 × 0 00099 = 9 900 9,900 × 12 = $118,800/year Step 2 – Annual retrieval + egress cost Annual retrieval=3,000,000×(0.02+0.05) Retrieval + egress = 0.02 + 0.05 = $0.07 / GB 3,000,000 × 0.07 = $210,000/year Step 3 – Total annual cost Annual total=118,800+210,000=$328,800 Step 4 – 5, 10, 20-year totals 5 il: 5 × 328,800 = 1 644 000 dollar 10 il: 10 x 328,800 = $ 3,288,000 20 il: 20 × 328,800 = 6 576,000 dollar So even in the , 10 PB modest davamlı qasırğası ilə: cheapest AWS cold class 1.64 milyon dollar 5 il müddətində ~ $3.29M over 10 years 20 il ərzində 6,58 milyon dollar Buna baxmayaraq, bu da baxışdır: Minimum depozit müddəti (90-180 gün) İstehsal xərcləri “S3 Standard”da “rehydrated” “restorers” “rehydrated” “restorers” “rehydrated” “restorers” “rehydrated” You pay and . rent forever tolls every time you read High-level look at other cloud cold tiers Buna bənzər düşüncələr və aktualdır ki, (storage + retrieval + egress) bu 10 PB və eyni qasım modelinə görə bu top parkda qalırsınız: 10 PB @ 2,5% / ay quraşdırılması üçün böyük TCO Order-of-magnitude TCO for 10 PB @ 2.5%/month access All numbers rounded to nearest $0.1M, assuming similar $0.05/GB egress and representative retrieval fees. AWS Glacier Instant: , , ~$3.6M (5 yr) $7.2M (10 yr) $14.4M (20 yr) Glacier Flexible: , , ~$3.1M $6.1M $12.2M Glacier Deep Archive: , , ~$1.6M $3.3M $6.6M (Nearline / Coldline / Archive with typical prices like 0.010 / 0.007 / 0.004 $ per GB-month) GCP Nearline: , , ~$6.9M $13.8M $27.6M Coldline: , , ~$5.3M $10.5M $21.0M Archive: , , ~$3.9M $7.8M $15.6M (≈ $0.01–0.0115/GB-month plus retrieval + egress; Azure also has Cold/Archive tiers, but you asked specifically for Cool) Azure Blob Cool Blob Cool: , , ~$7.8M $15.6M $31.2M Geniş bir model: : easily . Anything “Instant” or “Cool” $6–15M+ over 10–20 years Deepest archive tiers (AWS Deep Archive, GCP Archive, Azure Archive) lower the storage part, but retrieval + egress still bite. Tape-backed object store: your own cold cloud Artıq sizə təqdim etdiyiniz numaralara baxın. One-time CapEx Server hardware: 35 000 dollar Disk depolama (cache): 25 000 dollar Tape library + drives: $80,000 Media xəritədə: 63 600 dollar Software: 35 000 dollar Initial CapEx=35,000+25,000+80,000+63,600+35,000=$238,600 So Çevreyi davam etdirmək üçün. $238,600 Annual OpEx (baseline) Operations staff: → $5,000/month $60,000/year Sürücülük: 2000 dollar / il Dərslər: 4.500 $ / ay → 54.000 $ / il, 4% yıllık artım Bu enerjiyə görə, sizin : year-1 baseline OpEx Year 1 OpEx=60,000+2,000+54,000=$116,000 From year 2 onward, floor space increases: Floor space in year n=54,000×(1.04)^(n−1) Başqa hər şey (ops + karbantrasiyası) basqlığı üçün düzəldəcəyik. Refresh cycles Hər 5 il (5, 10, 15, 20): server + disk yeniləmələri üçün 60 000 dollar Every 7 years (7, 14, 21…): for tape hardware + new media (if needed) $143,600 Bunlar böyükdür, lakin 20 il ərzində yalnız bir neçə dəfə olur. Putting it together: TCO over 5, 10, 20 years Matematika ilə işləmək: Initial CapEx Yıllıq OPEX (escalating floor space) Düzdürmə planları You get approximate totals: 5 ildir TCO (sadəcə tape env) ≈ $0.90M 10 illik TCO ≈ $1.77M 20 il ərzində 3,61 milyon dollar Now add the 10 PB evə gətirmək üçün: one-time egress 10 000 000 GB x 0,05 $ / GB = 500 000 $ So “tape + migration” TCO: Horizon Tape env only + 10 PB egress Total Tape+Egress TCO 5yr $0.90M $0.50M $1.40M 10yr $1.77M $0.50M $2.27M 20yr $3.61M $0.50M $4.11M 5 dəqiqə 0 0 90 m 0,50 milyon manat $1.40M 10yr 1.77 milyon manat 0,50 milyon manat 2.27 milyon manat 20 dəqiqə $3.61M 0,50 milyon manat $4.11M Unutmayın ki, bu da Əgər elektrik və soğutma üçün 10–15 000 $/yıllıq artırsanız, sayı milyonlarla bulud hesabına görə az dəyişir. no energy cost Head-to-head: cloud vs tape for 10 PB Head-to-head: cloud vs tape for 10 PB Versus AWS S3 Glacier Deep Archive “Yapılan ən ucuz bulud soğukluğu” və “sizin öz bandınızın buludunu” birləşdirin: Horizon AWS S3 Glacier Deep Archive Tape + Egress Cloud – Tape (extra spend) 5yr $1.64M $1.4M +0.24M 10yr $3.29M $2.27M +1.02M 20yr $6.58M $4.11M +2.47M 5 dəqiqə $1.64M 1,4 milyon dollar +24 min manat 10 dəqiqə 3.29 milyon manat 2.27 milyon manat 1 020 m 20yr 6 58 min manat 4,11 milyon manat +247 min manat İnterpretasiya : 5 il ərzində, tape qalır, lakin müsbət marj (~ $240k) ilə. Xatırladaq ki, 10 il ərzində “Tape+egress” 1 milyon dollar daha ucuzdur. 20 il ərzində, tape+egress təxminən $2.5M daha ucuzdur. Bu da buna qarşı “Master Cloud” şirkətinin baş məşqçisi cheapest Daha çox sərf olunan standartlar (Instant, Nearline, Cool) ilə qarşılaşır. Pros and cons: this isn’t just about dollars Müəllimlər: Bu, yalnız dollar deyil Cloud cold storage – PROs No CapEx, no capacity planning You “flip a switch,” you pay monthly. Good when future capacity needs are uncertain. baked in Global durability and availability Multi-AZ, multi-region options; you inherit their durability and uptime SLAs. Operational simplicity No hardware lifecycle management, no tape handling, no real estate decisions. Elastic recovery and DR use cases Easy to wire into cloud-native DR patterns, cross-region replication, etc. Cloud cold storage – CONs Permanent rental model The longer you keep data, the more the cloud wins— . not you For 10–20-year archives, the TCO behaves like a . perpetual tax Retrieval + egress penalties You pay every time you actually use your preserved data. Harder to justify new analytics or reuse on old data when the meter is running. Pricing opacity and volatility New tiers, new knobs, “discounts” that add complexity. It’s easy to end up paying for the wrong tier or misconfigured lifecycle. Lock-in The more archive data you park, the harder it becomes politically and financially to leave. Tape-backed object store – PROs TCO flattens over time After you absorb CapEx and migration, your , and the 5/7-year refresh cycles are predictable. run-rate is stable The 10–20-year graph looks more like a than an ever-increasing slope. plateau No per-GB retrieval fees You can read as much as you want; the cost is operational, not metered. Incentivizes more reuse of historical data instead of hoarding it in the dark. Control and sovereignty Physical control over media. You decide destruction procedures, air-gapping, and chain of custody. Preservation-friendly Well-designed tape workflows (with checksums, periodic scrubbing, and migration) are still considered among the most robust strategies for long-term digital preservation. Tape-backed object store – CONs Up-front CapEx and project risk You need budget, design time, and internal champions to execute. Migration from cloud introduces scheduling, bandwidth, and cutover risk. Operational complexity Tape libraries, drives, media management, and monitoring are not “set and forget.” You need people (or managed services) with relevant skills. Physical dependency Libraries and robotics can fail. You must design for spare parts, vendor support windows, and disaster recovery. Scalability and agility trade-offs Scaling beyond initial design requires deliberate planning and additional CapEx. You don’t get the same “spin up another region” flexibility you have in cloud. When does repatriation make sense? Nə vaxt geri qaytarılmaq lazımdır? C-Suite / IT idarəetmə lensindən, şuradan istifadə etdiyiniz data geri qaytarırsınız: The dataset is large enough Order of magnitude: and growing. ≥ 5–10 PB Below that, the complexity may outweigh the savings unless there are strong non-financial drivers. The access pattern is low but steady You touch the data (audits, research, investigations, training sets) but not daily. do Enough to be penalized by retrieval/egress, but not enough to justify hot storage. The retention horizon is long is where the cloud rent really starts to look ugly compared to “owning the house.” 10+ years Regulatory or institutional mandates often live in this band (records, medical, scientific, cultural). Governance and sovereignty matter You need to prove, with confidence, that: Data hasn’t been altered. Retention and deletion policies are actually enforced. Data is stored in specific jurisdictions under your operational control. You can staff or source the operational competency Either in-house tape and archive expertise, or a managed service provider who can run the environment with clear SLAs. Əgər bu kutuların əksəriyyətini kontrol edirsinizsə, bulud soğuk depolama təhlükəsizliyi üçün daha az “strateji agility” və daha çox “dövlətli rahatlıq əşyası” olur. A practical decision framework for the board and CIO Direktor və CIO-nun qərarını qəbul etmək VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 1 - İnventor və arxiv segmentləri How much of the 10 PB is: Regulatory / compliance data? High-value institutional memory (R&D, design, media, logs)? Low-value “just in case” junk? Segment by: (years) Retention requirement (frequency, type of queries) Access pattern and risk tolerance Business owner Step 2 – Günümüzdəki bulud xərclərinin real bazarı qurmaq 12-24 aydır ki, real hesablar alınır. Separate: Storage charges (by tier) Retrieval charges Egress charges Per-request charges VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bu, 10 PB, 2.5% aylıq qələbə matçının sizə bir : modeliniz 20 il ərzində TCO-nun 800 000 dollar olacağını söyləsə, model - matematika deyil - yanlışdır. sanity check Ümumiyyətlə, bir neçə ildir ki, bu problemlər həll olunacaq. Size the tape environment (drives, slots, media) and disk cache for: Current 10 PB + expected growth. Monthly access pattern (enough drives/cache to keep SLA reasonable). Get for: real quotes Hardware (library, drives, servers, storage) Software (object storage, HSM, preservation workflows) Support contracts Floor space and power Bir neçə ildir ki, “CapEx” və “OpEx” profilini bulud bazarı ilə əhatə edin. 4 - Migracioni və Cutover planlaşdırma Decide you want to move 10 PB out: how quickly Network only? Cloud provider’s bulk export devices? Hybrid (start with hottest subsets)? Take into account: Network capacity and impact on other workloads. Order of operations (which buckets/collections first). Parallel validation and fixity checking (hash verification). Temporary storage needed for staging. Bir dəfə bu yerdə Bu, bir finansal qərardır: artıq ödənin, uzun müddət kontrollü geri alın. $500k egress 5-ci maddə: Qüvvət və qoruma prosesləri Bilginin yaşadığı yerdən bağımsız olaraq, uzun müddətli saxlamaq üçün: Təsadüflər və yasaqlıqlar açıqlanıb. Hesab edirəm ki, bu prosesin nəticəsi zamanla başa çatacaq. Migrasiya planlarının formatı (fail formatları, kodeklər, şemalar yaşlanacaq). Auditability ( kim quraşdırdı, nə yeniləndi, nə dəyişdi) “İnter” şirkəti sizin işinizə başlayacaq Bu proseslər və sistemlər hardware ilə birlikdə hazırlanır. institutional memory tier 6 ildir ki, hər 5 il On each tech refresh cycle (5 or 7 years), reassess: Storage media roadmap (LTO generations, new cold media technologies). Cloud pricing changes (cloud isn’t standing still). Regulatory changes (retention, privacy, jurisdiction). Sustainability targets. “Bugün etdiyiniz qərar geri qaytarılmaz deyildir; önemli olan yatmaq deyil. for what could have been an . millions in rent owned, well-run archival estate The bottom line for the C-suite “C-Suite” üçün yeni model Operativ iş yükləri üçün, bulud hala güclü bir alətdir. üçün “Qızıl ağaclar”a çox bənzəyir Onu hər dəfə oxumağa çalışdığınızda, özünüzün hikməti ilə. 10 PB of long-term preservation data with modest ongoing access lifetime subscription Düzgün dizayn edilmiş və işləmək üçün tapşırıqlı bir objekt mağazası bunu şəklində dəyişir: TCO-nun 20 il müddətində öngörülən və düzəldicisi. Xatırladaq ki, heç bir problem yoxdur, analizlər və yeniliklər aparılır. Sovet, valideynlik və qoruma kontrolü yaxşılaşdırıldı. Bu, “Cloud Bad, Tape Good” deyildir. Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Put fast, changeable, time-sensitive workloads where elasticity and rich services win (cloud). Put large, slow-changing, must-keep-for-decades collections where long-term economics and control win (tape-backed preservation tier). Əgər bu gün buludda 10 PB “soğuk” veriyi saxlayırsınız və 10-20 il orada saxlayacağınıza ümid edirsinizsə, o zaman yalnız tarixi saxlayırsınız – o zaman onu sərf edirsiniz. C-suite üçün sorğu basitdir: Sonsuza qədər pul ödəmək istəyirsənmi, yoxsa institucionaldırmağının yaşadığı binanın sahibi olmaq istəyirsənmi? Sonsuza qədər pul ödəmək istəyirsənmi, yoxsa institucionaldırmağının yaşadığı binanın sahibi olmaq istəyirsənmi?