HSM: Mainframes, Cloud və S3 arxasında orijinal Tiering Engine

Əgər siz düşünürsünüz ki, “tərcümə” SSD cahilləri və bulud depolama sınıfları ilə başlamışdır... Şükürlər: Sizə uğurla satılıb. On illərdir belə işləyirəm: Hierarchical Storage Management (HSM) “Qısa, ucuz media”da “qısa” məlumatları saxlayın... “soğuk” məlumatları daha yavaş, ucuz media’lara sürətləndirin... və istifadəçi varlığınızı unutuncaya qədər – xatırlayın latensiya onları sizə xatırlayır. “Qısa, ucuz media”da “qısa” məlumatları saxlayın... “soğuk” məlumatları daha yavaş, ucuz media’lara sürətləndirin... və istifadəçi varlığınızı unutuncaya qədər – xatırlayın latensiya onları sizə xatırlayır. 50-ci ildə nə dəyişdi, nə dəyişdi Bu da o “The “The VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Ideya media interfaces scale What is HSM, really? HSM nədir həqiqətən? “Hierarchical Storage Management” (HSM) dünyanın ən yaşlı siqaretidir. “Disk full” biletləri daha az görür.Hər kəs “recall latency”ı “deep archive”da ən yaxşı ömrünü yaşadığı 400 GB dosyaya duplikasiya oluncaya qədər real deyildir. make expensive storage look bigger by quietly moving data to cheaper tiers—without breaking the namespace Onun qəlbində, , with some kind of Tarixdə bu hiyerarşiyadan “hızlı disk → yavaş disk → kaset/optik” idi.Modern yığmalarda sıklıqla “sıcak → soğuk → soğuk → arxiv”dir. HSM is policy-driven data placement across a storage hierarchy recall path The five moving parts of classic HSM (and why each matters) 1) A primary tier: where “now” lives Depozit kimi işləmək lazımdır: Fast Disk, SSD, High-Perf NAS, Scratch və ya paralel fail sistemi Düşük latentlik və yüksək performans Aktiv iş prosesləri üçün optimalizasiya Bu heyvanın Bir neçə ildir ki, “Şamaxı” da “Şamaxı” da var. Yəqin 2) Secondary tiers: where “later” lives HSM yalnız soğuk verilərini yerləşdirmək üçün daha ucuz bir yer varsa interessantdir: Disk Polakları Depozitlər Biblioqrafiyalar Optik və ya digər uzun sürətli medialar Bu hissələr ekonomiya üçün ticarət performansı (çox / GB, güc, həddi, uzun ömür) kimi ölçülür. . what belongs where and when 3) A policy engine: the brains (and the source of most arguments) Siyasi qərarlar və Klassik mühitlər belə görünür: Niyə gedir Niyə Yaş / son vaxt (mtime, atime, “Son referenced”) böyük dosyalar prim migrasiyadır) Path/project ( /project/foo/ altında hər şey foo kuralı izah edir) Əməkdaşlıq (user/group based policies) temperatur (sıcak / sıcak / soğuk heuristik) Modern motorlar isə: Etiketlər / metadata (objekt sistemləri) İş prosesləri (Project closed, job completed) İstehsal müddəti (həqiqət müddəti) Hesab edirəm ki, bu, dövlətin qiyməti ilə bağlıdır. Yaxşı bir politika motoru yalnız verilərini migrat etmir – bu, sizə verilərini migrat etməkdən çəkinir. Bilgiyə görə, bu prosesdə öyrənmək. Yanlış 4) A recall mechanism: how the illusion stays intact “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin” File-centric HSM-də, geri qaytarma sıklıkla: Adları, boyutları, vaxt şifrələri, izni və s. saxlayan stub dosyaları / yer sahibləri “File system hooks/events so “open()” triggers stage-back automatically. “Grottling” və “Quaying” kimi bir skan planetləri xatırlatmır VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyadır. Restore/Rehydrate iş yerləri Hot bucket / iş yerinə kopyalar Windows Access xəritədə “Transparent Recall” yerine “Explicit Workflow” adımları Xatırladaq ki, bu, HSM-in reallaşdıqları yerdir. Bu da çətin parçadır. Getting it back safely, predictably, and at scale 5) A migration engine: the muscle and the traffic cops Bu, həqiqətən, bajtları dəyişdirir və sistemin yıxılmasını qadağan edir: Data Transfer Processes/Hosts (Data transferi prosesləri) Tədbirlər və prioritetlər Paralel qarışıqlar Tədbirlər throttles Media Managerlər (özellikle tape / robotlar üçün) Retrieved Logic, Auditing və State Tracking Əgər bir dəfə geri qaytarma fırtınası görmüşsünüzsə, bilirsiniz ki, migrasiya motoru yalnız bir kopyator deyildir. What HSM is (because people keep using the word wrong) not Yəqin HSM is not backup VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyadır. HSM, yer və qiymət optimizasiyası ilə bağlıdır. Backup Bazı sistemlər onları birləşdirir, lakin niyyətlər farklıdır: HSM verilərini birinci yerdən boş yerə buraxır (ve işləmək üçün geri qaytarılmasını gözləyir) Backup yeniləmək üçün başqa kopiyalar yaratır (ve ilk kopyanın ortadan qalxmayacağına inanmır) Əgər “HSM” primary data silirsə, lakin bağımsız qurtarma öyküsü yoxdursa, bu HSM deyil. . İnanılmaz IT HSM is not caching Xatırladaq ki, bir neçə ildir ki, bu problemin həllinə daha çox ehtiyac var. Tipik Siyasəyə görə ayrı-ayrılıq var. Caching HSM relocates entire files/objects Xatırladaq ki, “Qəbələ”ndən sonra “Qəbələ”ni tərk etmək lazımdır. HSM deyir: “Bu, daha çox qiymətli depolama üçün deyil – götürün”. Onlar birlikdə yaşayırlar (və çox vaxt da olmalıdırlar), lakin onlar başqa problemləri çözərlər. The simplest way to think about HSM Həkimlər a governed lifecycle for data placement: Qısa vs soğuk olanı seçin “Cold Data” xəritədə daha ucuz Əsas səhifə Etiketlər Semantika Hesab edirəm ki, bu, öngörülə bilər Növbəti məqaləNövbəti xəbərNövbəti xəbərNövbəti xəbərNövbəti xəbər Əvvəla HSM bu işdə robotlar və bıçaqlarla işləmişdi. Modern HSM bunu həyat döngüsü kuralları, objekt metadata və iş aksiyaları ilə edə bilər. Yeni işçilər, yeni işçilər, yeni işçilər də var. HSM vs ILM: same family, different job titles HSM vs ILM: Aynı ailə, farklı iş adları İnsanlar Mix Up və VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Hierarchical Storage Management (HSM) Information Lifecycle Management (ILM) Bunu belə düşünün: HSM (Human Data Mechanism) – bir sistemdir ki, verilərini bir-birinə çevirir. O, zamanla data ilə nə etməliyini qərar verir – və bunu göstərir. Burada faydalı olur: Bu, o deməkdir ki, Bilgi ilə bağlı və və Bilgi ömrü boyunca - satın aldığınız və bağladığınız tek bir kutu deyil. SNIA’s ILM is an ongoing strategy Valyuta policies processes supporting infrastructure The lifecycle view: ILM starts before storage gets involved Bu prosesin başlanğıcı data yaratdıqda və ya satın alındıqda başlanır və bu ömrün sonuna qədər davam edir. Creation/Ingest (org-a necə daxil olur, hansı metadata/etiketlər var) Aktiv istifadə (kimin ona qulaq asması, performans gerçəkləri) Collaboration/Sharing (distribution, replication, copies, versions) Təhlükəsizlik (backup, snapshots, replication, integrity/fixity) Uzun müddətli saxlama (rekordlar, arxivlər, araşdırma koleksiiyaları) Hökmranlıq (hökmranlıq, gizlilik standartları, qasım kontrolləri) İstirahət (təklif, həlaklıq, transfer və reklassifikasiya) HSM tipik olaraq o hikmətin ortasında “daha ucuz depolama” (move it to cheaper storage) işləyicisi olaraq ortaya çıxır – nə saxlanacağına, nə qədər saxlanacağına və hansı yasal kəskinliklər altında karar verə bilməyən politika hakimiyyəti olaraq. Practical translation (the one you actually use in architecture meetings) HSM = the machinery (execution layer) HSM, tieringin real olmasını sağlayan texniki xüsusiyyətlərin setidir: Disk, Objekt, Tape və Cloud klassları arasında yerləşdirmək Migration and purge rules to free primary storage (Migrasiya və təmizləmə standartları) İş proseslərini geri qaytarma / geri qaytarma (stub geri qaytarma, rehidratasiya, işləri geri qaytarma) Movers and queues (Transport, throttling, prioritetləşdirmək) Media management (tape library, volume catalogu, robotik kontrol) State tracking (resident/offline, restore in progress, pinned, etc.) HSM soruşur: “Bu verilər bu gün nədən yaşayır, və biz onu necə götürürük?” ILM = the governance layer (intent + accountability) ILM, vergilərin işləməsini iş və yasal gerçəklərə bağlayan ramdır: 7 ildir ki, bu işin başlanğıcına qədər saxlayın. and (prove it wasn’t altered; prove deletion) Compliance auditability Dərslər (dərslər dondurulması və bir sıra dondurulması) Klasifikasiya (publika, iç, kəskin, həddi aşan) Risk və xərclərin idarə edilməsi (neçə depozit sınıfı qəbul edilə bilər, alınma toleransları) Dərslər (dərslər və ya transferlər) Siyasət sahibliyi (kim qəbul edir, kim dəyişir, kim imzalanır) Juridiki holds Risklər xərcləri İdarəetmə Disposition ILM cavab verir: “Bu vergilərə ömür boyu nə ola bilər və biz bunu dərk edə bilərik?” Where people go wrong: buying “ILM” as if it’s a product VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Organizasiya politikası (record management, legal, security) Operativ proseslər (təriflər, auditlar, istisnalar, hadisələrin idarə edilməsi) Tooling (metadata / tagging, analitika, motion engines, retention enforcement) You can buy components that support ILM, but the “ILM” part is the və - və sizin regulasiya yükümlülüklərinizə və iç politikaya uyğunlaşdırılmış satıcı gəmilər yoxdur. (Əgər onlar bunu iddia etsələr, onlar sizə optimizm satarlar.) coordination accountability How they fit together in a modern stack Yazınızda bunu izah etmək üçün faydalı bir yol: : retention, access rules, acceptable latency, cost constraints, compliance obligations. ILM defines intent : migration, tier transitions, restore workflows, and enforcement mechanisms. HSM executes placement **Example: “Bu kolleksiyaya 25 il qalxmalı, dəyişə bilməlidir, yeniləmələr izin verilir, lakin izlənilməlidir və geri alma 24 saatdan az olmalıdır”. HSM: “90 gündən sonra, soğuk / arxiv düyməsinə dəyişdirin; iş prosesini qaytarın; rehidratə edə bilənləri kəskinləşdirin; jurnalı qaytarın; dəyişinməzliyi təmin edin”. “HSM” “həqiqətən” və “şəkil kuralı”dır.HSM “həqiqətən” və “həqiqətən” bu kurallara uymuş bir şəkildə verilərini dəstəkləyən motordur, xüsusilə file-centric və hibrid ortamlarda. A quick timeline: mainframe → open systems → HPC → clustered file → object/cloud Mainframe roots (late 1970s through the 1980s): policy before it was cool “Mainframe HSM” “Nice-to-Have” olaraq doğulmamışdı. “Direct Access Storage Device” (DASD) qiymətli idi, data artım sürətsiz idi və heç kəs saat 2:00-da IBM-in Hierarchical Storage Manager (HSM) (daha sonra “HSM”) tərəfindən manually babysit data sets üçün gərgin olmadı. Daha sonra ) 1978-ci ildə təsvir edilmişdir ki, basit, təkrarlanabilir kriteriyalar istifadə etmək üçün data setləri üçün depolama yönetimini automatizasiya etmək üçün. DFHSM DFSMShsm Növbəti xəbər HSM-də nə qeyd edilib Automated space management: periodic, policy-driven cleanup and migration so primary pools didn’t stay “full forever”. Hierarchical “levels” of storage: data sets moved from primary volumes to cheaper tiers (including Migration Level 2 (ML2), typically on tape and usually not mounted/online). Operativ stabillıq: öngörülə bilər politik cikli (batch windows), konsekvent xəbərdarlıq və kontrol planı depolama administratorları həqiqətən çalışdıra bilər. 2013-cü ildə aparılmış arxeoloji tədqiqat işləri burada 120 kv.metrlik ərazidə yaşayış yerinin qalığının olduğunu söyləməyə əsas verir (1). (bu zaman Broadcom), ki, arxiv, space release, and movement across the storage hierarchy kombinasiyası - bu IBM-in DFSMS-ə entegrated yol deyil, "data management suite" tərəfdən aynı problemə hücum etdi anlamına. CA Disk Backup and Restore Key point: the mainframe world treated policy-driven automation as normal because it had to. You can’t staff your way out of exponential growth—especially when the platform is designed around repeatable operations, not heroics. Open systems in the 1980s: UNIX grows up, libraries get robotic (and HSM becomes a “stack”) UNIX laboratoriyalarda, inqilablarda və ilk korporativ ortamlarda yayıldıqda, HSM tək bir platforma xüsusiyyətidir və satıcının ekosisteminə dönüşür: fayl xidmətləri üstə, media automatizasiyası altından və disklərin sonsuz bir resurs kimi işlənməsindən qurtulmağa çalışan bir politika motoru (spoiler: bu deyildi). HSM bu dövrdə açılan sistemlərin nəyi təhlil etdi Robotik kaset kütləvi və optik jukeboxlar həqiqi infrastruktur olmur, bilimə layiqli proqnozlar deyil. Media menajerləri və yığma xidmətləri dosya sisteminə bənzəyir, çünki birinin kartonları, sürücüləri, montajlarını izləmək lazımdır və “bu yığma nə üçün gedir?” This is where EMASS shows up as a true “HSM stack” EMASS FileServ HSM / file-space management layer idi - file-level davranışı və "bu hala var kimi görmək" logikası ilə işləyir parçası. was the layer—centralized media management, robotics control, mount/dismount automation, multi-client support, and the gritty details of running a library at scale. NASA/technical literature describes VolServ specifically in PVL terms (centralized media management and automated mounting/dismounting) and describes EMASS as a hierarchical mass storage family providing storage/file-space management. EMASS VolServ Physical Volume Library (PVL) Başqa sözlə, FileServ “Fillər üçün HSM beynidir”, VolServ “media üçün robot yarışçıdır”. Bu il HSM-nin “Archiving as a File System” (Fil sistemi kimi arxiv etmək) məhsullarını da təqdim edir. framed long-term storage as something users could access with the same applications they used for disk—by presenting archive behind a file system-like abstraction over tape/optical libraries. That’s HSM behavior even when the marketing said “online archive.” ADIC AMASS 1980-ci illərdə open-systems dünyasında, HSM bir layered arkitekturaya çevrilir: file services + movers + volume/media management + robotics.Bu blueprint bu günün "life cycle + object + cloud" dizaynlarının atasıdır - yalnız daha çox SCSI və daha az REST API ilə. The 1990s supercomputer/HPC era: HSM becomes “mass storage” (and gets serious) HPC forced HSM to graduate from “disk space janitor” to full-throttle data logistics. When your users are running multi-node jobs that can chew through terabytes like popcorn, HSM isn’t just about freeing space—it’s about feeding compute without turning the storage budget into a crime scene. (High Performance Storage System) bu dəyişənin kanonik örnəkidir.Architekturası açıq-aşkar bir Migration/Purge funksiyasını içərir ki, disk və kaset arasındakı migratsiya və caching yoluyla hierarqik depolama yönetimini təmin edir, bir çox depolama hierarqisini dəstəkləyir və verilərini qulaq asmaq üçün sürətli dərslərə qədər sürətləndirir, sonra inaktiv və yerə ehtiyacı olduğunda geri qaytarır. IBM HPSS HPC-era HSM-nin yaxşı işləmək zorunda olduğu şey Paralel moverlər: Bir çox birbaşa verilişləri toplu keçid artırmaq üçün (çünki bir mover thread onu kəsməzdir). High-bandwidth staging: disk caches/staging layers ölçülür və kompüter və I/O pics ilə qarşılaşmaq üçün ayarlanır. Scalable metadata + policy selection: the system has to candidate files fast, not spend all day thinking about it. find Workflow bütünlükləri: batch planlayıcılar, projekt yerləri, zero vs. arxiv, və öngörülmüş geri qaytarma davranışı - çünki bilim zamanlar və kafedə çalışır. 1990-cı illərin HPC “mass storage” şagirdləri NSL UniTree — HPC prosedürlərində virtual disk kimi işləyir, automatik olaraq programlanabilir migratsiya stratejisi ilə dosyaları daha ucuz depolama üçün migratlaşdırır. SGI DMF (Data Migration Facility) — automatik bir layered-storage yönetim sistemi olaraq pozulub, normal işlərin bir hissəsi olaraq migratsiya və geri qaytarma işlətib, automatik olaraq bir layed-virtual storage ortamını yaratır və idarə edir. EMASS FileServ / VolServ - NASA-nın dövründə işdə ağır olaraq bir hierarqik kütləvi depolama ailəsi olaraq görünür, kütləvi automatizasiya üçün centralized volum/media layer ilə birləşdirilib (topun "robot wrangler" tərəfində). (NASA Ames in-house HSM) — an internal HSM effort that NASA evaluated directly against commercial alternatives like FileServ, DMF, and UniTree, which tells you how strategic (and competitive) this space was in the 90s. NAStore Niyə bu günlər çox vacibdir: This is the point where HSM stops looking like “IT housekeeping” and starts looking like core scientific infrastructure—because in HPC, storage isn’t a closet. It’s part of the machine. Late 1990s through the 2010s: stubs, DMAPI, clustered file systems, and enterprise sprawl Bu, HSM-in nişan "superkomputer şeydir" olmasının və normal insanların çalışması gereken bir şeydir - UNIX, Windows, tape, disk, və (haqqında) objekt hədəfləri ilə mübahisəli flotalarda. böyük dəyişmə yeni bir fikir deyil. Bu, HSM-in nişan "superkomputer şeydir" olmasının və normal insanların çalışması gereken bir şeydir - UNIX, Windows, tape, disk, və (haqqında) objekt hədəfləri ilə mübahisəli flotalarda. böyük dəyişmə yeni bir fikir deyil. UNIX and friends: DMAPI, policy engines, and real automation UNIX-də HSM olgunlaşdı, çünki dosya sistemləri və yığışılmış/paralel dizaynlar HSM-ə hər zaman istədiyi şeyləri verməyə başladı: Share name space (fildərin bir görünüşü, “bu sahibinin görüşü” deyil) Centralized policy evaluation (one ruleset, not 40 snowflakes) Koordinasiyalı mobilyalar (və ya memarlıqlar/migrasiyalar bir-birinə mübahisə etmir) Yalnız bir serverin evreni özünə sahib olduğunu düşündüyündə daha az qışqırıcı edge durumlar IBM Storage Scale / General Parallel File System (GPFS) “policy engine becomes first-class” (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (policy engine becomes first-class) (pol Bu UNIX / clustered file-system fəsilinə uyğun olan digər HSM məhsulları: Sun SAM-QFS / Oracle HSM - klassik UNIX HSM arkitekturası (stubs, politika, movers, tape integration) ki, yaygın olaraq araşdırma / media ortamlarda istifadə edilmişdir. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu (TSM) for Space Management (later Spectrum Protect for Space Management) — enterprise-grade HSM-style migration/purge/recall integrated with broader data protection tooling. IBM Tivoli Storage Manager — in media/entertainment and big unstructured workflows, it became a go-to “keep it online-ish, but pay archive prices” solution. Quantum StorNext Storage Manager Lustre HSM ekosistemləri — 2000-ci illərdə, Lustre kimi paralel dosya sistemləri “sıcak” dosya sistemində yaşayır və “soğuk” bir HSM bağlayıcının arxasında yaşayır. Windows: HSM grows a second head (and a lot of opinions) Windows HSM tamamilə realdır, lakin UNIX-dən daha çox “Lütfen dosyalarımı qovma” enerjisi var idi. DiskXtender (OTG → Legato → EMC era) kanonik Windows HSM hikmətidir: NTFS-də stubs/placeholders, inaktiv dosyaların otomatik migratiyası, və şeffaf geri qaytarma. (UNIX HSM-ə bənzər davranış, yalnız proqramlar və skenerlər arşivinizi yanlışlıqla geri qaytarmaq üçün daha çox yollarla). “Windows” üçün IBM HSM, “New Technology File System” (NTFS) və “Stub/Recall” davranışları ilə “Windows” dosya paytaxtlarını sonsuz primary storage-i satın almadan yaşayışlılaşdırmaq üçün hazırlanmışdır. Enterprise sprawl: HSM ideas leak into “adjacent” domains 2000-ci illərdən 2010-cu illərinə qədər, endüstri də HSM-dəki problemləri non-traditional yerlərdə həll etməyə başladı: Email/groupware archiving (ex: ) — lifecycle policies applied to mail stores. Zarafa Archiver Compliance + tiering platforms (ex: ) — rule-based movement plus retention behavior. PoINT Storage Manager Heterogeneous data movers (ex: Moonwalk) – “soğuk məlumatları daha ucuz təyyarəyə” mixed file systems/object/tape vasitəsilə keçirmək. Zarafa Archiver PoINT Storage Manager Moonwalk Not all of these are classic file-system HSM. But they’re clearly in the same evolutionary branch: policy-driven movement, long-term retention, and keeping access predictable while storage gets cheaper per terabyte and more complicated per environment. If you want, I can also add a tight one-paragraph “what changed operationally” closer for this section (stub storms, recall throttling, namespace governance, and why clustered metadata made the whole thing less fragile). 2010–2020: Policy Engines, Cloud Tiers, and the Death of “Just Buy More Disk” NAS / file platforms that added object/cloud tiering (2015–2020) Dell EMC Isilon / PowerScale CloudPools — OneFS (NFS/SMB) ilə S3/Azure (ve OneFS-to-OneFS bulud) kimi objektif hədəflər üçün politikaya dayandırılmış gəzmək. — ONTAP feature that keeps hot data on SSD and tiers colder data to an object store (public or private), driven by policy. NetApp FabricPool Vendor-neutral policy engines for unstructured data (2013–2020) — file analytics + policy-driven tiering/“right placing” of unstructured data across storage systems (file and object). Great example of HSM moving up the stack into “data management.” Komprise Intelligent Data Management Data Dynamics StorageX — politikaya dayandırılmış NAS dosyalarının migrasiyası/tərcüməsi; sonraki versiyalar açıq-aşkar S3-ə uyğunsuz depolama dəstəyi haqqında danışır, bu, bu dövrdə yaxşı bir “qapıya qarşı” girişdir. “StrongLink” – bir-birinə layiq / kopyalaşmaq / bir-birinə keçirmək üçün platformalı politika motoru; 2020-ci ilə qədər LTFS +-i siloslar üzərində (daha çox “modern HSM” – “HSM” – “HSM” – “HSM” – “Policy Based Management” – “LTFS+” – “Policy Based Management” – “HSM” – “HSM” – “HSM” – “HSM” – “HSM” – “HSM” – “HSM” – “HSM” Tape gets modern interfaces (2015–2020) — “tape as a file system” approach that became a common building block for active archive designs in the 2010s (often paired with higher-level policy engines). IBM Spectrum Archive (LTFS) — presents archive behind file shares or S3 buckets and uses policy-based migration to push cold data to lower-cost tiers (tape/object/cloud). QStar Archive Manager + Network Migrator — high-performance archiving/migration platform for massive unstructured data across heterogeneous storage; fits well in HPC/media “petabytes + billions of files” conversations. Atempo Miria Cloud-adjacent “stub & tier” services (late 2010s) — explicitly separates namespace from content (stub-like behavior) and tiers file content to the cloud based on free-space and date policies. This is basically Windows-friendly HSM, but delivered as a service. Azure File Sync (Cloud Tiering) — early 2010s example of “use cloud as the capacity tier,” long before everyone pretended they invented hybrid tiering. Microsoft StorSimple (hybrid storage appliances) On-prem S3 object platforms that leaned into lifecycle (2015–2020) Buna görə də bu sözləri qeyd etmək yaxşıdır. HSM / Lifecycle sistemləri üçün: targets — lifecycle policies / auto-tiering patterns in S3-land. Cloudian HyperStore — S3 lifecycle policy management shows how object platforms absorbed “HSM-like” automation. Scality (RING/Artesca lifecycle tooling) The 2020s: HSM doesn’t die — it gets absorbed into object and cloud semantics 2013-cü ildə aparılmış arxeoloji tədqiqat işləri burada 120 kv.metrlik ərazidə yaşayır. “Modern platformalar” kimi daha çox işləyir , not a separate “HSM product” you install, pray over, and then avoid touching for five years. assimilated native capability What used to be a hierarchy of Artıq görünür Sürücülər və , and . Same mission, different wardrobe. disk → nearline → tape hot → cool → cold → archive lifecycle rules storage classes API-first workflows What “modern HSM” looks like now (on-prem and cloud): transition based on age, tags, prefix, versions, or compliance rules. Lifecycle policies are built into object storage “Cloud Storage Classes” + “Transition Rules” hiyerarşikliyi yaratır: “Cold” yaşadığı yerləri və geri qaytarılması nə qədər ağrılı olacağını (latency + cost) platforma qərar verir. , often expressed as config, rules, or JSON—less “the one admin who knows,” more “repeatable automation.” Policy engines are everywhere Əsas səhifə » Xəbərlər » Əsas səhifə » Əsas səhifə » Əsas səhifə “Return on jobs, wait window, then access” deyilir. Why this matters: object metadata, restore workflows, and billing-aware decisions Cloud & object: HSM becomes “lifecycle” Burada böyük publik platformalar modelini normallaşdırdılar: transitions objects between classes, including archival tiers. Amazon S3 Lifecycle Azure Blob həyat döngüsü, sıcak / soğuk / soğuk / arxivdə də aynı işləyir. brings similar semantics to S3-compatible private clouds. Ceph RGW lifecycle + storage classes Təsadüfi: Siyasət həyatı , “finansiyalarınızın komandası artıq iştirak etmək üçün” bonus funksiyası ilə. HSM by another name On-prem vendors meet that world halfway (and sometimes sprint into it) A lot of modern “archive” stacks are basically HSM outcomes with object-native interfaces: : positioned as a modern scale-out approach aimed at the scaling pain points of older mass-storage / HSM architectures—policy, lifecycle, and massive namespace management without the classic bottlenecks. Versity ScoutAM / ScoutFS : S3-oriented object storage that plays nicely in “object as the capacity tier” designs, including cold-storage handling patterns aligned with S3 semantics. Quantum ActiveScale : lifecycle/policy orchestration plus an object-facing deep-archive front door (often tape-backed), which is basically HSM translated into modern API language. Spectra Logic (StorCycle + BlackPearl) : “deep archive + object semantics” approach—tape economics with modern access patterns, showing how the archive tier is increasingly presented as S3/object rather than POSIX-only. GRAU DATA XtreemStore Other 2020s “HSM-type” products worth name-dropping If you want this section to feel complete, these fit naturally: File/NAS platforms adding object tiering (HSM baked into the filesystem) NetApp FabricPool Dell EMC Isilon/PowerScale CloudPools Qumulo / bənzər modern NAS platformaları (fəsil setinə görə dəyişir, lakin tema “policy + tier target”) Policy engines that sit above storage (HSM becomes “data management”) Komprise, StrongLink, Data Dynamics-style alətləri analiz etmək, sınıflandırmaq və strukturlanmamış məlumatları heterogene targetlar üzərində (NAS ↔ objekt ↔ bulud ↔ tape qapıları). Tape/object gateways and archive orchestration QStar, Atempo və buna bənzər "front end the archive, automatize the moves" yığınları fail iş proseslərini objekt/tape-backed retention-a qovuşdurur. **So no—HSM didn’t vanish. \ It just stopped wearing a name tag that says “HSM,” because “Lifecycle Management” sounds like something you can put in a slide deck without getting heckled. How parallel and clustered file systems supercharged HSM How parallel and clustered file systems supercharged HSM Classic HSM worked… until it didn’t. The early model assumed a mostly single-host worldview: one file server, one namespace, one set of movers, and a user population that Bu gün səhər saatlarında “Qazaxıstanda” “Qazaxıstanda” “Qazaxıstanda” “Qazaxıstanda” “Qazaxıstanda”. politely At scale—especially in HPC and multi-department enterprise environments—HSM hit the same predictable walls: The classic HSM bottlenecks (a greatest-hits album) HSM is fundamentally metadata-driven. You can’t migrate what you can’t , and you can’t recall safely if multiple clients disagree about state (“online,” “offline,” “partial,” “staged,” “stubbed,” etc.). Metadata coordination pain: find a single workflow change (new analysis job, crawler, antivirus scan, user running find / -type f) could trigger mass recalls. The archive tier doesn’t care that you’re impatient. Recall storms: early designs often had a small number of mover hosts. That’s cute until your compute fabric can read faster than your movers can stage. Single-node mover ceilings: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Parallel və clustered file systems magically “fix” HSM deyil. by giving it the primitives it always needed. turn HSM from a fragile add-on into a native capability What clustered/parallel file systems changed 1) A real shared namespace (one truth, not 50 interpretations) VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Buna görə də, HSM-nin özü : state machine Is the file resident? Is it partially resident? Is there a stub? Düşünürsünüz ki, bu xatirədədir? Is it pinned? Is it eligible for migration? Filtrasiya sistemləri bu sistemin . authoritative 2) Centralized policy evaluation at scale VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir. scan metadata select candidates Aktivlər Track nəticələri With clustered metadata, policy engines can operate against a global view and apply rules consistently. IBM Storage Scale / GPFS is a clean example: policy rules evaluate file attributes and then trigger actions like placement, migration, and pool selection. That’s the model: “Həqiqətən, bu, bir neçə ildir ki, “Survivor”da işləyə bilməyəcək. evaluate → select → act 3) Distributed movers (throughput scales with the cluster) “Special servers” kimi işləməkdən sonra, onları genişləndirə bilərsiniz: Daha çox mobil more parallel streams better aggregate bandwidth fewer hot spots In HPC, this is everything. If your archive tier can’t stage fast enough, the compute nodes sit idle. That’s not an IT problem—that’s a “we’re lighting money on fire” problem. Clustered environments also enable : you can rate-limit recalls, schedule migrations in off-peak windows, and avoid letting one project’s workflow melt the system. throttling and fairness 4) Better event hooks and workflow integration Ötən ən böyük yaxşılıq HSM xəbər verir ki, Sadəcə periodik skanlar deyil. event awareness what users do DMAPI-style event models (where the file system generates events like open/read on migrated files) let HSM do: (“you touched it, we’ll stage it”) transparent recall (queueing, throttling, priority) controlled recall Daha çox informasiyalar (düzgün və uzun müddətli işləmək) Bu, sistemin işləmək üçün düzgün olduğu yerdir: yalnız cron-a bənzər şaplara təvəkkül etməyin və real qasırğılara reaksiya verməyə başlayın. The “true hierarchy” pattern: file system + deep archive integration Metadata + prinsipləri + hadisələri dəstəklədikdən sonra, dosya sisteminin istifadəçi üzündən layer olduğu, arxiv sisteminin isə dərin layer olduğu daha təmiz hierarqilər yaratabilirsiniz. Bu da tamamilə o pattern demonstrates: GPFS generates DMAPI events, an event daemon processes them, and movers push/pull data to under an ILM framework. In practice, GPFS provides the namespace and policy control plane, while HPSS provides the deep archive and tape-scale logistics. GPFS/HPSS Interface (GHI) HPSS What this enabled in the real world (the part people actually care about) Parallel/clustered file systems didn’t just make HSM faster. They made it : less fragile Fewer “who owns this file state?” inconsistencies İstehsal törədicilərinin daha yaxşı kontrolü (qorxutma + gərginlik + prioritetlaşdırma) Bütün Namespace-də işləyən Policy enginləri A path to scale bandwidth by scaling movers and network, not by begging one server to work harder And that’s why HSM survived into the 2020s: once clustered platforms made policy + metadata + movers coherent, HSM stopped being a bolt-on and started being a -Bakend layerinin tapşırıq yerine objekt depolama və ya bulud olduğu zaman da. foundational pattern UNIX vs Windows: same goal, different pain UNIX vs Windows: same goal, different pain UNIX və Windows HSM-in nəticəsi belədir: . In practice, the two worlds evolved different mechanics—and different failure modes—because their file semantics and application ecosystems behave very differently. keep the namespace “whole,” push cold data to cheaper tiers, and recall it when needed UNIX HSM: predictable semantics, better hooks, fewer surprises (usually) UNIX-style HSM yaxşı işləyir, çünki bir neçə dostluq realitiyə dayanır: 1) File system event models and hooks UNIX environments historically had stronger “this file was touched” integration points—think Xatırladaq ki, bu sistemin bir prosesin migratlaşdırılmış dosyayı açdıqda və ya oxuduğu zaman meydana çıxara bilər. DMAPI-style user opens file Filtrasiya sisteminin offline/stubbed olduğunu bildirir HSM gets an event recall is queued/throttled Filtrə yenə yerləşdirilib This is why UNIX/HPC HSM implementations often feel more “native” to the platform: the recall path can be tightly coupled to file system behavior instead of being a bolt-on filter driver. 2) “Stub + recall” fits POSIX expectations better POSIX-ish tools generally tolerate the concept that: stat() works even if the file’s data blocks aren’t local Dərslər / Dərslər konsekvent errors are interpretable (“file not resident,” “staging,” etc.) HPC workflows can be structured to (pre-stage) before compute runs stage explicitly Even when it’s annoying, it’s at least . UNIX admins can also script around it with relative confidence—because UNIX tooling is built on the assumption that storage might be slow, remote, or transient. coherent 3) Control knobs are aligned with ops realities UNIX/HPC HSM stacks commonly give you operational levers that matter: recall throttling prefetch/stage policies Xatırladaq ki, “Never Migrate Flag” project-based policies by path, owner, group, filesystem This makes it easier to run HSM as part of a larger workflow rather than as an after-the-fact clean-up crew. Windows HSM: the same concept, but the ecosystem fights you Windows HSM works, but it has to survive an environment where lots of software assumes -Fil serverində və "disk" bir şagird kablosunda bir tape kütləvi olduğunda da. storage is always fast and always local 1) Applications often assume fast random access forever Many Windows apps (and plenty of third-party components) behave like: “File Open” “Instant Read” anlamına gəlir. Bir çox az sayda oxumaq frequent metadata probing Multi-Minute Recall latency üçün tolerans yoxdur That’s rough when your “cold tier” is tape or deep archive. UNIX/HPC users expect “stage first.” Windows users expect “it’s a file, therefore it should open.” Those are not compatible religions. 2) The hidden villains: indexers, AV scanners, and ‘helpful’ background services Windows ortamları yaxşı niyyətli automatizasiya ilə doludır ki, dosyalar geri qaytarılmaq üçün kifayət qədər çəkinir: Indexing Services bir hissəni crawl etmək scanning everything it can see Antivirus doing “light reads” eDiscovery / DLP / compliance agents enumerating and verifying files Backup/DR tooling VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 3) Backup software + stubs = confusion (unless you’re careful) Stub files and placeholders are central to Windows HSM. But backup systems can: back up the stub (useless) instead of the data (bad) trigger recalls to back up full content (worse: recall storm) İstehsalçılıq vəsiyyətləri - Offline Attributes Depending on Vendor So Windows HSM almost always requires : explicit backup integration planning Əməliyyatların yalnız primary layer-də işləməsi whether backup is allowed to trigger recall whether archived content is protected separately at the archive tier 4) “Transparent recall” is technically true… operationally messy IBM’s documentation for Windows HSM is very explicit that it supports —that’s the core user experience goal. The catch is that transparency can be a trap: users and applications can unknowingly trigger recalls at scale because nothing “looks” different in Explorer. stubs/placeholders and transparent recall behavior Practical bottom line: where each platform shines UNIX HSM is usually best when: workloads are batch/HPC/media pipeline you can pre-stage or schedule recall policies can be aligned to projects, paths, and compute workflows clustered/parallel file systems provide strong hooks and metadata scale Windows HSM is usually best when: “File-share capacity relief” layihəsi Sürücülər moderat və öngörülür you can tightly control indexers/AV/backup behaviors the organization accepts that “archive tier” means “slower, sometimes a lot slower” What changes when cloud storage shows up? What changes when cloud storage shows up? Cloud doesn’t kill HSM. It . changes who’s driving Klassik HSM datacenterinizdə yaşadı: siz layers, robotik, movers, recall queue və “why is staging slow” müharibə oduna sahib oldunuz. into the storage service itself—and your “tiers” become with and . HSM control plane shifts upward storage classes lifecycle policies restore workflows In other words: the same game, but now the referee is also your invoice. 1) HSM becomes “lifecycle + class transitions” Instead of “disk → tape” being a local design choice, cloud platforms formalize the hierarchy as and let you define : classes transition rules Depozit klassı dəyişir (“X gündən sonra, daha ucuz hissəyə keçin”) Yaş / Prefix / Tags / Versiyaları ilə bağlı ömrün hökmü (immutability, legal holds, object lock—depending on platform) Retention & governance hooks This is textbook HSM behavior, just expressed as platform policy. For example, automatik olaraq arxeoloji elementlərə çevrilə bilər və Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Sürücülük: Amazon S3 Lifecycle Azure Blob lifecycle management 2) “Recall” becomes a restore workflow (and it’s no longer just “slow”… it’s a process) Klassik HSM-də, xatırlatma genellikle: istədiyini sıralama, kasetdən alın, sahədə diskdən alın, appun davam etsin. In cloud, recall is often an explicit ilə : restore operation Bir qaytarma istefa (API çağırma / həyat döngüsü əməlləri / konsol iş aksiyası) Bir gözləmə müddəti (saatlar arxiv düymələrində normal olabilir) Bir müddətli accessibility window (çox zaman nə qədər vaxt geri qaytarılmalıdır) and request charges Potential retrieval fees So your old “tape delay” becomes . It’s not just latency—it’s orchestration. S3’s lifecycle + archival tiers are a good example: you can transition objects into archive classes, but you also inherit the restore semantics and operational constraints of those tiers. a workflow dependency 3) Metadata and inventory suddenly matter a lot more HSM-də “bu nə dərəcədədir?” – “Cloud/object systems” sistemində, aşağıdakilərlə işləmək lazımdır: Object metadata / tags Prefixes Inventory reports Storage analytics Versioning state Why? Because your policy engine is operating on object attributes, not POSIX file-system events. If you can’t the state cheaply (inventory/metrics), you’ll make bad lifecycle decisions—or you’ll discover them on the bill. Görünür 4) Billing becomes an HSM constraint (and sometimes the dominant one) Əvvəllər HSM-in qərarları çoxdur: Media xərcləri performansları operational burden Cloud adds: Retrieval xərcləri İstehsal xərcləri (some archival tiers) early deletion penalties egress/network xərcləri (özellikle regionlar arası və ya buluddan uzaq) İstehsal prosesi və prosesi Xatırladaq ki, komandalar özlərinə heç vaxt sorğu-sual etmədikləri soruları soruşmağa başlayırlar: “Bunu qaytarmaq olarmı, yoxsa qaytarmaq olarmı?” “Məgər biz yer üzündə yerləşdirə bilərik və batch restorantları geri qaytarırıq?” “Məgər biz iki dəfə pul verəcəyik, yoxsa iki dəfə pul verəcəyik?” Your archive tier is no longer a passive “cheap basement.” It’s an active financial instrument. 5) Hybrid becomes the default architecture Most shops don’t flip a switch from “HSM” to “cloud.” They end up with hybrid patterns: On-prem file system + cloud/object as capacity tier Cloud-native object + on-prem cache / edge Tape/object gateways that present S3 interfaces while keeping tape economics Buna görə də modern satıcılar “HSM”dən ziyana “həyat döyməsinin idarə edilməsi”ni seçirlər: təyyarələr hər yerdə olmalı və orkestrasiya bir neçə kontrol planına çevrilib. 6) Ceph RGW and S3-compatible ecosystems: cloud semantics without hyperscalers VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. and executed by the platform. policy is expressed in object terms The big operational shift (the part your app teams will absolutely notice) Cloud turns “recall latency” into a three-part problem: (restore delay) Time Qiymət (requirement + request + possible egress) (who triggers restore, how long it stays restored, what workflows depend on it) Process Bu səbəbdən komandalar birdən-birə about “what tier is this in?” In cloud, tier choice hits Kimsə sürprizləri sevir, lakin “retrieval” etiketli dörd sifarişli bir element kimi görünür. Bir çox performance and budget at the same time Sidebar: Cloud HSM Anti-Patterns (a.k.a. how to accidentally finance your provider’s next yacht) Sidebar: Cloud HSM Anti-Patterns (a.k.a. how to accidentally finance your provider’s next yacht) Burada very common ways teams create and Bəzən daha yaxşı hiss edərdim. six recall storms retrieval bills Let’s just run a recursive scan.” Someone points an indexer, antivirus, DLP tool, or discovery crawler at an object-backed namespace (or file gateway) and it “helpfully” touches everything. If those touches trigger restores/reads, you’ve just scheduled a surprise mass recall. Treating archive like a slower version of standard storage Teams transition data to archive tiers and keep the same application behavior—random reads, lots of small GETs, frequent reprocessing. Archive tiers are not “cheap disk.” They’re a cost/latency contract with consequences. No restore orchestration (aka “YOLO restore”) Restores kicked off ad hoc by users/apps without queueing, throttling, or prioritization. Result: clogged restore pipelines, missed deadlines, and a bill that looks like a phone number. Life-cycle rules without lifecycle governance “After 30 days, shove it to Glacier/Archive” sounds smart until Legal needs it tomorrow, or the workflow still references it weekly. Lifecycle must align with , not wishful thinking. actual access patterns Ignoring minimum storage durations / early deletion penalties Some archive tiers have minimum retention periods. Transitioning too aggressively (or deleting/overwriting too quickly) can trigger charges that make your “savings” evaporate. Egress amnesia The archive data might be cheap to store, but pulling it out—especially cross-region or out of cloud—can be expensive. If your plan is “restore everything back on-prem for processing,” congrats, you’ve invented a budget bonfire. Bir-birini düzəltmək fikri: Bulud arxivini API-yə bənzəyir: plan restores, batch reads, control scanners, and make lifecycle decisions based on measured access—not optimism. What changes as we move from POSIX to Object Storage? POSIX-dən Object Storage-ə keçdikdə nə dəyişir? Bu, çoxlu sayda HSM instinkti ilə tanış olmaq lazımdır.Klasik HSM bir yerdə büyüdü. Hər şeyin bir Növbəti məqalə“Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”in “Neftçi”nin “Neftçi”in “Neftçi”nin “Neftçi”nin “Neftçi”nin “Neftçi”in “Neftçi”in “Neftçi”in “Neftçi”in”in “Neftçi”in “Neftçi”in”in “Neftçi”in”in “Neftçi”in “The “Müsəlmanlar” da çox vaxt “Müsəlmanlar”dır. POSIX world Filtrə Namespace seçicidir API is the interface Same goal—right data, right tier, right cost—but the mechanics and mental model change hard. POSIX-first HSM (classic): “keep the illusion alive” Tradisional HSM, POSIX kontratına çevrilir: Fillər və kataloglar istifadəçi deneyimidir Xatırladaq ki, bu, özünəmək və özünəmək anlamına gəlir. Dərslər / Dərslər filoloji sistemdən istifadə olunur and expect data is there when they do Apps use open/read/close So classic HSM optimizes for one thing above all: preserve the illusion that the file is still “right there.” How it does that Dərslər / yer sahibləri: dosya direktoryum ağacında hala var, lakin faydalı yük migratlaşdırılmışdır. Transparent geri qaytarma: dosyaya tıxac, HSM onu geri qaytarır (çox zaman dosya sisteminin hackləri / hadisələri ilə). path patterns, uid/gid, project directories, file size, atime/mtime, “don’t migrate these extensions,” etc. Policies are file-centric: Güclü hissələr : Minimal app changes (in theory) Kullanıcılar tanınmış alətlərdə produktiv qalır Ən çox sekvensiyalı və öngörülə bilər iş prosesləri üçün gözəl işləyir The weaknesses: Stub storms (indexers, crawlers, AV, backup tools) Metadata-heavy scanning at scale “Transparency” hər şeydən uzaqlaşdıqda operativ risk olur Object-first lifecycle (modern): “stop pretending, start governing” Bu sistem bir sistem deyil, bir sistemdir. Normal olaraq identiteti belədir: API-driven key/value store with metadata Bucket + Key (bəzən bir prefix-based pseudo-direktoriya) Daha çox tag / metadata Daha çox versiyası Layihə / Layihə Sınıfı Apps don’t “open() a file.” They , often in chunks, often repeatedly, often via distributed clients. GET an object What lifecycle looks like in an object world Lifecycle motorlar işləyir: Yaş ( yaradılışdan sonraki günlər / son modifikasiya) Prefix (“bu keyspace altında hər şey”) (“Project=NDNP”, “Retention=7Y”, “LegalHold=True”) Tags (noncurrent version transitions, expiration rules) Versions Sürücülərdən istifadə etmək üçün, siz: Dərslər (hot → cool → cold → archive) for archival tiers (explicit “rehydrate” steps) Restore workflows Bazı zaman copy-on-restore modelləri (yeni bir yerə / sınıfa qaytarma) “Object storage” daha az “transparent recall” və daha çox “stateful data governance”dir. The big differences that matter operationally 1) Namespace identity changes (paths vs keys) Xatırladaq ki, bu yol —rename and moves have meaning and usually preserve identity. In object storage: Hər şey “Diktorya” genellikle anahtar prefiks konveksiyasıdır. “Rename” sıklıqla kopyalaşma + silinmək anlamına gelir (çox qiymətli) identity and policy control tend to ride on , not directory trees tags/metadata 2) Metadata becomes your control plane Classic HSM file attributes və file system metadata scanning istifadə edir. Objekt həyat döngüsü: Objekt metadata / Tags Inventar xəbərləri Access modelləri, boy dağılımları, version churn haqqında analitika Yatırım etməsəniz Ömrün bir hissəsi bitirir, ömrün bir hissəsi bitirir. inventory + visibility 3) Access patterns shift from stateful IO to stateless requests Əsas səhifə : open/read/write/close Düşünürəm ki, çox az metadata HPC/media sektorunda çox yayılmışdır. Objekti ilə bağlı: Əsas səhifə GET/PUT Pensiya normaldır Paralel müştərilər Təsadüfi qiymətlər (təsadüfi qiymətlər) Bu, “tərcümə fırtınası” kimi görünməyini dəyişir.İstədiyiniz yerdə, bu “kimsə bir bıçaq açmadı” deyildir. 4) “Recall” changes meaning HSM arxivində: Recall = Dosya diskə qaytarmaq və POSIX IO-ni qəbul etmək Objektin ömrünün həcmi: “recall” might mean: from an archive class for temporary access restore into a hotter class permanently rehydrate into a new location/work bucket for processing copy into a POSIX cache via a gateway materialize Artıq optimizasiya etmək olmaz, optimizasiya etmək olar. . workflow timing + cost + durability + governance 5) Security and governance models shift POSIX təhlükəsizliyini file sistem layerində (UID/GID, ACLs) davam etdirir. Objekt təhlükəsi tipik olaraq: Siyasətçi Bucket / Key xəritədə Object ACLs (platform bağlı) Etiketlər / Attribute-Based Controls That changes how you implement “only this team can recall/rehydrate” or “this dataset can’t leave cold tier.” 6) Hybrid gateways reintroduce POSIX—but with new failure modes Bir çox mağazalar istifadə edir: File Gateways - Objektin üstündə S3 S3 S3 S3 “Neftçi”nin “Neftçi” kimi görünüşü Bu faydalıdır, lakin bu, hər iki dünyanın ən pis sahəsi yaratır: POSIX apps behave like everything is local “Gateway” “Object Restores” və “GETs behind the scenes” Sürücülər + Sürücülər + Sürücülər Net effect: HSM becomes less about illusion and more about governance Xatırladaq ki, HSM çox vaxt: “Make the file system pretend the data is nearby.” Moderna Object Lifecycle (Modern Object ömrünün döyməsi): “Manage where data lives over time, and make access a controlled workflow.” “Neftçi”nin ən böyük problemlərindən biri artıq bu... predictability is. What “winning” looks like in the 2020s Bu prosesdə ən yaxşı olan sistemlər: Ömür döngüsü kontrollərini təmizləyin (storage class, transitions, retention, restore behavior) Inventar + analitik təmin etmək (doğrudan da, politika folklor deyil, həqiqətə dayanır) Workflow motorları ilə bütünlüklə daxil olun (bağışlar, sıralar, avtomatizasiya, qiyməti limitləri) Hybrid qasırğalar üçün köməklik (Caching / Gateways with guardrails, not “surprise restore roulette”) Statusu görünürləşdirin (layer, restore status, cost implications) ki, proqramlar və istifadəçilər körpə uçmasınlar So where is HSM headed next? Sonradan HSM nəyə yönəldi? “Hazirət”in “Neftçi”nin yeni versiyası yoxdur . a new operating model Xatırladaq ki, HSM uzun illərdir Xatırladaq ki, bu, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir. -Özəltəkiliyiniz on-prem dosya sistemləri, objektif mağazalar və public cloud klassları ilə bağlıdır. Yerləşdirmə how decisions are made, how they’re enforced, and how you prove they’re working Buradadır ki, bu da gedir. 1) Policy-as-code: fewer tribal rituals, more repeatable engineering “The Future HSM Stack” daha az “kimsə dokunmaya güvənməyən bir GUI” kimi görünür. : infrastructure code Siyasətlər deklarativ normlar olaraq yazılmışdır (çox zaman Git-də saxlanmışdır) Xatırladaq ki, “Kim bunu dəyişdi və niyə?” “Tested against real datasets or synthetic inventories” (“Onu açdığımız zaman bu nə migrant ola bilər?”) “Rollback” və “Rollback” planları Buna görə də HSM-in politikası for your data. If you treat them like one-off config tweaks, you eventually get: production traffic rules accidental mass migrations Şaşırtıcı fırtınalar İnformasiya yenilikləri Bir gün xərc üstündə yüzbaşı bunların ailəsini incitdi. “Policy-as-code” “admin craft”dən “HSM”ə çevrilir . operational engineering 2) Observability becomes non-negotiable (because lifecycle without visibility is just gambling) “Hazırda HSM-də işləmək lazımdır” – “Hazırda HSM-də işləmək lazımdır” : telemetry Görmək lazımdır ki, hər zaman: : counts, sizes, distributions by tier/class Inventory Heat: access frequency, access recency, burst behavior, qulaq asma : queue depth, latency percentiles, failure rates Recall behavior Xatırladaq ki, bu, bir neçə ildir ki, bu, bir neçə ildir. Maliyyə sinyalləri: qaytarma xərcləri, istintaq xərcləri, egress, əvvəlcədən silinmə cəzaları Siyasi nəticələr: “Bu politika nə qədər dəyişdi və nə qədər sərf etdi?” Əgər onu ölçə bilmirsənsə, onu düzəltməyəcəksən və bulud/objekt yerdə, düzəltməmək yalnız vaxtı boşa çıxarmır – bu, aylıq faturada və direktorun ruhunu göstərən bir şəkildə para sərf edir. Yeni norma belədir: . tiering decisions must be telemetry-driven, not vibes-driven 3) Workflow integration: “recall” becomes an orchestrated event, not an accident In classic HSM, the user touches the file and the system stages it. That works—until it doesn’t. Geldiyevin görünüşü : event-driven orchestration Reytinqlər / Reytinqlər / Reytinqlər “Bu iş saat 9-da baş verəcək, bir də gözləmək olar” Bütün sistemdə fırtınalar önəmlidir İş planlayıcılarına (HPC) və ya batch işləməyə bağlı pre-stage windows automatik xəbərdarlıqlar (“restore complete”, “data available”, “recovery scheduled”) “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin : predictable recall Əvvəlki latentlik Öncəki Maliyyə Əvvəlki: Workflow davranışları Kazanan sistemlər "soğuk düymədən verileri qaytarmaq"nı birinci sınıf boru yolunuza bənzəyəcəklər - birinin bir folderı tıklatmasından öngörülməz bir yan effekt deyil. 4) Business signals become policy inputs (ILM finally earns its keep) Bu, ILM-in bir slide-deck filosofiya olmaqdan və pratik olmaqdan asılıdır. Seçkilər daha da genişlənir , not just access time: business events Project Closes → soğuk / arşivə keçmək Publishing/release → replicate + retain immutabil Lock / Block Deletion / Change Tiering davranışları Ömrünün sonunadək saatı başlayır, həyat döngüsü deterministik olur Qazaxıstanda arxeoloji tədqiqat işləri bitirir, arxeoloji tədqiqat işləri bitirir Xüsusiyyət dəyişir → Access yollarını və re-encrypt/re-tag-ı kəskinləşdirir Bu, “HSM”in “yetişkin” versiyasıdır: politikalar Sadəcə saatlar deyil. meaning 5) A shift in what HSM optimizes for: from “capacity relief” to “governed lifecycle” Əvvəllər HSM-in uğurları belə görünürdü: “Primar diskin 40%-i özümüzdən qurtardım” Modern HSM-in uğurları belə görünür: “data nədir, nə üçün var, nə qədər xərcləyir, nə qədər sürətlə geri qaytarılmalı və nə qədər müddət saxlamalıyıq” “Politiki dəyişə bilərik” “Biz iş proseslərini dəyişdirməklə saxlayırıq” “Dünyada işləyə biləcəyik və işləyə biləcəyik” Daha az “disk daha böyük görünür” və daha çox . govern data over time across multiple storage domains Bottom line Dərslər HSM “nə üçün”dir, HSM “nə üçün”. Xatırladaq ki, HSM dəyişir. , and it’s getting expressed through və Filtrdən daha çox. policy-as-code + observability + event-driven workflows lifecycle engines object semantics VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu.