Miért lehet a 36 TB LTO-9 kazetta 63 millió fájllal a következő "nagy katasztrófa-helyreállítási történet" Amikor a Versity audit kimenete megérkezett az asztalomra az elmúlt negyedévben, majdnem kiöntöttem a kávéomat. Itt volt egy LTO-9 szalag körülbelül 63 millió fájllal és körülbelül 36 terabájt adattal (feltételezve a 2:1 tömörítési arányt), ami a kuratóriumi gyűjtemény közel 15% -át jelenti az adott csoport archívumterületére. Egy második szalag több mint 40 millió fájlra gyűlt össze, és a gyűjtemény többi része egy másik 20+ kazettára terjedt el, amely körülbelül 150 terabájtot és több mint 415 millió egyedi objektumot tartalmaz. A jó hír? A szalagok olvashatók. A rossz hír? A jelenlegi átviteli és fájlméret-eloszlásnál az összes adat A 4 mm-es DAT-tól az LTO-9-ig és azon túlmenően a szalaggenerációkon keresztül éltem. könyvtári gazdaságokat építettem, pásztorvándorlást végeztem, a legtöbben a legtöbben számítanak. Szeretném látni, és a felvételen vagyok, hogy ezt világosan mondjam: Kivéve, ha átgondoljuk, hogyan tároljuk, védjük és kezeljük a kis objektumok hatalmas mennyiségét szekvenciális adathordozón. Soha a single, monolithic preservation object — especially tape —   become a liability Lehet Lehet Tegyük fel, hogy miért, és tegyünk egy útvonalat előre. Why This Matters Miért számít ez A mágneses szalagtechnológiák, mint például a Linear Tape-Open (LTO) alapvető fontosságúak az archiváláshoz, a biztonsági mentéshez és a hosszú távú megőrzéshez, mivel költséghatékony, nagy kapacitású tárolást biztosítanak rendkívül alacsony energiafelhasználással és nagy médiaélettartammal. ] Az Ultrium LTO De ezek az erősségek elhomályosítanak egy gyengeséget: A klaszterezett lemez/objektum tárolókkal ellentétben, ahol a metaadat-motorok és az elosztott törlési kódolás asztali tételek, a szalagot gyakran – a szoftverek és az opciók egyaránt – fekete dobozként kezelik: vágja be a tartalmat, felejtsd el, remélje a legjobbat. tape is sequential and singular in structure Íme a fő feszültség: 
 
 
 
 A nagy objektumszámú adatmennyiségek növekedése növeli a visszahívás és az integritás összetettségét. A hagyományos szalagvédelmi stratégiákat soha nem tervezték több százmillió objektumra egyetlen adathordozón. A modern elvárások a rendelkezésre állás, a helyreállíthatóság és az automatizálás tekintetében nem állnak összhangban a szalag szekvenciális, lineáris természetével. Ez már nem egy hipotetikus szélsőséges eset. Ön a termelésben fut be. What People Usually Miss Amit az emberek általában hiányoznak Let’s dismantle the common misconceptions that get people blindsided: A. “Tape capacity growth means tape can store anything.” Az LTO-10 szalag több terabájt (magasabb, mint az LTO-9). de a nyers kapacitás nem visszaállíthatósági korlátozások mérséklése. szalag átviteli sebesség és kapacitási mutatók - amelyek uralják az emlékeztető időt, amikor milliárd apró tárgyak vannak érintve. Megtarthatjuk nem seek delays, threading latencies, and multiple file overhead Az a tény, hogy a szalag fizikailag 100 TB-ot rögzíthet, nem foglalkozik azzal, hogy milyen hosszú, drága és törékeny ez a 100 TB-os visszaolvasás, ha nem tervezte a méretezést a fájl / objektum szintjén. B. “Sequential media doesn’t need modern protection.” Szinte minden adatvédelmi lejátszó a szalagokhoz a következőkre vonatkozik: 
 
 
 
 Duplikátumok készítése (Create Duplicates) Külön tároljuk őket Reméljük nem is lesz rossz És imádkozol – nincs ellenőrzés? nincs keresztellenőrzés? nincs folyamatos védelem? Ez az 1990-es évek közepén kialakult gondolkodásmód, amely 2025-ben újjáéled. Eközben a lemezen lévő elosztott objektum tárolásban a törlési kódolás és a verziószerkezet szabványos. E fogalmak alkalmazása a . Alig rázta meg a felszínt Lépcső C. “If the tape reads today, it’ll read tomorrow.” A média hűsége magas, de nem Az LTO és más mágneses szalagok kiváló empirikus megbízhatósági számokkal rendelkeznek a lemezekhez képest - de ez a média szintjén van, nem a Ha tízmillió, kis átlagos méretű objektumot csomagolsz egyetlen adathordozóra, akkor aggregálod a kockázatot. megtéveszthetetlen Objektum kompozíció D. “Backups are backups.” Hagyományos biztonsági mentés vs. megőrzés felhő mitológia vakok csapatok. A visszahívási idő és a hozzáférési minták várakozása alapvetően eltérő. , és a hiba módokat nem lehet úgy kezelni, mint a lemezsorozatokat vagy a felhő objektumtárakat. nem cserélhető a biztonsági adatokkal domináns olvasó The Core Risk Vector: Single Medium, Exponential Objects A fő kockázati vektor: Egyszeri közepes, exponenciális objektumok Számítsuk ki, miért válik felelőssé egy 100 TB-os archívum 400 millió objektummal: 
 
 
 
 
 Az átlagos keresési idők kis objektumokkal szorozódnak - az átviteli sebesség gyakran több tucat MB/s-ről egyszeri számjegyre vagy rosszabbra csökken, amikor kis fájlokat hagy. A könyvtárak és a menedzsment rendszerek küzdenek a több tíz/százmillió bejegyzés indexelésével. A visszahívás késleltetése korlátlan. hetek vagy hónapok az elavult, nem használható adatok helyreállításához - különösen a megfelelőség vagy a jogi tartalékok tekintetében. Ha a szalag rosszul megy, drága bírósági helyreállításokat vagy másodlagos másolatokból származó rekonstrukciókat keres. Ez az, ahol a korábban sérthetetlen „szalag integritásának” feltételezése meghiúsul: méretarányosan, . A kockázatot az objektum sűrűsége növeli How Do We Build a Resilient Tape Preservation Environment? The Pro Position Hogyan építsünk egy ellenálló szalag megőrzési környezetet? a Pro pozíció Egyértelműen a „szalagmegőrzés biztonságos lehet *ha újratervezett” táborban vagyok.A szalag + másolatok hagyományos modellje rövid távú a nagy sűrűségű objektumgyűjtemények számára. Íme, amit én támogatok: A. On-Tape Erasure Coding alkalmazás Az objektumok lineáris rögzítésének helyett egyszerű hibajavítással helyezze be a Reed-Solomon vagy hasonló törlési kódokat az adatcsíkokon belül a patronba. erasure coding directly within the cartridge’s data organization Ez nem elméleti - léteznek szabadalomok a mágneses szalagok törlési kódolására a kettős Reed-Solomon kódok használatával, hogy csökkentsék a hatékony bites hibaarányokat és lehetővé tegyék a helyhez kötött veszteségek helyreállítását. ] A szabadalom Ez megváltoztatja a modellt a "olvassa el az egész szalagot a hibák megtalálásához" a "elvesztett csíkok újjáépítésére az érintetlen paritásblokkokból". B. Cross-Tape Redundant Arrays of Independent Tapes (RAIT) The concept of redundant arrays across tapes — sometimes referenced as RAIL/RAIT (Redundant Array of Independent Libraries/Tapes) — extends erasure coding  A párhuzam helyett használjon párhuzamot a szalagok között, hogy lehetővé tegye az adatok helyreállítását, ha . across multiple cartridges Egy szalag teljesen meghibásodott Gondolkodás A RAIT alkalmazása azt jelenti: 
 
 
 
 Elosztott paritás a szalagokon át Intelligens katalógus, amely tudja, hogy melyik szalag melyik szalagot tartja Reconstruction algorithms that can rebuild without loading every tape Ez a modern adatközpont gondolkodás alkalmazott szalag. C. Holistic Tape Media Protection Egyetlen szalagpatron működik, mint egy A beágyazott szervo pályák, a mágneses hajtás és a média kopás valóságos. véges megbízhatósággal rendelkező jelkészülék 
 
 
 
 On-tape ellenőrző összegek objektumonként (nem csak blokkok) Folyamatos egészségügyi nyomon követés a könyvtár metaadataiból Proaktív szalagcsere a használat és az egészség alapján Az objektumtárak, mint például a Cleversafe, információs diszperziós algoritmusokat alkalmaztak a csomópontok közötti szeletelések kezelésére - a szalagnak hasonló granularitásra van szüksége. ] Tisztaság: Wikipedia D. Multi-Tape Object Distribution A Do csomagoljon több millió kis tárgyat egyetlen patronba, és oszd el őket több szalagon: nem 
 
 
 
 
 Objektum mérete Emlékeztető valószínűség Sürgősségi hozzáférés Kockázati profil Ez hasonló a szeleteléshez – de a szalag esetében. Az adatkészlet szeletelése szalagokon keresztül szeletelésekké teszi az egyes szalaghibákat kevésbé katasztrofálisnak. E. Intelligent Tape Management Software Ami a legtöbb környezetben hiányzik : Metadata intelligencia 
 
 
 
 
 A lineáris szalag szerkezetétől leválasztott lekérdezhető objektumkatalógusok Eltávolítás kódolás nyomon követése Automated tape load/unload scheduling Prediktív visszaemlékezési optimalizálás Az objektum-megőrző szoftvernek szalag-tudatosnak kell lennie, nem szalag-közeli. Current Tape Market and Preservation Software Landscape Aktuális szalagpiac és megőrzési szoftver tájkép A. What’s Available Today 
 
 
 
 Az LTO Ultrium továbbra is a domináns nyílt szalagformátum, folyamatos generációs kapacitásnövekedéssel és erős ökoszisztéma-támogatással. [LTO: Wikipedia] A nagy szalagkönyvtár-szállítók nagy kapacitású robotikát és meghajtókat kínálnak erős médiaélettartam-előrejelzésekkel. [Fujifilm Assets] Vannak olyan architektúrák, amelyek támogatják a RAIL/paritást a szalagokon keresztül (például néhány termékben forgalmazott kétdimenziós törlési kódolási megvalósítások). [Quantum] Azonban a legtöbb , ne törölje a kódokat vagy a cross-tape paritást. Az iparág elfogadása továbbra is a „másolatok + válogatás” szinten marad B. What Needs to Change Íme a Felsőfokú mérnöki és vezetői pozíciók: hús B.1 Tape Protocols Must Evolve B.1 A szalagprotokolloknak fejlődniük kell A Tape fájlrendszernek tartalmaznia kell: 
 
 
 
 Native delete coding támogatás Elosztott metadatok A párhuzamos hozzáférés paradigmái E nélkül a szalag mindig sziloid, törékeny közeg lesz. B.2 Tape Libraries Must Expose Metadata APIs B.2 A szalagkönyvtáraknak ki kell tárniuk a metaadat-API-kat A könyvtáraknak kell: 
 
 
 
 Provide object-level metadata through standardized services Engedélyezze az emlékeztető tervezést és a pre-fetchinget Egészségügyi telemetria kínálata az egyszerű olvasási / írási számláláson túl Amíg a könyvtárkészítők első osztályú metaadatokat nem kezelnek, az automatizálás kudarcot vall. B.3 Preservation Software Must Treat Tape Like an Object Store B.3 A megőrző szoftvernek a szalagot úgy kell kezelni, mint egy objektumtárat A hagyományos biztonsági keretrendszerek a szalagot takaróként kezelik – nem Ezt a mentalitást meg kell változtatni.A modern megőrzés a következő: Élő tárolás 
 
 
 
 
 Változatlan hozzáférhető elosztott öngyógyítás A szalagnak mind a négyen játszani kell. C. What Patents and Research Indicate Vannak olyan : patents tailored to tape protection and cross-media erasure coding 
 
 
 
 US11216196B2 leírja a kettős Reed-Solomon törlési kódok alkalmazását a mágneses szalagokon belül a hibajavítás javítása érdekében. Az US12099754B2 (a Quantum-hoz rendelt) több médiafelületen tárolja és visszaszerzi az objektumokat, ami egy multimédiás, potenciálisan többszalagú ellenállási stratégiára utal. A korai munka (nem szalagspecifikus) adaptív törlési kódokat mutat az elosztott rendszerek számára, amelyek tájékoztathatják a szalagstratégiákat. US11216196B2 US12099754B2 Más szóval: a De a piac elfogadása elmarad. intellectual groundwork exists Designing for Tape Failure Tolerance A tapéta meghibásodási toleranciája Tehát hogyan építhetsz egy szalag ökoszisztémát, amely ellenáll a kudarcnak anélkül, hogy megsértené a megőrzési programot? A. Tape Grouping and Parity Sets létrehozni A RAID beállítások: tape groups 
 
 
 
 Paritási szalagok minden csoportban Data tapes distribute objects based on hashing Automatikus paritási újjáépítés a szalaghiba esetén Ez a modell azt jelenti, hogy a szalag elvesztése nem automatikusan elveszíti az adatokat; a paritáson keresztül helyreáll. B. Cross-Tape Redundancy Checking Periodikus bites szkennelés helyett végrehajtása - az objektum-referenciák összehasonlítása a paritáskészletek között, és Ez az, amit az ellenálló tárolórendszerek a lemezes klaszterekben tesznek; a szalagnak kölcsönöznie kell az ötletet. A kazettán cross-tape consistency checks verify content integrity statistically C. Object Index with Parity Awareness A katalógusnak meg kell értenie: 
 
 
 
 Ahol a paritás él Hogyan lehet újjáépíteni Mely szalagok nélkülözhetetlenek vs. feleslegesek E nélkül a paritás csak dekoráció. D. Tiered Recall Scheduling A hagyományos visszahívási munkahelyek ad hoc jellegűek.A modern rendszereknek: 
 
 
 
 Pre-slot visszahívás Robot akciók megtervezése prioritással Optimalizáljuk a használatot Ez minimalizálja a fej és a robot kopását, és javítja a kiszámíthatóságot. CIO/CTO Takeaways: Risk, Cost, and Strategy CIO / CTO Takeaways: kockázat, költség és stratégia A. Risk Exposure Magas objektum sűrűségű szalagok A párhuzamos stratégiák nélkül, akkor: single points of failure 
 
 
 Több hónapos ablakok helyreállítása A szervezet megfelelőségi jogsértéseknek való kitettsége, ha az adatok korábban szükségesek A felső vezetésnek a „médiatartalom” mutatóin túl kell látnia a szalagkockázatot. B. Cost vs. Resilience Igen, törölje a kódolást és a RAIT stratégiákat a paritás képességét – de drasztikusan csökkentik az újjáépítések és a hosszú visszahívási idők működési kockázatát. Ez olcsóbb, mint egy hat hónapos igazságügyi helyreállítás vagy jogi büntetések. Néhány C. Future Roadmaps A szalag kapacitása továbbra is növekedni fog, de hacsak az építészet nem fejlődik , a szalag egyre törékenyebbé válik. szüksége van: Az adatok mérete és az objektum sűrűsége 
 
 
 
 Native parity támogatással A könyvtár-értékesítők által exponált metaadat-API-k Megőrzési szoftver, amelyet elosztott, kódolt tárolásra terveztek E nélkül a szalag csak egy lassabb, nagyobb szilo. Conclusion: Tape Is Not the Enemy — Ignoring Scale Is Következtetés: A szalag nem az ellenség - a skála figyelmen kívül hagyása Azt mondom egyértelműen: tape will remain essential — but only if we stop treating it as a dumb sequential volume and start treating it like a distributed, protected, and codified store. Egyetlen 100 TB-os szalag, amely több száz millió fájlt tartalmaz, nem eszköz – ez egy hogy hatékonyan és megbízhatóan emlékezhetsz rá, amikor szükség van rá. a legtöbb környezetben, modern védelmi stratégiák nélkül. A bet Túl nagy Állítsa be a modellt. Építse fel a redundanciát szalagokra. Szórja el az objektumokat. Alkalmazza a paritást. És győződjön meg arról, hogy a megőrzési ökoszisztéma ugyanolyan ellenálló, mint az adatok, amelyeket megpróbál menteni. Tape as liability is not about media — it’s about architecture.

Read My Stories

Ez a hanganyag a történet eredeti nyelvén készült!

Amikor a „nagy szalag” megszűnik tárolóeszköznek lenni, és radioaktív adathulladékként kezdi viselkedni

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

HackerNoon Raises $250k at $50M Valuation From Forward Research

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

Of The First and Last Things: Part 1

The Little Shop at Fishbourne

HackerNoon Raises $250k at $50M Valuation From Forward Research

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

Of The First and Last Things: Part 1

The Little Shop at Fishbourne

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps