Įvadas Šiame straipsnyje aptarsime suspaudimą didelių duomenų kontekste, apimantį suspaudimo tipus ir metodus. 
 
 Nardymas į Nardymas į Kas yra kompresija? Pagal bendrą anglų apibrėžimą suspaudimo, jis reiškia sumažinti kažką užimti mažesnę erdvę. Kompiuterių mokslo, suspaudimas yra procesas sumažinti duomenis į mažesnį dydį. Duomenys, šiuo atveju, gali būti atstovaujama teksto, garso, vaizdo failus ir tt Pagalvokite apie tai, kaip bet ką jūs saugote ant jūsų kompiuterio kietajame diske, kaip duomenų atstovaujama skirtingais formatais. Siekiant suteikti daugiau techninį apibrėžimą, suspaudimas yra kodavimo duomenų procesas naudoti mažiau bitų. Yra keletas priežasčių suspausti duomenis.Dažniausia ir intuityviausia priežastis yra taupyti saugojimo erdvę.Kitos priežastys yra dėl to, kad duomenys yra mažesni.Darbo su mažesniais duomenimis privalumai yra: 
 
 
 
 
 Greitesnis duomenų perdavimo laikas: suspausti duomenys yra mažesni ir trunka mažiau laiko, kad būtų perduoti iš šaltinio į paskirties vietą. Sumažėjęs pralaidumo suvartojimas: Ši priežastis yra glaudžiai susijusi su greitesnio duomenų perdavimo privalumu.Spausti duomenys naudoja mažiau tinklo pralaidumo, todėl padidėja pralaidumas ir sumažėja vėlavimas. Geresnė skaitmeninių sistemų, kurios labai priklauso nuo duomenų, veikla: Tai akivaizdu sistemose, kurios remiasi duomenų apdorojimu. Šios sistemos naudoja suspaudimą, kad pagerintų sistemų veikimą, sumažindamos duomenis, kuriuos reikia apdoroti. Atkreipkite dėmesį, kad tai gali būti sistemai būdinga ir priklausys nuo tinkamo suspaudimo metodo naudojimo. Išlaidų efektyvumas: debesies paslaugos apmokestinamos už duomenų saugojimą. Naudojant mažiau saugojimo vietos, įdiegiamos sąnaudų taupymo priemonės, ypač didelių duomenų sistemose. Kitos suspaudimo priežastys priklauso nuo skirtingų suspaudimo metodų ir formatų. Kai kurie šifravimo algoritmai gali būti naudojami kaip suspaudimo metodas. Tai darant, jis apima saugumo sluoksnį dėl anksčiau aptartų priežasčių suspausti duomenis. Be to, naudojant bendrus suspaudimo formatus suderinamumas ir erdvė išplėtimo išorinėms sistemoms integracijos tikslais. Verta paminėti, kad suspaudimo priežastys taip pat skamba kaip privalumai. Tačiau suspaudimas nėra be kompromisų. Vienas bendras kompromisas suspaudimui yra dekompresijos poreikis, kuris gali būti susijęs su išteklių ribotomis sistemomis. Kiti kompromisai priklauso nuo naudojamo suspaudimo metodo ir duomenų tipo. 
 
 Straipsnyje pateiktos sistemos reiškia skaitmenines sistemas, kurios naudoja duomenis ir gali pasinaudoti suspaudimo metodais.Žodžių sistemos naudojamos gana laisvai ir turėtų būti aiškinamos atsižvelgiant į tai, kas aptariama tame skyriuje. Straipsnyje pateiktos sistemos reiškia skaitmenines sistemas, kurios naudoja duomenis ir gali pasinaudoti suspaudimo metodais.Žodžių sistemos naudojamos gana laisvai ir turėtų būti aiškinamos atsižvelgiant į tai, kas aptariama tame skyriuje. Kompresijos tipai Norėdami aptarti skirtingus metodus, naudojamus duomenų suspaudimui, pirmiausia suskirstysiu suspaudimą į 2 pagrindines kategorijas.Šis straipsnis tada aptars metodus, susijusius su kiekviena kategorija. ir ir kompresijos. Lossy Lossless Kai vardai išduoda tai, ką jie jau reiškia, Techniniai metodai yra metodai, kurie neužtikrina visiško duomenų ištikimumo. Paprasčiau tariant, kai kurie duomenys yra išmesti, bet nepakanka, kad duomenys būtų neatpažįstami. Lossy compression Vienas nuostolių suspaudimo bruožas yra tas, kad jis yra negrįžtamas, t.y., kai pateikiamas su suspaustais failais, negalima atkurti žaliųjų duomenų su savo pradiniu ištikimybe. Tam tikri failai ir failų formatai yra tinkami nuostolių suspaudimui. Paprastai jis naudojamas vaizdams, garso ir vaizdo įrašams. Pavyzdžiui, JPEG formatuoti vaizdai gerai leidžia suspausti, o suspaudus JPEG vaizdą, kūrėjas ar redaktorius gali pasirinkti, kiek nuostolių įvesti. Kita vertus, yra grįžtamasis, o tai reiškia, kad suspaudus, visi duomenys yra išsaugoti ir visiškai atkurti dekompresijos metu.Tai reiškia, kad neprarandamas suspaudimas tinka tekstiniams failams, o duomenų sandėlio ir ežero pasaulyje tai būtų vienintelis atitinkamas tipas.Kai kurie garso (FLAC ir ALAC) ir vaizdo failo formatai (GIF, PNG ir kt.) puikiai veikia su šiuo suspaudimo tipu. lossless compression Pasirinkti metodą Nėra bendro geriausio suspaudimo metodo. Skirtingi veiksniai lemia pasirinkimą, kuris metodas būtų tinkamas kiekvienu atveju. Pavyzdžiui, finansų pramonės duomenų inžinierius, dirbantis su saugomais lentelėmis, linkęs naudoti neprarastą suspaudimą dėl trūkstamų duomenų poveikio sukuriant tikslias ataskaitas. Alternatyviai, prarastas suspaudimas gali būti būdas optimizuoti tinklalapį su daugybe vaizdų, suspaudžiant vaizdus ir sumažinant apkrovos elementus, kad svetainė taptų lengvesnė. Kompresijos technika Šiame skyriuje bus aptariami tik bendrieji suspaudimo metodai tiek prarastam, tiek neprarastam suspaudimui. Atkreipkite dėmesį, kad tai jokiu būdu nėra išsamus. Be to, aptariami metodai gali turėti nedidelių pokyčių, siekiant pagerinti jų našumą, kaip patvirtina skirtingi tyrimai. Kompresijos metodai be nuostolių Trys bendri be nuostolių metodai yra Run-Length kodavimas (RLE), Huffman kodavimas ir Lempel-Ziv-Welch metodai. RLE yra pagrįstas kodavimo duomenimis, tokiu būdu, kad jis pakeičia pasikartojančių duomenų sekas su vienu duomenų gabalu ir to duomenų gabalo skaičiavimu.Tai veiksminga ilgoms pasikartojančių duomenų paleidimams.Taip pat duomenų rinkiniai, turintys matmenis (laukus), kurie yra rūšiuojami nuo žemo lygio iki aukšto kardinalumo lygio, naudoja RLE. Run-Length Encoding Pavyzdžiui, paimkite paprastą eilutę, kaip RLE suspaudžia duomenis, kad taptų Norėdami būti praktiškesni, paimkite lentelę žemiau esančiame paveikslėlyje. AAAAABBCDDD A(5)B(2)C(1)D(3) 1 paveikslėlis - prieš RLE. Svarbu pastebėti, kad laukuose nuo kairės į dešinę didėja kardinalumo lygis 2 paveikslėlis - po RLE Kadangi RLE priklauso nuo pasikartojančių laukų skaičiaus, o antrajame pavyzdyje duomenų kardinalumas ir rūšiavimo tvarka įrašą ant elemento stulpelio negalima suspausti tik nes ankstesnėje skiltyje visos vertės suskirstytos į ir Tam tikri failų formatai yra suderinami su RLE, pvz., Bitmap failų formatais, tokiais kaip TIFF, BMP ir kt. Parketo failai taip pat palaiko RLE, todėl jis yra labai naudingas šiuolaikiniuose duomenų ežeruose, naudojant objektų saugojimą, pvz., S3 arba GCS. Mouse Mouse (3) IT, Mouse HR, Mouse : Jis grindžiamas statistiniu modeliavimu, kuris priskiria kintamosios ilgio kodus vertėms žaliaviniuose duomenyse, remiantis dažnumu, kuriuo jie atsiranda žaliaviniuose duomenyse. Šio modeliavimo atstovavimas gali būti vadinamas Huffman medžiu, kuris yra panašus į dvejetainį medį. Huffman Coding Paimkime tuos pačius duomenis, naudojamus RLE pavyzdyje Atitinkamas Huffman medis atrodo taip. AAAAABBCDDD Huffman medis Iš medžio matome, kad laiškas Ją atstovauja Taip pat Jis pristatytas Palyginti su laiškais ir , mes pastebime, kad A ir D atstovauja mažiau bitų. tai yra todėl, kad jie turi didesnį dažnį; todėl Huffman algoritmas atstovauja juos su mažiau bitų pagal dizainą. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman kodavimas naudoja Kas teigia, kad Pavyzdžiui, galiojantis Huffman kodas negali turėti raidžių c ir d. ir Kadangi atstovavimas Tai yra prefiksas . prefix rule, kodas, atstovaujantis simboliui, neturėtų būti bet kurio kito kodo prefikse; C: 00 D: 000 C D Norėdami tai pamatyti veiksmuose, Kompiuterių mokslo lauko vadovas turi Jūs galite žaisti su. Huffman medžio generatorius Huffman medžio generatorius : Jis buvo sukurtas Abraham Lempel, Jacob Ziv, ir Terry Welch 1984 metais ir yra pavadintas po kūrėjų, akivaizdžiai 😅. Panašiai kaip RLE ir Huffman kodavimas, LZW gerai veikia su duomenimis, kuriuose yra daug pakartotinių duomenų. LZW algoritmas yra žodynas pagrįstas ir sukuria žodyną, kuriame yra raktinių verčių poros paprastai matomų modelių žaliaviniuose duomenyse. Toks žodynas taip pat gali būti vadinamas kodų lentele. Naudodami iliustraciją, kad paaiškintumėte, kaip veikia ši technika, paimkime mūsų žaliavinius duomenis, kad būtų atstovaujama Kai praeina per algoritmą, naudojant A-Z konfigūraciją kaip galimas vertes, gaunama kodo lentelė atrodo taip: Lempel–Ziv–Welch Coding ABBABABABA LZW kodų lentelė Iš aukščiau pateiktos kodo lentelės yra visų raidžių A-Z raktinių reikšmių pora ir tokių modelių kaip AB, BB, BA ir ABA raktinių reikšmių pora. Turėdama trumpesnį šių modelių atstovavimą, LZW algoritmas gali suspausti žaliuosius duomenis, užkoduodamas juos į mažiau bitų. Svarbiausia yra pastebėti suspaustų duomenų tarpus. Galima galvoti apie juos kaip apie simbolių pabaigą, todėl dekoderis neinterpretuos Kaip a Nes jie reiškia skirtingus dalykus. 0 1 1 26 29 28 1,0 10 LZW yra paprastai bendrojo tikslo ir plačiai naudojamas šiandien.Jis yra integruotas į daugelį Unix / Linux operacinių sistemų už Be to, bendri failo formatai, suderinami su LZW, yra GIF, TIFF ir PDF. Kitos LZW suspaudimo programos gali būti vertinamos natūralios kalbos apdorojimo srityje, kaip aptariama šiame dokumente. . compress Tokenizacija NLP Tokenizacija NLP RLE, Huffman kodavimas ir LZW kodavimas yra tik bendri pavyzdžiai. „Lossless“ suspaudimo metodai viršija šiuos tris (3) pirmiau aprašytus metodus. kuris naudoja Huffman ir LZW derinį - konkrečiai LZ77 - kodavimas. DEFLATE, Kompresijos praradimo technika Šiame skyriuje mes pažvelgsime į dviejų tipų nuostolių suspaudimą.Prisiminkite, kad nuostolių suspaudimas įveda praradimą originaliems duomenims, o tai reiškia, kad ne visi duomenys yra saugomi. : Šis suspaudimo metodas daugiausia naudojamas garso, vaizdo ir vaizdo failus ir taip pat paprastai vadinamas blokų suspaudimas.Jis naudoja matematinę funkciją - cosine funkcija, kaip rodo pavadinimas - konvertuoti originalių duomenų blokus į dažnius. Discrete Cosine Transform (DCT) Suspaudimas atsiranda, kai susiduriama su aukštais dažniais, kurie atsiranda duomenyse, kai žaliaviniai duomenys yra išversti į dažnio sritį, naudojant matematinę funkciją. 
 
 
 
 
 Pavyzdžiui, vaizdo suspaudimo atveju tai gali būti 8x8 pikselių. Taikykite matematinę funkciją, kad duomenys būtų konvertuojami į dažnius. Aukšti dažniai tada sumažinami arba pašalinami priklausomai nuo priimtino nuostolių laipsnio, kurį žmogus yra pasirengęs įvesti. Norėdami konvertuoti atgal į vaizduojamus duomenis, visi likę dažniai perduodami per atvirkštinį diskretų kosininį transformavimą - IDCT - atkurti duomenis iš dažnių. DCT yra plačiai naudojamas įvairiose srityse šiandien, ne tik suspaudimo, bet ir signalų apdorojimo. Bendrieji failo formatai, suderinami su DCT yra JPEG (vaizdai), MP3 (audio) ir MPEG (video). Be to, DCT gali pasiekti aukštus suspaudimo santykius, todėl jis tinka skaitmeninėms sistemoms su daugybe vaizdų, pavyzdžiui, interneto puslapiuose. : Fraktalas yra savaime kartojantis begalinis modelis, kuris kartojasi skirtinguose skalėse. Kai žiūrima iš bet kurio skalės taško, modelis atrodo panašus. Kadangi modeliai yra panašūs bet kuriame skalėje, fraktalinis suspaudimas sumažina „didelių“ fraktalų mastą, kad sumažintų duomenų dydį. Fractal Compression Fraktalų pavyzdžiai Bendroji idėja, naudojant vaizdą, yra ta, kad jei paveikslėlyje yra keletas dalių, kurios atrodo vienodos, kodėl jie saugomi du kartus? 
 
 
 
 
 Suskirstykite vaizdą į nesuderinamus blokus, vadinamus diapazono blokais.Tai gali būti 8x8, 16x16 pikselių diapazono blokai ir kt. Jis nuskaito vaizdą dėl savarankiškai pasikartojančių modelių (fraktaliniai modeliai). Naudodamasis diapazono blokais, algoritmas randa didesnes vaizdo dalis, kurios yra panašios į šiuos diapazono blokus. Šios transformatorių funkcijos yra matematinės funkcijos, tokios kaip skalavimas, vertimas, sukimas ir tt Jie taip pat gali būti vadinami transformacijomis. Tada duomenys yra koduojami toms transformacijos funkcijoms. Vietoj to, kad būtų saugomi pikselių-pikselių duomenys, yra saugomi transformacijos. Šie transformacijos yra taisyklės, kuriose aprašoma, kaip rekonstruoti vaizdą iš domeno blokų. Su fraktaliniais kodais vaizdas rekonstruojamas naudojant iteracinį procesą. Šis procesas gali būti skaičiavimo požiūriu brangus, tačiau fraktalinis suspaudimas gali pasiekti didelį suspaudimo santykį, palyginti su kitais suspaudimo metodais. Dėl savo priklausomybės nuo savarankiškai kartojamų modelių, jis veiktų geriau duomenims, kurie atitinka tokius savarankiškai kartojamus modelius. Pavyzdžiai būtų kraštovaizdžio fotografijos (gamtos vaizdai) ir DNR vaizdai. Yra ir kitų slopinamų suspaudimo metodų, tokių kaip diskretiškas Wavelet transformavimas, kvantifikavimas. Šie metodai paprastai naudojami vaizdų, garso ir vaizdo failams ir tinka tam tikriems failų tipams ar formatams - JPEG, MP3 - kiekvienam failo tipui. Nuostolių suspaudimas paprastai turi didesnį suspaudimo santykį nei neprarandamas suspaudimas ir kartais tikisi, kad vartotojas žino, kiek nuostolių reikia įvesti iš anksto. Žymės: dr Apskritai, šiame pranešime aptariamas suspaudimas duomenų pasaulyje. Jis labai remiasi esamais kompiuterių mokslo ir informacijos teorijos žinių kūnais. Suspausti reiškia sumažinti subjekto užimamą tūrį, o duomenų srityje tūris reiškia saugojimo erdvę. Spausdinimas skaitmeninėse sistemose turi daug privalumų, kai tai daroma teisingai. Akivaizdu, kad jis sumažina erdvę ir suteikia erdvę saugoti daugiau duomenų. Kiti privalumai yra greitesnis perdavimas, mažesnis pralaidumo naudojimas ir bendras minėtos sistemos efektyvumo gerinimas. Prisiminkite, kad tai yra tada, kai tai daroma teisingai. Norėdami pasinaudoti suspaudimo privalumais, svarbu žinoti, kokio tipo naudoti. Suspaudimas yra arba prarastas, arba neprarastas. Prarastas suspaudimas įveda praradimą originaliuose duomenyse, kurie paprastai yra negrįžtami, o neprarastas suspaudimas suspaudžia duomenis ir išlaiko visą informaciją, esančią originaliuose duomenyse. Be to, kalbama apie hibridinius suspaudimo tipus, tačiau manau, kad prarasto ir neprarasto derinys yra tiesiog prarastas. Leiskite man žinoti, ką manote komentaruose. Galiausiai, buvo pristatyti skirtingi metodai, skirti tiek prarastam, tiek neprarastam suspaudimui. Šių metodų metodų ir paaiškinimų sąrašas nėra nei išsamus, nei išsamus. Manau, kad jie yra tik geras pradžia, suteikiant jums idėją apie tai, kaip veikia kiekvienas metodas. Papildomi ištekliai Video: Data Lake fundamentals - RLE encoding with Parquet in practice Vaizdo įrašas: Duomenų ežero pagrindai - RLE kodavimas su Parquet praktikoje Paper: A review of data compression techniques Straipsnis: Duomenų suspaudimo metodų apžvalga Paper: lossless compression techniques Žymos archyvas: be nuostolių suspaudimo technologijos A concise introduction to Data Compression by David Salomon Trumpas įvadas į duomenų suspaudimą David Salomon Paper: A Study of Various Data Compression Techniques Dokumentas: Įvairių duomenų suspaudimo metodų tyrimas Blog Post: Compression in open file formats Blog Post: Kompresavimas atvirų failų formatuose Article: Open file formats Straipsnis: Atvirų failų formatai Article: Compression in databases Straipsnis: Kompresavimas duomenų bazėse Lossy Compression for Genomic data (RNA) Genomo duomenų (RNR) praradimo suspaudimas

Read My Stories

Šis garso įrašas sukurtas originalia istorijos kalba!

Suspaudimas dideliuose duomenyse: tipai ir metodai

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps