Uvod Ovaj članak će raspravljati o kompresije u kontekstu velikih podataka, pokrivajući vrste i metode kompresije. 
 
 Divljenje u Divljenje u Što je kompresija? Prema općoj engleskoj definiciji kompresije, to se odnosi na smanjenje nečega da zauzme manji prostor. U računalnim znanostima, kompresija je proces smanjenja podataka na manju veličinu. Podaci, u ovom slučaju, mogli bi biti predstavljeni u tekstu, audio, video datotekama, itd. Razmislite o tome kao o svemu što pohranjujete na tvrdom disku računala, kao podaci predstavljeni u različitim formatima. Postoji više razloga za komprimiranje podataka. Najčešći i najintuitivniji razlog je ušteda prostora za pohranu. Ostali razlozi su posljedica toga što su podaci manji. 
 
 
 
 
 Brže vrijeme prijenosa podataka: Komprimirani podaci su manji u veličini i trebaju manje vremena za prijenos od izvora do odredišta. Smanjena potrošnja prijenosne širine: Ovaj razlog je snažno povezan s prednošću bržeg prijenosa podataka. komprimirani podaci koriste manje mrežne prijenosne širine, čime se povećava protok i smanjuje latentnost. Poboljšanje performansi za digitalne sustave koji se uvelike oslanjaju na podatke: To je očito u sustavima koji se oslanjaju na obradu podataka. Ti sustavi iskorištavaju kompresije kako bi poboljšali performanse sustava smanjenjem volumena podataka koji se trebaju obrađivati. Troškovna učinkovitost: usluge u oblaku naplaćuju troškove za pohranu podataka.Korištenjem manje prostora za pohranu uvode se uštede troškova, posebno u sustavima velikih podataka. Drugi razlozi za kompresiju ovise o različitim tehnikama i formatima kompresije. Neki algoritmi šifriranja mogu se koristiti kao metoda kompresije. U tom slučaju, uključuje sloj sigurnosti za prethodno raspravljene razloge za kompresiju podataka. Osim toga, korištenje uobičajenih formata kompresije donosi kompatibilnost i prostor za proširenje vanjskim sustavima u svrhe integracije. Važno je napomenuti da uzroci kompresije također zvuče kao prednosti. Međutim, kompresija nije bez kompromisa. Jedan uobičajeni kompromis kompresije je potreba za dekompresija, što bi moglo biti zabrinjavajuće za sustave ograničene resursima. Ostali kompromisi ovise o tehnici kompresije i vrsti podataka koji se koriste. 
 
 Sustavi u članku se odnose na digitalne sustave koji koriste podatke i mogu iskoristiti tehnike kompresije. Sustavi u članku se odnose na digitalne sustave koji koriste podatke i mogu iskoristiti tehnike kompresije. Vrste kompresije Da biste razgovarali o različitim tehnikama koje se koriste za kompresiju podataka, prvo ću kategorizirati kompresiju u 2 glavne kategorije. Ovaj članak će zatim raspravljati o tehnikama koje su relevantne za svaku kategoriju. i U kompresiji Lossy Lossless Kako imena daju ono što već znače, Tehnike su tehnike koje ne čuvaju punu vjerodostojnost podataka. Jednostavno rečeno, neki podaci se odbacuju, ali ne dovoljno da se ono što podaci predstavljaju ne prepoznaje. stoga, kompresija s gubitkom može ponuditi vrlo visoku razinu kompresije u usporedbi s kompresijom bez gubitka, koja će uskoro biti uvedena. Lossy compression Značajka kompresije s gubitkom je da je nepovratna, tj. kada je predstavljena s komprimiranom datotekom, ne može se vratiti sirovi podaci s njezinom izvornom vjernošću. Određene datoteke i formati datoteka su prikladni za kompresije s gubitkom. To se obično koristi za slike, audio i videozapise. Na primjer, JPEG formatirane slike dobro daju kompresije, a komprimiranjem JPEG slike, kreator ili urednik može odabrati koliko gubitka treba uvesti. S druge strane, je reverzibilan, što znači da kada se komprimira, svi podaci se čuvaju i vraćaju u potpunosti tijekom dekompresije.To podrazumijeva da je kompresija bez gubitaka pogodna za tekstne datoteke, a u svijetu skladišta podataka i jezera, to bi bio jedini relevantni tip za korištenje. Neki audio (FLAC i ALAC) i slikovni formati (GIF, PNG, itd.) formati dobro rade s ovom vrstom kompresije. lossless compression Odabir metode Nema opće najbolje metode kompresije. Različiti čimbenici uključuju odabir metode koja bi bila prikladna na temelju svakog slučaja. Da bi se to potvrdilo primjerima, inženjer podataka u financijskoj industriji koji radi na tabularnim podacima koji se pohranjuju imao bi tendenciju da koristi kompresije bez gubitaka zbog utjecaja nedostajućih podataka u stvaranju točnih izvješća. Alternativno, kompresija bez gubitaka može biti način da se optimizira web stranica s puno slika komprimiranjem slika i smanjenjem opterećenja čineći web stranicu lakšom. Stoga je ključno provesti procjenu kako bi se utvrdila najprikladnija metoda kompresije koja je u skladu s poslovnim zahtjevima. Tehnike kompresije Ovaj odjeljak će obuhvatiti samo uobičajene tehnike kompresije za kompresije bez gubitaka i bez gubitaka. Imajte na umu da to ni na koji način nije iscrpno. Tehnike kompresije bez gubitaka Tri zajedničke tehnike bez gubitaka su Run-Length Encoding (RLE), Huffman Coding i Lempel-Ziv-Welch tehnike. RLE se temelji na kodiranju podataka, tako da zamjenjuje sekvence ponavljajućih podataka s jednim komadom podataka i brojem tog komada podataka. To je učinkovito za duge vožnje ponavljajućih podataka. Run-Length Encoding Na primjer, uzmite jednostavan niz kao RLE komprimira podatke kako bi postali Da biste bili praktičniji, uzmite stol na slici ispod. AAAAABBCDDD A(5)B(2)C(1)D(3) Slika 1 - prije RLE. važno je promatrati da se razina kardinalnosti povećava na poljima s lijeve na desnu stranu Slika 2 - Nakon RLE Budući da RLE ovisi o redoslijedu ponavljajućih polja, a u drugom primjeru kardinalnost i redoslijed sortiranja podataka, zapis na stupcu stavke ne može se komprimirati na samo jer prethodna kolumna dijeli sve vrijednosti u i Određeni formati datoteka su kompatibilni s RLE-om, kao što su formati bitmap datoteka kao što su TIFF, BMP itd. Parket datoteke također podržavaju RLE, što ga čini vrlo korisnim u suvremenim podatkovnim jezerima koji koriste skladištenje objekata kao što su S3 ili GCS. Mouse Mouse (3) IT, Mouse HR, Mouse : Temelji se na statističkom modeliranju koje dodjeljuje varijabilne kodove duljine vrijednostima u sirovim podacima na temelju učestalosti s kojom se pojavljuju u sirovim podacima. Predstavljanje ovog modeliranja može se nazvati Huffmanovo stablo, koje je slično binarnom stablu. Ovo stablo se zatim koristi za stvaranje Huffmanovog koda za svaku vrijednost u sirovim podacima. Huffman Coding Uzmimo iste podatke koji se koriste u RLE primjeru Odgovarajuće Huffmanovo stablo izgleda ovako. AAAAABBCDDD Huffmanovo drvo Iz drveta možemo vidjeti da je pismo Predstavljena je Isto tako Predstavljen je od U usporedbi s pismima i To je zato što imaju veću frekvenciju; stoga, Huffmanov algoritam predstavlja ih s manje bita po dizajnu. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman kodiranje koristi Tko kaže da Na primjer, važeći Huffmanov kod ne može imati slova c i d. i Budući da je zastupanje To je predznak za . prefix rule, kod koji predstavlja znak ne bi trebao biti prisutan u prefiksu bilo kojeg drugog koda C: 00 D: 000 C D Da biste to vidjeli u akciji, vodič za računalnu znanost ima Možete se igrati s. Huffman drvo generator Huffman drvo generator : Stvorili su ga Abraham Lempel, Jacob Ziv i Terry Welch 1984. i nazvan je po tvorcima, očito 😅. Slično RLE-u i Huffman Codingu, LZW dobro radi s podacima koji sadrže puno ponavljajućih podataka. Algoritam LZW-a temelji se na rječniku i stvara rječnik koji sadrži ključne vrijednosti parova uobičajenih uzoraka u sirovim podacima. Takav rječnik može se nazvati i tablicom kodiranja. Kada prođe kroz algoritam koristeći konfiguraciju A-Z kao moguće vrijednosti, dobivena tablica koda izgleda kao: Lempel–Ziv–Welch Coding ABBABABABA LZW kodna tablica Iz gore navedene tabele kod, postoji par ključnih vrijednosti za sva slova A-Z i par ključnih vrijednosti za obrasce kao što su AB, BB, BA i ABA. Imajući kraće predstavljanje tih obrasca, algoritam LZW može komprimirati sirove podatke kodiranjem u manje bita. Ključ je primijetiti prostorije u komprimiranim podacima.Može se misliti o njima kao o kraju znaka, tako da dekoder neće tumačiti kao a Kako oni misle različite stvari. 0 1 1 26 29 28 1,0 10 LZW je obično opće namjene i široko se koristi danas. Također, uobičajeni formati datoteka kompatibilni s LZW su GIF, TIFF i PDF. Druge primjene LZW kompresije mogu se vidjeti u području Prirodne obrade jezika, kao što je raspravljeno u ovom članku na . compress Tokenizacija u NLP Tokenizacija u NLP RLE, Huffman kodiranje i LZW kodiranje samo su uobičajeni primjeri. tehnike kompresije bez gubitaka idu dalje od ove tri (3) gore opisane. koji koristi kombinaciju Huffman i LZW - posebno LZ77 - kodiranje. DEFLATE, Tehnike gubitka kompresije U ovom odjeljku ćemo razmotriti dvije vrste kompresije s gubitkom.Sjetimo se da kompresija s gubitkom uvodi gubitak izvornih podataka, što znači da se ne čuvaju svi podaci. : Ova metoda kompresije se uglavnom koristi u audio, slikovnim i video datotekama i također se obično naziva blok kompresija. Koristi matematičku funkciju - kozinsku funkciju, kao što ime sugerira - da pretvori blokove izvornih podataka u frekvencije. Discrete Cosine Transform (DCT) Kompresija dolazi kada se radi o visokim frekvencijama koje se javljaju u podacima, kada se sirovi podaci prevedu u frekvencijsko područje pomoću matematičke funkcije. 
 
 
 
 
 Na primjer, u stiskanju slike, to bi moglo biti 8x8 piksela. Primijenite matematičku funkciju kako biste pretvorili komadiće podataka u frekvencije. Visoke frekvencije se zatim smanjuju ili uklanjaju ovisno o prihvatljivom stupnju gubitka koji je netko spreman uvesti. Da bi se ponovno pretvorili u reprezentativne podatke, sve preostale frekvencije se prenose kroz Inverse Discrete Cosine Transform - IDCT - kako bi se obnovili podaci iz frekvencija. DCT se danas široko koristi u različitim područjima, ne samo u kompresiji već i u obradi signala. Uobičajeni formati datoteka kompatibilni s DCT su JPEG (slika), MP3 (audio) i MPEG (video). Osim toga, DCT može postići visoke omjere kompresije, što ga čini prikladnim za digitalne sustave s puno slika, poput web stranica na internetu. : Fractal je samopovratni beskonačni uzorak koji se ponavlja na različitim ljestvicama. Kada se gleda s bilo koje točke ljestvice, uzorak izgleda sličan. Budući da su obrasci slični na bilo kojoj ljestvice, fractal kompresija smanjuje ljestvicu "velikih" fractala kako bi se smanjila veličina podataka. Fractal Compression Primjeri fractala Opća ideja pomoću slike je da ako slika sadrži nekoliko dijelova koji izgledaju isto, zašto ih pohraniti dvaput? 
 
 
 
 
 Podijeli sliku u blokove koji se ne preklapaju, poznati kao blokovi dometa. To bi mogli biti blokovi dometa od 8x8, 16x16 piksela itd. Skenira sliku za samo-ponavljajuće obrasce (fraktalne obrasce). Koristeći blokove raspona, algoritam pronalazi veće dijelove slike koji su slični tim blokovima raspona. Transformna funkcija se zatim primjenjuje na blok domene kako bi se približili blokovi raspona.Te transformne funkcije su matematičke funkcije kao što su skaliranje, prevođenje, rotacija itd. Oni se također mogu nazvati transformacijama.Te transformacije se nazivaju fractal kodovi u odnosu na fractal kompresije. Podaci se zatim kodiraju u te funkcije transformacije. Umjesto pohrane podataka piksela-piksela, transformacije se pohranjuju.Te transformacije su pravila koja opisuju kako rekonstruirati sliku iz domenskih blokova. S fraktalnim kodovima, slika se rekonstruira pomoću iterativnog procesa. Ovaj proces može biti računalno skup, ali fraktalna kompresija može postići visok omjer kompresije u usporedbi s drugim tehnikama kompresije. Zbog svoje ovisnosti o samoprijevarajućim uzorcima, bolje bi djelovala na podacima koji se slažu s takvim samoprijevarajućim uzorcima. Primjeri bi bile fotografije krajolika (slike prirode) i slike DNK. Postoje i druge tehnike kompresije, kao što su Discrete Wavelet Transform, Quantization.Ove tehnike se obično koriste u slikama, audio i video datotekama i prikladne su za određene vrste ili formate datoteka - JPEG, MP3 - za svaki tip datoteke. Kompresija s gubitkom općenito ima veće omjere kompresije od kompresije bez gubitka i ponekad očekuje da korisnik unaprijed zna količinu gubitka koju treba uvesti. Sljedeći: DR Općenito, ovaj post raspravlja o kompresije u svijetu podataka. Ona se snažno oslanja na postojeće tijelo znanja u računalnoj znanosti i informacijskoj teoriji. Komprimirati znači smanjiti volumen entiteta zauzima, a u području podataka, volumen se odnosi na skladišni prostor. Kompresija u digitalnim sustavima ima mnoge prednosti kada se radi ispravno. Očito je da smanjuje prostor i daje prostor za skladištenje više podataka. Druge prednosti uključuju brži prijenos, manje korištenje širine pojasa, i opće poboljšanje u učinkovitosti navedenog sustava. Sjetite se, to je kada se radi ispravno. Da biste iskoristili prednosti kompresije, ključno je znati koju vrstu koristiti. Kompresija je ili gubitna ili bez gubitka. Kompresija gubitka uvodi gubitak u izvorne podatke koji je obično nepovratan, dok kompresija bez gubitka komprimira podatke i zadržava sve informacije sadržane u izvornim podacima. Nadalje, postoji rasprava o hibridnim tipovima kompresije, ali mislim da je kombinacija gubitka i bez gubitka samo gubitka. Naposljetku, uvedene su različite tehnike za kompresiju bez gubitaka i bez gubitaka. Popis tehnika i objašnjenja tih tehnika nije ni iscrpljujući ni sveobuhvatan. Smatram da su oni samo dobar početak u davanju vam ideje o tome kako svaka tehnika radi. Dodatni resursi Video: Data Lake fundamentals - RLE encoding with Parquet in practice Video: Data Lake fundamentals - RLE kodiranje s Parquetom u praksi Paper: A review of data compression techniques Papir: Pregled tehnika kompresije podataka Paper: lossless compression techniques Tehnika bez gubitaka kompresije A concise introduction to Data Compression by David Salomon Kratki uvod u kompresije podataka David Salomon Paper: A Study of Various Data Compression Techniques Dokument: Studija o različitim tehnikama kompresije podataka Blog Post: Compression in open file formats Blog Post: Kompresija u otvorenim formatima datoteka Article: Open file formats Članak: Formati otvorenih datoteka Article: Compression in databases Članak: Kompresija u bazama podataka Lossy Compression for Genomic data (RNA) Kompresija gubitka za genomske podatke (RNA)

Read My Stories

Ovaj zvuk je proizveden na izvornom jeziku priče!

Kompresija u velikim podacima: vrste i tehnike

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps