Inleiding Hierdie artikel sal kompressie bespreek in die konteks van Big Data, wat die tipes en metodes van kompressie dek. Ek sal ook beklemtoon waarom en wanneer elke tipe en metode gebruik moet word. 
 
 Die duik in Die duik in Wat is kompresie? Volgens die algemene Engelse definisie van kompresie, verwys dit na die vermindering van iets om 'n kleiner ruimte te beset. In rekenaarwetenskap, kompresie is die proses van die vermindering van data tot 'n kleiner grootte. Data, in hierdie geval, kan verteenwoordig word in teks, klank, video-lêers, ens. Dink aan dit as enigiets wat jy op die harde skyf van jou rekenaar, as data wat in verskillende formate verteenwoordig word. Om 'n meer tegniese definisie te gee, kompresie is die proses van die kodeer van data om minder bits te gebruik. Daar is verskeie redes om data te komprimeer. Die mees algemene en intuïtiewe rede is om opslagruimte te bespaar. Ander redes is as gevolg van dat die data kleiner is. Die voordele van die werk met kleiner data sluit in: 
 
 
 
 
 Snellere data oordrag tyd: Gecomprimeerde data is kleiner in grootte en neem minder tyd om van bron na bestemming te oordra. Verminderde bandbreedte verbruik: Hierdie rede is sterk gekoppel aan die voordeel van vinniger data oordrag. Verbeterde prestasie vir digitale stelsels wat sterk afhanklik is van data: Dit is duidelik in stelsels wat afhanklik is van verwerkingsdata. Hierdie stelsels benut kompresie om die prestasie van die stelsels te verbeter deur die volume van data wat verwerk moet word, te verminder. Let asseblief daarop dat dit stelsel-spesifieke kan wees en sal afhanklik wees van die gebruik van die toepaslike kompressie tegniek. Kosteneffektiviteit: Cloud-dienste betaal vir die opslag van data. Door minder opslag te gebruik, word kostebesparings geïntroduceer, veral in Big Data-stelsels. Ander redes vir kompressie hang af van verskillende kompressie tegnieke en formate. Sommige versleutelingsalgoritme kan gebruik word as 'n kompressie metode.Daarom sluit dit 'n laag van sekuriteit in vir die voorheen bespreek redes om data te komprimeer.Daarbenewens bring die gebruik van algemene kompressie formate verenigbaarheid en ruimte vir uitbreidbaarheid aan eksterne stelsels vir integrasie doeleindes. Dit is die moeite werd om op te let dat die redes vir kompressie ook soos voordele klink. Maar kompressie is nie sonder kompromisse nie. Een algemene kompromisse vir kompressie is die behoefte aan dekompressie, wat vir hulpbronne beperkte stelsels kan wees. Ander kompromisse hang af van die kompressie tegniek en die tipe data wat gebruik word. 
 
 Stelsels in die artikel verwys na digitale stelsels wat gebruik maak van data en kan gebruik maak van kompressie tegnieke. Stelsels in die artikel verwys na digitale stelsels wat gebruik maak van data en kan gebruik maak van kompressie tegnieke. Die tipe kompressie Om die verskillende tegnieke wat gebruik word om data te komprimeer, te bespreek, sal ek kompresie eers in 2 hoofkategorieë kategoriseer. Hierdie artikel sal dan die tegnieke bespreek wat relevant is vir elke kategorie. en die kompresie. Lossy Lossless As die name verwerp wat hulle reeds beteken, tegnieke is tegnieke wat nie die volle getrouheid van die data bewaar nie. Eenvoudig gestel, sommige data word weggegooi, maar nie genoeg om te maak wat die data verteenwoordig onherkenbaar. Lossy compression 'N kenmerk van lossy-kompressie is dat dit onomkeerbaar is, dit wil sê, wanneer dit met die gekomprimeerde lêer aangebied word, kan 'n persoon nie die ruwe data met sy oorspronklike getrouheid herstel nie. Bepaalde lêers en lêerformaate is geskik vir lossy-kompressie. Dit word gewoonlik gebruik vir beelde, klank en video's. Byvoorbeeld, JPEG-geformatteerde beelde gee goed om te komprimeer, en deur 'n JPEG-beeld te komprimeer, kan die skepper of redakteur kies hoeveel verlies in te voer. Aan die ander kant, is omkeerbaar, wat beteken dat wanneer dit gecomprimeer word, al die data bewaar en ten volle herstel word tydens dekomprimering. Dit impliseer dat verliesloos komprimering geskik is vir teksagtige lêers, en in die data warehouse en lakehouse wêreld, dit sal die enigste relevante tipe wees om te gebruik. Sommige klank (FLAC en ALAC) en beeld lêer formate (GIF, PNG, ens.) werk goed met hierdie tipe komprimering. lossless compression Kies 'n metode Daar is geen algemene beste komprimeringsmetode nie. Verskeie faktore gaan in die keuse van watter metode geval vir geval geskik sou wees. Om dit met voorbeelde te ondersteun, sal 'n data-ingenieur in die finansiële bedryf wat op tabelagtige data werk, geneig wees om verlieslose komprimering te gebruik as gevolg van die impak van ontbrekende data in die skep van akkurate verslae. Alternatiewelik kan verlieskomprimering die manier wees om die webblad te optimaliseer met baie beelde deur die beelde te komprimeer en die las items te verminder deur die webwerf ligter te maak. Kompressie tegnieke Hierdie afdeling sal slegs die algemene kompressie tegnieke vir beide verlies en verliesloos kompressie dek. Let asseblief daarop dat dit nie op enige manier uitputtend is nie.Daarbenewens kan die tegnieke wat bespreek word, ligte variasies hê om hul prestasie te verbeter, soos ondersteun deur verskillende navorsing. Verlieslose kompressie tegnieke Drie algemene verlieslose tegnieke is die Run-Length Encoding (RLE), Huffman Coding, en die Lempel-Ziv-Welch tegnieke. : RLE is gebaseer op die kodering van data, sodat dit volgorde van herhalende data vervang met 'n enkele stuk data en die telling van daardie stuk data. Dit is effektief vir lang hardloop van herhalende data. Run-Length Encoding Neem byvoorbeeld 'n eenvoudige string soos RLE komprimeer die data om Om meer prakties te wees, neem 'n tafel in die afbeelding hieronder. AAAAABBCDDD A(5)B(2)C(1)D(3) Figuur 1 - voor RLE. Dit is belangrik om te waarneem dat die vlak van kardinaliteit op die velde van links na regs toeneem Figuur 2 - Na RLE Aangesien RLE afhang van die loop van herhalende velde, en in die tweede voorbeeld, die kardinaliteit en sorteer volgorde van die data, die Rekords op die itemkolom kan nie gecomprimeer word tot net omdat die vorige kolom al die waardes verdeel in en Bepaalde lêerformate is verenigbaar met RLE, soos bitmap lêerformate soos TIFF, BMP, ens. Parquet lêers ondersteun ook RLE, wat dit baie nuttig maak in moderne data lakehouses wat voorwerpopslag soos S3 of GCS gebruik. Mouse Mouse (3) IT, Mouse HR, Mouse : Dit is gebaseer op statistiese modellering wat variabele-lengte kode toewys aan waardes in die ruwe data gebaseer op die frekwensie waarop hulle in die ruwe data voorkom. Die verteenwoordiging van hierdie modellering kan genoem word as 'n Huffman boom, wat soortgelyk is aan 'n binêre boom. Hierdie boom word dan gebruik om 'n Huffman kode te skep vir elke waarde in die ruwe data. Huffman Coding Kom ons neem dieselfde data wat gebruik word in die RLE voorbeeld Die ooreenstemmende Huffman-boom lyk so. AAAAABBCDDD Huffman se boom Van die boom kan ons sien dat die brief Dit word verteenwoordig deur So ook Dit word aangebied deur In vergelyking met die letters en , ons sien dat A en D verteenwoordig word deur minder bits. Dit is omdat hulle 'n hoër frekwensie het; daarom verteenwoordig die Huffman-algoritme hulle met minder bits deur ontwerp. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding gebruik die Wie sê dat Byvoorbeeld, 'n geldige Huffman kode kan nie die letters c en d verteenwoordig met behulp van en Omdat die verteenwoordiging van Dit is 'n voorvoegsel van . prefix rule, die kode wat 'n karakter verteenwoordig, mag nie in die voorvoegsel van enige ander kode teenwoordig wees nie C: 00 D: 000 C D Om dit in aksie te sien, het die Computer Science Field Guide 'n Jy kan met hulle speel. Huffman boom generator Huffman boom generator : Dit is geskep deur Abraham Lempel, Jacob Ziv, en Terry Welch in 1984 en is vernoem na die skeppers, duidelik 😅. Soos RLE en Huffman Coding, LZW werk goed met data wat baie herhalende data bevat. Die LZW algoritme is woordeboek-gebaseer en skep 'n woordeboek wat sleutelwaarde paartjies van algemeen gesien patrone in die ruwe data bevat. So 'n woordeboek kan ook genoem word as die kode tabel. Gebruik 'n illustrasie om te verduidelik hoe hierdie tegniek werk, laat ons ons ruwe data verteenwoordig word deur Wanneer die algoritme deur 'n konfigurasie van A-Z as moontlike waardes gegaan word, lyk die resulterende kode tabel soos: Lempel–Ziv–Welch Coding ABBABABABA LZW Kode Tabel Uit die bovenstaande kode tabel is daar 'n sleutelwaardepaar vir alle letters A-Z en sleutelwaardepaar vir patrone soos AB, BB, BA en ABA. Deur 'n korter verteenwoordiging van hierdie patrone te hê, kan die LZW-algoritme die ruwe data komprimeer deur dit in minder bits te kodeer. Dit is belangrik om die spasies in die ingedrukte data op te let. Men kan dink aan hulle as die einde van 'n karakter, so die dekoder sal nie 'n As 'n Want hulle bedoel verskillende dinge. 0 1 1 26 29 28 1,0 10 LZW is gewoonlik algemeen-doeleindes en wyd gebruik vandag. dit is geïntegreer in baie Unix / Linux-gebaseerde bedryfstelsels agter die Ook, algemene lêer formate wat verenigbaar is met LZW is GIF, TIFF, en PDF. Ander toepassings van LZW Compression kan gesien word in die veld van Natuurlike Taalverwerking, soos bespreek in hierdie artikel op . compress Toekenning in NLP Toekenning in NLP RLE, Huffman Coding en LZW Coding is slegs algemene voorbeelde. Verlieslose kompressie tegnieke gaan verder as hierdie drie (3) wat hierbo beskryf is. wat gebruik 'n kombinasie van Huffman en LZW - spesifiek LZ77 - kodering. DEFLATE, Verlies kompressie tegnieke In hierdie afdeling sal ons kyk na twee tipes verlieskompressie. Onthou dat verlieskompressie 'n verlies aan die oorspronklike data invoer, wat beteken dat nie alle data gehou word nie. : Hierdie kompressie metode word hoofsaaklik gebruik in klank, beeld en video lêers en word ook algemeen genoem blokkompressie. Dit gebruik 'n wiskundige funksie - die cosine funksie, soos die naam impliseer - om blokke van die oorspronklike data in frekwensie te omskep. Die blokke van data is gewoonlik 'n matrix van 8x8, 4x4, en so aan, in daardie volgorde van grootte. Discrete Cosine Transform (DCT) Die kompressie kom in wanneer die hoë frekwensie wat in die data voorkom, behandel word, sodra die ruwe data na die frekwensie domein vertaal word met behulp van die wiskundige funksie. 
 
 
 
 
 Breek die ruwe data in stukke af. Byvoorbeeld, in beeldkompressie, kan dit 8x8 piksels wees. Gebruik die wiskundige funksie om die stukke data in frekwensie te omskep. Die hoë frekwensie word dan verminder of verwyder, afhangende van die aanvaarbare mate van verlies wat iemand bereid is om in te voer. Om terug te konverteer na verteenwoordigbare data, word al die oorblywende frekwensieë deur 'n Inverse Discrete Cosine Transform - IDCT - oorgedra om die data van die frekwensieë te herstel. DCT word vandag algemeen gebruik in verskillende gebiede, nie net in kompresie nie, maar ook in signaalverwerking. Algemene lêerformate wat met DCT verenigbaar is, is JPEG (afbeeldings), MP3 (audio), en MPEG (video).Daarbenewens kan DCT hoë kompressieverhoudings bereik, wat dit geskik maak vir digitale stelsels met baie beelde, soos webbladsye op die Internet. : 'N Fractal is 'n self-herhaalende oneindige patroon wat op verskillende skaal herhaal. Wanneer dit van enige punt op die skaal beskou word, lyk die patroon soortgelyk. Omdat die patrone op enige skaal soortgelyk is, verminder fractale kompressie die skaal van 'grote' fractale om die grootte van die data te verminder. Fractal Compression Voorbeelde van fractals Fractal Compression is deur Michael Barnsley in die 1980's geïntroduceer. Die algemene idee om 'n beeld te gebruik, is dat as 'n beeld verskeie dele bevat wat dieselfde lyk, waarom hulle twee keer opslaan? 
 
 
 
 
 Partiteer die prentjie in nie-overlappende blokke wat bekend staan as bereikblokke.Dit kan bereikblokke van 8x8, 16x16 piksels, ens. Dit skandeer die beeld vir self-herhalende patrone (fractale patrone). Met behulp van die reeksblokke, vind die algoritme groter dele van die beeld wat soortgelyk is aan hierdie reeksblokke. Hierdie transform funksie is wiskundige funksies soos skaal, vertaling, rotasie, ens Hulle kan ook genoem word as transformasies. Die data word dan gekodeer na die transform funksie. In plaas van die bewaring van die pixel-pixel data, word die transformasies gestoor. Hierdie transformasies is die reëls wat beskryf hoe om die beeld van domeinblokke te herbou. Met die fractale kode word die beeld herbou met behulp van 'n iteratiewe proses. Hierdie proses kan rekenkundig duur wees, maar fractale kompresie kan 'n hoë verhouding van kompresie bereik in vergelyking met ander kompresie tegnieke. As gevolg van sy afhanklikheid van self-herhaalende patrone, sal dit beter op data uitvoer wat ooreenstem met sulke self-herhaalende patrone. Voorbeelde sou landskapfoto's (beelde van die natuur) en DNA-beelde wees. Daar is ander verlies komprimering tegnieke, soos die Discrete Wavelet Transform, Quantization. Hierdie tegnieke word gewoonlik gebruik in beelde, klank, en video lêers en is geskik vir sekere tipes of lêer formate - JPEG, MP3 - vir elke tipe lêer. Verlieskompressie het gewoonlik hoër kompressieverhoudings as verlieslose kompressie en verwag soms dat die gebruiker die hoeveelheid verlies vooraf moet invoer. Dit is toepaslik om te beklemtoon dat die keuse van kompressie metode en tegniek afhang van verskeie faktore. Dr ; dr Oor die algemeen bespreek hierdie post kompresie in die wêreld van data. Dit vertrou sterk op die bestaande liggaam van kennis in rekenaarwetenskap en inligtingsteorie. Om te kompresie beteken om die volume wat 'n entiteit beset, te verminder, en in die gebied van data, volume verwys na opslagruimte. Kompresie in digitale stelsels het baie voordele wanneer dit reg gedoen word. Die voor die hand liggende ding is dat dit die ruimte verminder en ruimte gee om meer data te stoor. Ander voordele sluit in vinniger oordrag, minder bandbreedte gebruik, en algemene verbetering in die doeltreffendheid van die genoemde stelsel. Onthou, dit is wanneer dit reg gedoen word. Om die voordele van kompressie te benut, is dit belangrik om te weet watter tipe om te gebruik. Kompressie is óf lossy of lossless. Lossy kompressie stel 'n verlies in die oorspronklike data in wat gewoonlik onomkeerbaar is, terwyl lossless kompressie die data komprimeer en al die inligting in die oorspronklike data behou. Daarbenewens is daar diskursus oor hybride kompressie tipes, maar ek dink dat 'n kombinasie van lossy en lossless net lossy is. Laat my weet wat jy dink in die kommentaar. Die lys van tegnieke en verduidelikings van hierdie tegnieke is nie uitputtend of alomvattend nie. Ek beskou hulle net 'n goeie begin om jou 'n idee te gee van hoe elke tegniek werk. bykomende hulpbronne Video: Data Lake fundamentals - RLE encoding with Parquet in practice Video: Data Lake fundamentals - RLE kodering met Parquet in die praktyk Paper: A review of data compression techniques Papier: 'N Oorsig van data-kompressie tegnieke Paper: lossless compression techniques Papier: verlieslose kompressie tegnieke A concise introduction to Data Compression by David Salomon 'N Kort inleiding tot Data Compression deur David Salomon Paper: A Study of Various Data Compression Techniques Papier: 'N Studie van verskillende data-kompressie tegnieke Blog Post: Compression in open file formats Blog Post: Kompressie in oop lêerformaate Article: Open file formats Artikel: Open lêer formate Article: Compression in databases Artikel: Kompressie in databasis Lossy Compression for Genomic data (RNA) Verlieskompressie vir genomiese data (RNA)

Read My Stories

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Kompressie in Big Data: Soorte en tegnieke

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Thrilled to be Recognized as Startup of the Year in New York City

'Decentralization Means Freedom': Interview with Alfredo de Candia

$30M Raised in 30 Minutes and the Controversies to Follow: The Story Behind Dexter’s GM.ai Project

Meet the Writer: HackerNoon Contributor Daniil Sitdikov, Software Engineer

Thrilled to be Recognized as Startup of the Year in New York City

'Decentralization Means Freedom': Interview with Alfredo de Candia

$30M Raised in 30 Minutes and the Controversies to Follow: The Story Behind Dexter’s GM.ai Project

Meet the Writer: HackerNoon Contributor Daniil Sitdikov, Software Engineer

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps