Introduzione Questo articolo discuterà la compressione nel contesto dei Big Data, coprendo i tipi e i metodi di compressione. 
 
 Divertimento in Divertimento in Che cosa è la compressione? Secondo la definizione inglese generale di compressione, si riferisce a ridurre qualcosa per occupare uno spazio più piccolo. In informatica, la compressione è il processo di ridurre i dati a una dimensione più piccola. I dati, in questo caso, potrebbero essere rappresentati in testo, audio, file video, ecc. Pensa a tutto ciò che si memorizza sul disco rigido del computer, come i dati rappresentati in diversi formati. Per fornire una definizione più tecnica, la compressione è il processo di codifica dei dati per utilizzare meno bit. Ci sono molte ragioni per comprimere i dati. Il motivo più comune e intuitivo è quello di risparmiare spazio di archiviazione. Altri motivi sono il risultato del fatto che i dati sono più piccoli. I vantaggi di lavorare con i dati più piccoli includono: 
 
 
 
 
 Tempo di trasmissione dei dati più veloce: i dati compressi sono di dimensioni più piccole e richiedono meno tempo per essere trasmessi da fonte a destinazione. Riduzione del consumo di larghezza di banda: questa ragione è fortemente legata al vantaggio di una trasmissione di dati più veloce. I dati compressi utilizzano meno della larghezza di banda della rete, aumentando quindi la portata e riducendo la latenza. Miglioramento delle prestazioni per i sistemi digitali che si basano fortemente sui dati: questo è evidente nei sistemi che si basano sui dati di elaborazione. Questi sistemi sfruttano la compressione per migliorare le prestazioni dei sistemi riducendo il volume di dati da elaborare. Si prega di notare che questo potrebbe essere specifico per il sistema e si baserà sull'uso della tecnica di compressione appropriata. L’efficienza dei costi: i servizi cloud pagano per lo stoccaggio dei dati. Utilizzando meno spazio di archiviazione, vengono introdotti risparmi di costi, specialmente nei sistemi Big Data. Altre ragioni di compressione dipendono da diverse tecniche e formati di compressione. Alcuni algoritmi di crittografia possono essere utilizzati come metodo di compressione. In questo modo, include un livello di sicurezza per le ragioni precedentemente discusse di compressione dei dati. Inoltre, l'uso di formati di compressione comuni porta compatibilità e spazio per l'estensibilità ai sistemi esterni per scopi di integrazione. Vale la pena notare che le ragioni per la compressione suonano anche come benefici. Tuttavia, la compressione non è senza compromessi. Uno dei compromessi comuni alla compressione è la necessità di decompressione, che potrebbe essere preoccupante per i sistemi limitati alle risorse. Altri compromessi dipendono dalla tecnica di compressione e dal tipo di dati utilizzati. 
 
 I sistemi nell'articolo si riferiscono ai sistemi digitali che fanno uso dei dati e possono trarre vantaggio dalle tecniche di compressione.I sistemi di parole sono usati abbastanza liberamente e dovrebbero essere interpretati nel contesto di ciò che è stato discusso in quella sezione. I sistemi nell'articolo si riferiscono ai sistemi digitali che fanno uso dei dati e possono trarre vantaggio dalle tecniche di compressione.I sistemi di parole sono usati abbastanza liberamente e dovrebbero essere interpretati nel contesto di ciò che è stato discusso in quella sezione. Tipi di compressione Per discutere delle diverse tecniche utilizzate per la compressione dei dati, inizierò a classificare la compressione in 2 categorie principali. Questo articolo discuterà poi le tecniche rilevanti per ciascuna categoria. e della compressione. Lossy Lossless Quando i nomi danno via ciò che già significano, Le tecniche sono tecniche che non conservano la piena fedeltà dei dati. In poche parole, alcuni dati vengono scartati, ma non abbastanza per rendere ciò che i dati rappresentano irriconoscibile. Pertanto, la compressione a perdita può offrire un livello molto alto di compressione rispetto alla compressione a perdita, che verrà introdotta presto. Lossy compression Una caratteristica della compressione a perdita è che è irreversibile, vale a dire, quando viene presentato con il file compresso, non si può ripristinare i dati crudi con la sua fedeltà originale. Alcuni file e formati di file sono adatti per la compressione a perdita. È solitamente usato per immagini, audio e video. Ad esempio, le immagini in formato JPEG prestano bene alla compressione, e comprimendo un'immagine JPEG, il creatore o l'editore può scegliere quanto perdita introdurre. D’altra parte, è reversibile, il che significa che quando è compresso, tutti i dati vengono conservati e ripristinati completamente durante la decompressione. Questo implica che la compressione senza perdite è adatta per i file simili a testo, e nel mondo del magazzino di dati e del lago, sarebbe l'unico tipo rilevante da utilizzare. Alcuni formati audio (FLAC e ALAC) e file di immagine (GIF, PNG, ecc.) funzionano bene con questo tipo di compressione. lossless compression Scegliere un metodo Non esiste un metodo di compressione migliore in generale. Diversi fattori si concentrano sulla scelta del metodo che sarebbe appropriato caso per caso. Per rafforzare questo con esempi, un ingegnere dei dati nel settore finanziario che lavora sui dati tabulari memorizzati tende ad utilizzare la compressione senza perdite a causa dell'impatto dei dati mancanti nella creazione di rapporti accurati. In alternativa, la compressione senza perdite potrebbe essere il modo per ottimizzare la pagina web con un sacco di immagini comprimendo le immagini e riducendo gli elementi di carico rendendo il sito web più leggero. Pertanto, è fondamentale condurre una valutazione per determinare il metodo di compressione più appropriato che si allinea con i requisiti aziendali. Tecniche di compressione Questa sezione coprirà solo le tecniche di compressione comuni per la compressione a perdita e senza perdita. Si prega di notare che questo non è in alcun modo esaustivo. Inoltre, le tecniche discusse possono avere piccole variazioni per migliorare le loro prestazioni, come supportato da diverse ricerche. Tecniche di compressione senza perdite Tre tecniche comuni senza perdite sono la Run-Length Encoding (RLE), Huffman Coding e le tecniche Lempel-Ziv-Welch. RLE si basa sulla codifica dei dati, in modo che sostituisca le sequenze di dati ripetuti con un singolo pezzo di dati e il conteggio di quel pezzo di dati. È efficace per lunghe corse di dati ripetuti. Run-Length Encoding Ad esempio, prendere una semplice stringa come RLE comprime i dati per diventare Per essere più pratici, prendete un tavolo nell'immagine qui sotto. AAAAABBCDDD A(5)B(2)C(1)D(3) Figura 1 - prima di RLE. È importante osservare che il livello di cardinalità sta aumentando sui campi da sinistra a destra Figura 2 - Dopo il RLE Poiché RLE dipende da corse di campi ripetitivi, e nel secondo esempio, la cardinalità e l'ordine di ordinazione dei dati, la Il record nella colonna dell'elemento non può essere compresso solo perché la colonna precedente divide tutti i valori in e Alcuni formati di file sono compatibili con RLE, come i formati di file bitmap come TIFF, BMP, ecc. I file Parquet supportano anche RLE, rendendolo molto utile nei moderni laghi di dati che utilizzano archiviazione oggetto come S3 o GCS. Mouse Mouse (3) IT, Mouse HR, Mouse Si basa sulla modellazione statistica che assegna i codici di lunghezza variabile ai valori nei dati crudi in base alla frequenza con cui si verificano nei dati crudi.La rappresentazione di questa modellazione può essere indicata come un albero di Huffman, che è simile a un albero binario.Questo albero viene quindi utilizzato per creare un codice di Huffman per ogni valore nei dati crudi.L'algoritmo dà la priorità alla codifica dei valori più frequenti nel minor numero possibile di bit. Huffman Coding Prendiamo gli stessi dati utilizzati nell'esempio RLE L'albero Huffman corrispondente appare così. AAAAABBCDDD L'albero di Huffman Dall’albero si vede che la lettera È rappresentata da ugualmente È presentato da In confronto alle lettere e , osserviamo che A e D sono rappresentati da meno bit. Questo perché hanno una frequenza più alta; di conseguenza, l'algoritmo di Huffman li rappresenta con meno bit per design. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding utilizza il Chi afferma che Ad esempio, un codice Huffman valido non può avere le lettere c e d rappresentate utilizzando e Perché la rappresentazione di È un prefisso di . prefix rule, Il codice che rappresenta un carattere non dovrebbe essere presente nel prefisso di qualsiasi altro codice. C: 00 D: 000 C D Per vedere questo in azione, il Computer Science Field Guide ha un Puoi giocare con. Generatore di legno Huffman Generatore di legno Huffman : È stato creato da Abraham Lempel, Jacob Ziv, e Terry Welch nel 1984 ed è chiamato in onore dei creatori, ovviamente 😅. Simile a RLE e Huffman Coding, LZW funziona bene con i dati che contengono un sacco di dati ripetuti. L'algoritmo LZW è basato su dizionario e crea un dizionario contenente coppie di valori chiave di modelli comunemente visti nei dati crudi. Tale dizionario può anche essere chiamato tabella di codice. Utilizzando un'illustrazione per spiegare come funziona questa tecnica, prendiamo i nostri dati crudi per essere rappresentati da Quando si passa attraverso l'algoritmo utilizzando una configurazione di A-Z come valori possibili, la tabella di codice risultante sembra: Lempel–Ziv–Welch Coding ABBABABABA Tabella del codice LZW Dalla tabella di codice di cui sopra, vi è una coppia di valori chiave per tutte le lettere A-Z e coppie di valori chiave per modelli come AB, BB, BA e ABA. Avendo una rappresentazione più breve di questi modelli, l'algoritmo LZW può comprimere i dati crudi codificandoli in meno bit. È fondamentale notare gli spazi nei dati compressi.Si potrebbe pensare a loro come la fine di un carattere, quindi il decoder non interpreterà un come a Come si intendono cose diverse. 0 1 1 26 29 28 1,0 10 LZW è di solito di scopo generale e ampiamente utilizzato oggi. è integrato in molti sistemi operativi basati su Unix / Linux dietro la Inoltre, i formati di file comuni compatibili con LZW sono GIF, TIFF e PDF. Altre applicazioni di LZW Compression possono essere viste nel campo del Natural Language Processing, come discusso in questo articolo su . compress La tokenizzazione in NLP La tokenizzazione in NLP RLE, Huffman Coding e LZW Coding sono solo esempi comuni.Le tecniche di compressione senza perdite vanno oltre questi tre (3) descritti sopra.Altre tecniche includono che utilizza una combinazione di Huffman e LZW - specificamente LZ77 - Codifica. DEFLATE, Tecniche di compressione perdita In questa sezione, esamineremo due tipi di compressione a perdita.Ricordiamo che la compressione a perdita introduce una perdita ai dati originali, il che significa che non tutti i dati sono conservati. Questo metodo di compressione viene utilizzato principalmente in file audio, immagini e video ed è anche comunemente chiamato compressione dei blocchi. Utilizza una funzione matematica - la funzione cosina, come suggerisce il nome - per convertire i blocchi dei dati originali in frequenze. Discrete Cosine Transform (DCT) La compressione avviene quando si tratta delle alte frequenze che si verificano nei dati, una volta che i dati crudi vengono tradotti nel dominio di frequenza utilizzando la funzione matematica. 
 
 
 
 
 Per esempio, nella compressione dell'immagine, questo potrebbe essere 8x8 pixel. Applicare la funzione matematica per convertire i pezzi di dati in frequenze. Le alte frequenze vengono quindi ridotte o rimosse a seconda del grado accettabile di perdita che si è disposti a introdurre. Per convertire i dati in dati rappresentabili, tutte le frequenze rimanenti vengono trasmesse attraverso una trasformazione di cosina discreta inversa - IDCT - per ripristinare i dati dalle frequenze. DCT è ampiamente utilizzato in diversi campi oggi, non solo nella compressione ma anche nel trattamento del segnale. formati di file comuni compatibili con DCT sono JPEG (immagini), MP3 (audio), e MPEG (video). Inoltre, DCT può raggiungere alti tassi di compressione, rendendolo adatto per sistemi digitali con un sacco di immagini, come le pagine web su Internet. Un fractale è un modello infinito che si ripete su scale diverse. Quando visto da qualsiasi punto della scala, il modello sembra simile. Poiché i modelli sono simili su qualsiasi scala, la compressione fractale riduce la scala dei fractali "grandi" per ridurre la dimensione dei dati. Fractal Compression Esempi di fractali La compressione fractale è stata introdotta da Michael Barnsley negli anni '80.L'idea generale utilizzando un'immagine è che se un'immagine contiene più parti che sembrano uguali, perché memorizzarle due volte? 
 
 
 
 
 Partizioni l'immagine in blocchi non sovrapposti noti come blocchi di range. Questo potrebbe essere blocchi di range di 8x8, 16x16 pixel, ecc. Scansiona l'immagine per i modelli auto-ripetuti (pattern fractal). Utilizzando i blocchi di range, l'algoritmo trova sezioni più grandi dell'immagine che sono simili a questi blocchi di range. Una funzione di trasformazione viene quindi applicata al blocco di dominio per approssimare i blocchi di range.Queste funzioni di trasformazione sono funzioni matematiche come la scalazione, la traduzione, la rotazione, ecc. Possono anche essere chiamate trasformazioni.Queste trasformazioni sono chiamate codici fractali in relazione alla compressione fractale. I dati vengono quindi codificati per quelle funzioni di trasformazione. Invece di memorizzare i dati pixel-pixel, le trasformazioni vengono memorizzate. Queste trasformazioni sono le regole che descrivono come ricostruire l'immagine dai blocchi di dominio. Con i codici fractali, l'immagine viene ricostruita utilizzando un processo iterativo. Questo processo può essere costoso dal punto di vista computazionale, ma la compressione fractale potrebbe raggiungere un elevato rapporto di compressione rispetto ad altre tecniche di compressione. A causa della sua dipendenza da modelli auto-ripetitivi, funzionerebbe meglio sui dati che corrispondono ad avere tali modelli auto-ripetitivi. Esempi sarebbero le fotografie paesaggistiche (immagini della natura) e le immagini del DNA. Ci sono altre tecniche di compressione a perdita, come il Discrete Wavelet Transform, Quantization. Queste tecniche sono solitamente utilizzate in file di immagini, audio e video e sono adatti per determinati tipi o formati di file - JPEG, MP3 - per ogni tipo di file. La compressione a perdita ha generalmente rapporti di compressione più alti rispetto alla compressione senza perdita e a volte si aspetta che l'utente sappia in anticipo la quantità di perdita da introdurre. Cd; il dr In generale, questo post discute la compressione nel mondo dei dati. Si basa fortemente sul corpo esistente di conoscenze in informatica e teoria dell'informazione. Comprimere significa ridurre il volume che un'entità occupa, e nel campo dei dati, il volume si riferisce allo spazio di archiviazione. La compressione nei sistemi digitali ha molti vantaggi quando fatto correttamente. La cosa ovvia è che riduce lo spazio e dà spazio per archiviare più dati. Altri vantaggi includono trasmissione più veloce, meno uso della larghezza di banda e miglioramento generale nell'efficienza di detto sistema. Ricordate, questo è quando viene fatto correttamente. Per sfruttare i vantaggi della compressione, è fondamentale sapere quale tipo utilizzare. La compressione è o perdita o perdita. La compressione perdita introduce una perdita nei dati originali che di solito è irreversibile, mentre la compressione senza perdita comprime i dati e conserva tutte le informazioni contenute nei dati originali. Inoltre, c'è discorso sui tipi di compressione ibrida, ma penso che una combinazione di perdita e perdita sia solo perdita. Infine, sono state introdotte diverse tecniche per la compressione a perdita e senza perdita. L'elenco delle tecniche e delle spiegazioni di queste tecniche non è né esaustivo né completo. Li considero solo un buon inizio nel darvi un'idea di come funziona ogni tecnica. Per riempire, ho aggiunto risorse aggiuntive per aiutarvi a indagare ulteriormente e leggere più in profondità sulla compressione nei big data. Risorse aggiuntive Video: Data Lake fundamentals - RLE encoding with Parquet in practice Video: Data Lake fundamentals - codifica RLE con Parquet in pratica Paper: A review of data compression techniques Documento: una revisione delle tecniche di compressione dei dati Paper: lossless compression techniques Tecniche di compressione senza perdite A concise introduction to Data Compression by David Salomon Una breve introduzione alla compressione dei dati di David Salomon Paper: A Study of Various Data Compression Techniques Documento: uno studio delle varie tecniche di compressione dei dati Blog Post: Compression in open file formats Blog Post: Compressione in formati di file aperti Article: Open file formats Articolo: Formati di file aperti Article: Compression in databases Articolo successivo: Compressione nei database Lossy Compression for Genomic data (RNA) Compressione a perdita per i dati genomici (RNA)

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

Compressione nei big data: tipi e tecniche

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

OpenAI Has Everything Under Control 😎

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

The Fall of OM by Mantra DAO: Accident or Pattern?

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

OpenAI Has Everything Under Control 😎

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

The Fall of OM by Mantra DAO: Accident or Pattern?

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps