Einführung Dieser Artikel wird die Kompression im Kontext von Big Data diskutieren und die Arten und Methoden der Kompression abdecken. 
 
 Tauchen in Tauchen in Was ist Kompression? Gemäß der allgemeinen englischen Definition von Komprimierung bezieht es sich auf die Verringerung von etwas, um einen kleineren Raum zu besetzen. In der Informatik ist Komprimierung der Prozess der Verringerung von Daten auf eine kleinere Größe. Daten, in diesem Fall, könnte in Text, Audio, Video-Dateien usw. dargestellt werden Denken Sie darüber nach, wie alles, was Sie auf der Festplatte Ihres Computers speichern, als Daten in verschiedenen Formaten dargestellt. Es gibt mehrere Gründe, Daten zu komprimieren. Der häufigste und intuitive Grund ist, Speicherplatz zu sparen. Andere Gründe sind das Ergebnis, dass die Daten kleiner sind. 
 
 
 
 
 Quicker Data Transmission Time: Compressed data is smaller in size and takes less time to be transmitted from source to destination. Reduzierter Bandbreitenverbrauch: Dieser Grund ist stark mit dem Vorteil einer schnelleren Datenübertragung verbunden.Komprimierte Daten verwenden weniger der Netzwerkbandbreite, wodurch die Durchsatzleistung erhöht und die Latenz reduziert wird. Verbesserte Leistung für digitale Systeme, die stark auf Daten angewiesen sind: Dies ist bei Systemen offensichtlich, die auf Datenverarbeitung angewiesen sind. Diese Systeme nutzen die Kompression, um die Leistung der Systeme zu verbessern, indem sie die Menge an Daten reduzieren, die verarbeitet werden müssen. Bitte beachten Sie, dass dies systemspezifisch sein kann und auf die Verwendung der entsprechenden Kompressionstechniken angewiesen sein wird. Kosteneffizienz: Cloud-Dienste berechnen für die Datenspeicherung.Durch die Verwendung von weniger Speicherplatz werden Kostenersparnisse eingeführt, insbesondere in Big Data-Systemen. Andere Gründe für die Komprimierung hängen von verschiedenen Komprimierungstechniken und Formaten ab. Einige Verschlüsselungsalgorithmen können als Komprimierungsmethode verwendet werden. Dadurch enthält es eine Sicherheitsebene für die zuvor erwähnten Gründe zur Komprimierung von Daten.Darüber hinaus bringt die Verwendung gemeinsamer Komprimierungsformate Kompatibilität und Raum für Erweiterbarkeit für externe Systeme für Integrationszwecke. Es ist erwähnenswert, dass die Gründe für die Komprimierung auch wie Vorteile klingen. Allerdings ist die Komprimierung nicht ohne Kompromisse. Ein häufiger Kompromiss gegen die Komprimierung ist die Notwendigkeit für die Dekomprimierung, die für Ressourcen eingeschränkte Systeme betreffen könnte. 
 
 Systeme im Artikel beziehen sich auf digitale Systeme, die Daten nutzen und Kompressionstechniken nutzen können.Die Wörter-Systeme werden ziemlich locker verwendet und sollten im Kontext mit dem, was in diesem Abschnitt diskutiert wird, interpretiert werden. Systeme im Artikel beziehen sich auf digitale Systeme, die Daten nutzen und Kompressionstechniken nutzen können.Die Wörter-Systeme werden ziemlich locker verwendet und sollten im Kontext mit dem, was in diesem Abschnitt diskutiert wird, interpretiert werden. Kompressionsarten Um die verschiedenen Techniken zu diskutieren, die verwendet werden, um Daten zu komprimieren, werde ich zunächst die Kompression in 2 Hauptkategorien kategorisieren. Dieser Artikel wird dann die Techniken besprechen, die für jede Kategorie relevant sind. und Die Kompression. Lossy Lossless Wenn die Namen weggeben, was sie schon bedeuten, Techniken sind Techniken, die nicht die volle Glaubwürdigkeit der Daten bewahren. Einfach ausgedrückt, einige Daten werden verworfen, aber nicht genug, um zu machen, was die Daten repräsentiert unerkennbar. Lossy compression Ein Merkmal der Lossy-Komprimierung ist, dass sie irreversibel ist, d.h. wenn sie mit der komprimierten Datei präsentiert wird, kann man die Rohdaten nicht mit ihrer ursprünglichen Treue wiederherstellen. Bestimmte Dateien und Dateiformate sind für die Lossy-Komprimierung geeignet. Es wird typischerweise für Bilder, Audio und Videos verwendet. Zum Beispiel leisten JPEG-formatierte Bilder eine gute Komprimierung, und durch die Komprimierung eines JPEG-Bildes kann der Schöpfer oder Editor wählen, wie viel Verlust eingeführt werden soll. Auf der anderen Seite, ist reversibel, was bedeutet, dass bei der Komprimierung alle Daten während der Dekomprimierung vollständig erhalten und wiederhergestellt werden. Dies bedeutet, dass die verlustlose Komprimierung für textähnliche Dateien geeignet ist, und in der Datenlager- und Lakehouse-Welt wäre es der einzige relevante Typ zu verwenden. lossless compression Eine Methode auswählen Es gibt keine allgemein beste Komprimierungsmethode. Verschiedene Faktoren gehen in die Wahl der Methode, die von Fall zu Fall geeignet wäre. Um dies mit Beispielen zu verstärken, würde ein Dateningenieur in der Finanzbranche, der an Tabellendaten arbeitet, aufgrund der Auswirkungen fehlender Daten bei der Erstellung genauer Berichte verlustfreie Komprimierung verwenden. Alternativ könnte verlustfreie Komprimierung der Weg sein, um die Webseite mit vielen Bildern zu optimieren, indem man die Bilder komprimiert und die Lastelemente reduziert, indem man die Website leichter macht. Kompressionstechniken Dieser Abschnitt deckt nur die gängigen Kompressionstechniken für Verlust- und Verlustloskompression ab. Bitte beachten Sie, dass dies in keiner Weise erschöpfend ist.Darüber hinaus können die diskutierten Techniken geringe Variationen haben, um ihre Leistung zu verbessern, wie von verschiedenen Forschungen unterstützt. Verlustlose Kompressionstechniken Drei gemeinsame Lossless-Techniken sind die Run-Length Coding (RLE), Huffman Coding und die Lempel-Ziv-Welch-Techniken. : RLE basiert auf der Kodierung von Daten, so dass es die Sequenzen von wiederholten Daten durch ein einzelnes Datenstück und die Anzahl dieses Datenstücks ersetzt. Es ist wirksam für lange Ausführungen von wiederholten Daten. Run-Length Encoding Nehmen Sie zum Beispiel eine einfache Zeile wie RLE komprimiert die Daten, um zu Um praktischer zu sein, nehmen Sie einen Tisch im Bild unten. AAAAABBCDDD A(5)B(2)C(1)D(3) Abbildung 1 - vor RLE. Es ist wichtig zu beachten, dass das Niveau der Kardinalität auf den Feldern von links nach rechts zunimmt Abbildung 2 - Nach RLE Weil RLE von den Ausführungen wiederkehrender Felder abhängt und im zweiten Beispiel die Kardinalität und die Sortierung der Daten, die Datensatz in der Elementspalte kann nicht komprimiert werden, um nur da die vorstehende Spalte alle Werte in und Bestimmte Dateiformate sind mit RLE kompatibel, wie Bitmap-Dateiformate wie TIFF, BMP usw. Parquet-Dateien unterstützen auch RLE, was es in modernen Datenspeichern mit Objektspeicher wie S3 oder GCS sehr nützlich macht. Mouse Mouse (3) IT, Mouse HR, Mouse : Es basiert auf der statistischen Modellierung, die variablen Längencodes den Werten in den Rohdaten zuweisen basierend auf der Häufigkeit, mit der sie in den Rohdaten auftreten. Die Darstellung dieser Modellierung kann als Huffman-Baum bezeichnet werden, der einem binären Baum ähnelt. Dieser Baum wird dann verwendet, um einen Huffman-Code für jeden Wert in den Rohdaten zu erstellen. Huffman Coding Nehmen wir die gleichen Daten, die im RLE-Beispiel verwendet werden Der entsprechende Huffman-Baum sieht so aus. AAAAABBCDDD Huffman Baum Vom Baum aus kann man sehen, dass der Brief ist vertreten durch ebenso Es wird präsentiert von Im Vergleich zu Briefen und , we observe that A and D are represented by fewer bits. This is because they have a higher frequency; hence, the Huffman algorithm represents them with fewer bits by design. The resulting compressed data becomes  . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding verwendet die Wer sagt, dass Beispielsweise kann ein gültiger Huffman-Code keine Buchstaben c und d mit und Weil die Vertretung der Es ist ein Präfix von . prefix rule, Der Code, der ein Zeichen darstellt, sollte nicht im Präfix eines anderen Codes vorhanden sein. C: 00 D: 000 C D Um dies in Aktion zu sehen, hat der Computer Science Field Guide eine Sie könnten mit spielen. Huffman Baum Generator Huffman Baum Generator : Es wurde 1984 von Abraham Lempel, Jacob Ziv und Terry Welch erstellt und ist nach den Schöpfern benannt, offensichtlich 😅. Ähnlich wie RLE und Huffman Coding funktioniert LZW gut mit Daten, die viele wiederholte Daten enthalten. Der LZW-Algorithmus basiert auf Wörterbüchern und erstellt ein Wörterbuch, das Schlüsselwertepaare von häufig gesehenen Mustern in den Rohdaten enthält. . When passed through the algorithm using a configuration of A-Z as possible values, the resulting code table looks like: Lempel–Ziv–Welch Coding ABBABABABA LZW Code Table Aus der obigen Code-Tabelle gibt es ein Schlüsselwertpaar für alle Buchstaben A-Z und Schlüsselwertpaare für Muster wie AB, BB, BA und ABA. Durch eine kürzere Darstellung dieser Muster kann der LZW-Algorithmus die Rohdaten komprimieren, indem er sie in weniger Bits kodiert. Es ist wichtig, die Räume in den komprimierten Daten zu bemerken. Man könnte sie als das Ende eines Zeichens betrachten, so dass der Decoder keine als a Wie sie verschiedene Dinge bedeuten. 0 1 1 26 29 28 1,0 10 LZW ist in der Regel für allgemeine Zwecke und heute weit verbreitet.Es ist in viele Unix/Linux-basierte Betriebssysteme hinter der Shell-Befehl. Auch die gängigen Dateiformate, die mit LZW kompatibel sind, sind GIF, TIFF und PDF. Andere Anwendungen von LZW-Komprimierung können im Bereich der natürlichen Sprachverarbeitung gesehen werden, wie in diesem Papier auf . compress Tokenisierung in NLP Tokenisierung in NLP RLE, Huffman Coding und LZW Coding sind nur häufige Beispiele.Verlustlose Kompressionstechniken gehen über die drei (3) oben beschriebenen hinaus. die eine Kombination von Huffman und LZW - speziell LZ77 - Codierung verwendet. DEFLATE, Verlustkompressionstechniken In diesem Abschnitt werden wir zwei Arten von Lossy-Komprimierung betrachten.Gedenken Sie daran, dass Lossy-Komprimierung einen Verlust der ursprünglichen Daten einführt, was bedeutet, dass nicht alle Daten gespeichert werden. : Diese Komprimierungsmethode wird hauptsächlich in Audio-, Bild- und Videodateien verwendet und wird auch allgemein als Blockkomprimierung bezeichnet. Es verwendet eine mathematische Funktion - die Cosine-Funktion, wie der Name schon sagt - um Blöcke der ursprünglichen Daten in Frequenzen umzuwandeln. Discrete Cosine Transform (DCT) Die Kompression kommt bei der Bearbeitung der hohen Frequenzen, die in den Daten auftreten, wenn die Rohdaten mit der mathematischen Funktion in den Frequenzbereich übersetzt werden. 
 
 
 
 
 Aufteilen Sie die Rohdaten in Stücke. Zum Beispiel bei der Bildkomprimierung könnte dies 8x8 Pixel sein. Wenden Sie die mathematische Funktion an, um die Datenstücke in Frequenzen umzuwandeln. Die hohen Frequenzen werden dann reduziert oder entfernt, abhängig von dem akzeptablen Grad des Verlustes, den man einführen will. Um wieder in repräsentative Daten umzuwandeln, werden alle verbleibenden Frequenzen durch eine Inverse Discrete Cosine Transform - IDCT - übertragen, um die Daten aus den Frequenzen wiederherzustellen. DCT wird heute in verschiedenen Bereichen weit verbreitet, nicht nur in der Kompression, sondern auch in der Signalverarbeitung. Gemeinsame Dateiformate, die mit DCT kompatibel sind, sind JPEG (Bilder), MP3 (Audio) und MPEG (Video). : Ein Fraktal ist ein sich selbst wiederholendes unendliches Muster, das sich auf verschiedenen Skalen wiederholt.Wenn es von einem beliebigen Punkt auf der Skala betrachtet wird, sieht das Muster ähnlich aus.Da die Muster auf jeder Skala ähnlich sind, reduziert die Fraktalkompression die Skala von "großen" Fraktalen, um die Größe der Daten zu reduzieren. Fractal Compression Beispiele für Fraktale Die allgemeine Idee, ein Bild zu verwenden, ist, dass, wenn ein Bild mehrere Teile enthält, die gleich aussehen, warum sie zweimal speichern? 
 
 
 
 
 Teilen Sie das Bild in nicht überlappende Blöcke, die als Reichweitenblöcke bezeichnet werden. Dies könnten Reichweitenblöcke von 8x8, 16x16 Pixeln usw. sein. Es scannt das Bild für sich selbst wiederholende Muster (fraktale Muster). Mit den Bereichsblöcken findet der Algorithmus größere Abschnitte des Bildes, die diesen Bereichsblöcken ähnlich sind. Diese Transformationsfunktionen sind mathematische Funktionen wie Skalierung, Übersetzung, Rotation usw. Sie können auch als Transformationen bezeichnet werden. Anstatt die Pixel-Pixel-Daten zu speichern, werden die Transformationen gespeichert.Diese Transformationen sind die Regeln, die beschreiben, wie man das Bild aus Domänenblöcken rekonstruiert. Mit den fraktalen Codes wird das Bild mithilfe eines iterativen Prozesses rekonstruiert. Dieser Prozess kann rechnerisch teuer sein, aber fraktale Kompression könnte im Vergleich zu anderen Kompressionstechniken ein hohes Verhältnis von Kompression erzielen. Aufgrund seiner Abhängigkeit von sich selbst wiederholenden Mustern würde es auf Daten besser funktionieren, die mit solchen selbst wiederholenden Mustern übereinstimmen. Beispiele wären Landschaftsfotografien (Bilder der Natur) und DNA-Bilder. Es gibt andere Verlust-Komprimierungstechniken, wie die Discrete Wavelet Transformation, Quantization. Diese Techniken werden in der Regel in Bildern, Audiodateien und Video-Dateien verwendet und sind für bestimmte Typen oder Dateiformate geeignet - JPEG, MP3 - für jeden Dateityp. Lossy-Komprimierung hat im Allgemeinen höhere Komprimierungsverhältnisse als lossless-Komprimierung und erwartet manchmal, dass der Benutzer vorher weiß, wie viel Verlust eingeführt werden soll. Es ist relevant zu betonen, dass die Wahl der Komprimierungsmethode und Technik von mehreren Faktoren abhängt. Tsch; Dr Insgesamt diskutiert dieser Beitrag die Kompression in der Welt der Daten. Es stützt sich stark auf den bestehenden Wissen in der Informatik und der Informationstheorie. Komprimieren bedeutet, das Volumen zu reduzieren, das eine Entität einnimmt, und auf dem Gebiet der Daten bezieht sich das Volumen auf Speicherplatz. Komprimierung in digitalen Systemen hat viele Vorteile, wenn es richtig gemacht wird. Das Offensichtliche ist, dass es den Raum reduziert und Raum gibt, um mehr Daten zu speichern. Andere Vorteile umfassen eine schnellere Übertragung, weniger Bandbreiteverwendung und eine allgemeine Verbesserung der Effizienz des genannten Systems. Um die Vorteile der Komprimierung zu nutzen, ist es wichtig zu wissen, welche Art zu verwenden. Komprimierung ist entweder verlustlos oder verlustlos. Verlustkomprimierung führt zu einem Verlust in den ursprünglichen Daten, die in der Regel irreversibel ist, während verlustloser Komprimierung die Daten komprimiert und behält alle Informationen in den ursprünglichen Daten enthalten. Darüber hinaus gibt es Diskurs über hybride Komprimierungsarten, aber ich denke, dass eine Kombination von verlustlos und verlustlos nur verlustlos ist. Schließlich wurden verschiedene Techniken für Verlust- und Verlustloskomprimierung eingeführt. Die Liste der Techniken und Erklärungen dieser Techniken ist weder erschöpfend noch umfassend. Ich halte sie nur für einen guten Anfang, um Ihnen eine Vorstellung davon zu geben, wie jede Technik funktioniert. Additional Resources Video: Data Lake fundamentals - RLE encoding with Parquet in practice Video: Data Lake Fundamentals – RLE-Codierung mit Parquet in der Praxis Paper: A review of data compression techniques Papier: Eine Überprüfung der Datenkompressionstechniken Paper: lossless compression techniques Papier: Verlustlose Kompressionstechniken A concise introduction to Data Compression by David Salomon Eine kurze Einführung in die Datenkompression von David Salomon Paper: A Study of Various Data Compression Techniques Papier: Eine Studie über verschiedene Datenkomprimierungstechniken Blog Post: Compression in open file formats Blog Post: Komprimierung in offenen Dateiformaten Article: Open file formats Artikel: Open File Formats Article: Compression in databases Artikel: Komprimierung in Datenbanken Lossy Compression for Genomic data (RNA) Verlustkompression für Genomdaten (RNA)

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Kompression in Big Data: Typen und Techniken

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded 2024: Celebrating Our AI Community!

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded 2024: Celebrating Our AI Community!

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps