導入 この記事では、ビッグデータの文脈における圧縮について説明し、圧縮の種類と方法をカバーします。 
 
 ダイビング in ダイビング in コンプレックスって何? コンピュータサイエンスでは、圧縮は、より小さなサイズにデータを減らすプロセスです. この場合、データは、テキスト、オーディオ、ビデオファイル、等で表される可能性があります. あなたがあなたのコンピュータのハードドライブに保存するすべてのものとして、データが異なるフォーマットで表されるように考えます. より技術的な定義を提供するために、圧縮は、より少ないビットを使用するためにデータを暗号化するプロセスです。 データを圧縮するには、いくつかの理由があります。最も一般的で直感的な理由は、ストレージスペースを節約することです。その他の理由は、データが小さいためです。 
 
 
 
 
 迅速なデータ転送時間:圧縮されたデータはサイズが小さく、ソースから目的地に転送するのに時間がかかります。 帯域幅の消費量の削減:この理由は、より高速なデータ転送の利点と強く関連しています. Compressed data uses less of the network bandwidth, therefore increasing the throughput and reducing the latency. 圧縮されたデータは、ネットワーク帯域幅の少なくなり、したがってパスポートを増やし、遅延を減らします。 データに大きく依存するデジタルシステムのパフォーマンスの向上:これは、データ処理に依存するシステムでは明らかです。これらのシステムは、処理されるデータの量を減らすことによってシステムのパフォーマンスを向上させるために圧縮を活用します。 コスト効率:クラウドサービスはデータのストレージに料金を課します. ストレージを減らすことによって、特にビッグデータシステムではコスト節約が導入されます。 他の圧縮の理由は、さまざまな圧縮技術やフォーマットに依存します。いくつかの暗号化アルゴリズムは、圧縮の方法として使用できます。これを行うことにより、前述の理由でデータを圧縮するためのセキュリティの層が含まれます。さらに、共通の圧縮フォーマットを使用すると、統合目的のための外部システムへの互換性と拡張性の余地がもたらされます。 圧縮の理由も利点のように聞こえますが、圧縮は妥協なしではありません。圧縮に対する共通の妥協は、リソース制限されたシステムにとって懸念される可能性のある妥協の必要性です。他の妥協は、使用される圧縮技術とデータの種類に依存します。 
 
 この記事のシステムは、データを使用して圧縮技術を活用できるデジタルシステムを指します. The word systems is used quite loosely and should be interpreted in context with what is being discussed in that section. 単語システムは、そのセクションで議論されているものと文脈で解釈されるべきです。 この記事のシステムは、データを使用して圧縮技術を活用できるデジタルシステムを指します. The word systems is used quite loosely and should be interpreted in context with what is being discussed in that section. 単語システムは、そのセクションで議論されているものと文脈で解釈されるべきです。 圧縮タイプ データを圧縮するために使用されるさまざまな技術について議論するために、私はまず圧縮を2つの主要なカテゴリーに分類します。 そして コンプレックス Lossy Lossless すでに名前の由来を示すと、 テクニックは、データの完全な忠誠性を維持しないテクニックです。単に言うと、いくつかのデータは捨てられますが、データが表すものを認識できないようにするのに十分ではありません。 Lossy compression 損失圧縮の特徴は、それは不可逆的であること、すなわち、圧縮されたファイルと共に提示されるときは、原始の信頼性を持って原始データを復元することはできません。一部のファイルとファイル形式は損失圧縮に適しています。 通常は画像、オーディオ、ビデオに使用されます。 例えば、JPEG形式の画像は圧縮に優れ、JPEG画像を圧縮することで、作成者または編集者が入力する損失の量を選択することができます。 一方で、 これは、圧縮されると、すべてのデータが保存され、完全に復元されることを意味します。これは、損失のない圧縮がテキストのようなファイルに適していることを意味し、データ倉庫やレイクハウスの世界では、使用する唯一の関連型となります。いくつかのオーディオ(FLACとALAC)および画像ファイルフォーマット(GIF、PNGなど)は、この圧縮タイプでよく機能します。 lossless compression 方法を選ぶ 一般的に最適な圧縮方法はありません。異なる要因は、どの方法がケースごとに適切であるかを選択することにかかります。例を用いてこれを補強するために、データエンジニアは、保存されたテーブルデータに取り組む金融業界のデータエンジニアは、正確なレポートを作成するのに欠けているデータの影響のために、損失のない圧縮を使用する傾向があります。代わりに、損失のある圧縮は、画像を圧縮し、ウェブサイトをより軽くすることによって負荷項目を減らすことによって多くの画像を含むウェブページを最適化する方法である可能性があります。 圧縮技術 このセクションでは、損失と損失なしの圧縮の両方の共通の圧縮技術のみをカバーします。これらは決して徹底的なものではないことに注意してください。さらに、議論された技術は、さまざまな研究によって裏付けられたように、パフォーマンスを向上させるためにわずかな変動がある可能性があります。 無損圧縮技術 3つの一般的な無損失テクニックは、Run-Length Encoding(RLE)、Huffman Coding、Lempel-Ziv-Welchテクニックです。 RLE は、単一のデータとそのデータの数を繰り返すデータのシーケンスに置き換えるように、データを暗号化することに基づいています. It is effective for long runs of repeated data. Also, datasets that have dimensions (fields) that are sorted from a low level to a high level of cardinality benefit from RLE. Run-Length Encoding たとえば、シンプルな文字列のように、 RLE はデータを圧縮し、 より実践的になるためには、下の画像のテーブルを取ってください。 AAAAABBCDDD A(5)B(2)C(1)D(3) 図1 - RLEの前に. カーディナリティのレベルが左から右のフィールドで増加していることを観察することが重要である 図2 - RLEの後 RLE は繰り返しフィールドの実行に依存しているため、第二の例では、データのカーディナリティおよび分類の順序は、 アイテムコラム上のレコードは、単に 前列はすべての値を分割するため、 そして 特定のファイル形式は、TIFF、BMPなどのビットマップファイル形式など、RLEと互換性があります Parquet ファイルも RLE をサポートし、S3 または GCS のようなオブジェクトストレージを使用する現代のデータレイクハウスで非常に役に立ちます。 Mouse Mouse (3) IT, Mouse HR, Mouse : これは統計モデリングに基づいており、変数長のコードを原始データの値に割り当て、原始データの頻度に基づいて発生します。このモデリングの表示はハフマンツリーと呼ばれることができ、これはバイナリツリーに似ています。このツリーは次に原始データの各値のためにハフマンコードを作成するために使用されます。アルゴリズムは、可能な限り少ないビットで最も頻繁な値をコーディングすることを優先します。 Huffman Coding RLE 例で使用したデータを用いてみましょう。 相応のハフマンツリーはこんな感じです。 AAAAABBCDDD ハフマンツリー 木から見ると、この手紙が is represented by 同様 が紹介され、 手紙と比べると そして , we observe that A and D are represented by fewer bits. This is because they have a higher frequency; hence, the Huffman algorithm represents them with fewer bits by design. The resulting compressed data becomes . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Codingは、 誰が言っているか たとえば、有効なハフマンコードには、文字 c と d が表示されないことがあります。 そして なぜなら、代表の is a prefix of . prefix rule, 文字を表すコードは、他のコードのプレフィックスに存在してはならない。 C: 00 D: 000 C D これを見るには、コンピュータサイエンスフィールドガイドには、 あなたと遊ぶことができます。 Huffman Tree Generator Huffman Tree ジェネレーター : これは、Abraham Lempel、Jacob Ziv、Terry Welchによって1984年に作成され、その作成者にちなんで名付けられています。 RLEとHuffman Codingと同様に、LZWは多くの繰り返しデータを含むデータとよく動作します。LZWアルゴリズムは辞書に基づいており、原始データで一般的に見られるパターンのキー値のカップルを含む辞書を作成します。そのような辞書はコードテーブルとも呼ばれます。 A-Z の構成を可能な値として使用したアルゴリズムを通過すると、結果としてのコードテーブルは次のようになります。 Lempel–Ziv–Welch Coding ABBABABABA LZWコードテーブル 上記のコード テーブルから、すべての文字 A から Z までのキー 値のカップルと、AB、BB、BA、ABA などのパターンのキー 値のカップルがあります。これらのパターンのより短い表示により、LZW アルゴリズムは、それらをより少ないビットに暗号化することで、原始データを圧縮することができます。 圧縮されたデータのスペースを注意することが重要です. One could think of them as the end of a character, so the decoder will not interpret a Aとして 異なることを意味する。 0 1 1 26 29 28 1,0 10 LZWは一般的な用途で、現在広く使用されているが、多くのUnix/Linuxベースのオペレーティングシステムに統合されている。 また、LZWと互換性のある一般的なファイル形式は、GIF、TIFF、およびPDFです。LZW圧縮の他のアプリケーションは、この論文で議論されたように、Natural Language Processingの分野で見られます。 . compress tokenization in NLP NLPにおけるトークニズム RLE、Huffman コーディング、および LZW コーディングは一般的な例に過ぎません. Lossless compression techniques go beyond these three (3) described above. Other techniques include ハフマンとLZWの組み合わせを使用する - 具体的にはLZ77 - コーディング。 DEFLATE, Lossy Compression テクニック このセクションでは、損失圧縮の2種類を検討します。損失圧縮は、すべてのデータが保存されていないことを意味するオリジナルデータに損失を導入します。 この圧縮方法は、主にオーディオ、画像、およびビデオファイルで使用され、一般にブロック圧縮とも呼ばれます。それは数学的関数 - コシネン関数、その名の通り - オリジナルデータのブロックを周波数に変換するために使用します。 Discrete Cosine Transform (DCT) 圧縮は、データに発生する高周波数に対処する際に発生し、原始データが数学関数を使用して周波数ドメインに翻訳されるときに発生します。 
 
 
 
 
 たとえば、画像圧縮では、これは8x8ピクセルかもしれません。 数学的な関数を適用して、データのブロックを周波数に変換します. This will result in some high frequencies and low frequencies. その後、高い周波数は、許容可能な損失の程度に応じて削減または削除されます. This is where it really becomes lossy compression. 表示可能なデータに戻るために、残りのすべての周波数は、周波数からデータを復元するために、逆差異コシネ変換(IDCT)を通過します。 DCTは、圧縮だけでなく、信号処理にも広く使用されています。DCTと互換性のある一般的なファイル形式はJPEG(画像)、MP3(オーディオ)、MPEG(ビデオ)です。さらに、DCTは高圧比を達成することができ、インターネット上のウェブページのような多くの画像を持つデジタルシステムに適しています。 : フラクトルは、異なるスケールで繰り返す自己繰り返しの無限のパターンです。 スケールのどこから見ても、パターンは似ているように見えます。 パターンはどのスケールでも似ているため、フラクトル圧縮はデータのサイズを減らすために「大きい」フラクトルのスケールを減らします。 Fractal Compression フラクタルの例 フラクトル圧縮は1980年代にマイケル・バーンズリーによって導入されました。画像を使用する一般的なアイデアは、画像に同じように見えるいくつかの部分が含まれている場合、なぜそれらを2回保存するのですか?これを行うために、フラクトル圧縮は次のことを行います。 
 
 
 
 
 範囲ブロックと呼ばれる非重複ブロックに画像を分割します. This could be range blocks of 8x8, 16x16 pixels, etc. それは、自己繰り返しパターン(フラクトルパターン)のための画像をスキャンします。 範囲ブロックを使用して、アルゴリズムは、これらの範囲ブロックに似ている画像のより大きなセクションを見つける。 これらの変換関数は、スケーリング、翻訳、回転などの数学的関数であるが、これらは変換とも呼ばれることができる。 データはその後、変換関数に暗号化されます。ピクセルピクセルデータを保存する代わりに、変換が保存されます。これらの変換は、ドメインブロックから画像を再構築する方法を説明するルールです。 このプロセスは計算的に高価かもしれないが、フラクトル圧縮は他の圧縮技術と比較して高い圧縮比率を達成することができる。自ら繰り返すパターンに依存しているため、そのような自ら繰り返すパターンを有することに合致するデータでより良いパフォーマンスを果たすだろう。 例は、景観写真(自然の画像)とDNA画像である。 これらのテクニックは、通常、画像、オーディオ、ビデオファイルで使用され、特定のタイプまたはファイル形式 - JPEG、MP3 - 各ファイルタイプに適しています。 損失圧縮は一般に損失圧縮よりも高い圧縮比率を有し、時にはユーザーが事前に入力する損失の量を知ることを期待することもあります。圧縮方法と技術の選択は、いくつかの要因に依存していることを強調するのが適切です。 トップ > DR コンピュータサイエンスと情報理論の既存の知識に強く依存している。コンプレックスとは、エンティティが占める量を減らすことを意味し、データの分野では、ボリュームはストレージスペースを指します。デジタルシステムでのコンプレックスには、正しく行ったときに多くの利点があります。明らかなことは、スペースを減らし、より多くのデータをストレージするためのスペースを与えることです。その他の利点は、より速い伝送、より少ない帯域幅の使用、および述べたシステムの効率の一般的な改善を含む。 圧縮の利点を活用するには、使用するタイプを知るのが重要です。圧縮は損失または損失なしです。 損失圧縮は、通常は不可逆的な元データの損失を導入しますが、損失なしの圧縮はデータを圧縮し、元データに含まれるすべての情報を保持します。 さらに、ハイブリッド圧縮タイプについての議論がありますが、損失と損失なしの組み合わせは単に損失であると思います。 最後に、損失と損失なしの圧縮の両方に異なる技術が導入されました。これらの技術の技術と説明のリストは、完全なものではなく、包括的なものではありません。私はそれらを、それぞれの技術がどのように機能するかについてのアイデアを与える良いスタートに過ぎません。 追加資源 Video: Data Lake fundamentals - RLE encoding with Parquet in practice ビデオ: Data Lake fundamentals - RLE encoding with Parquet in practice Paper: A review of data compression techniques 論文:データ圧縮技術のレビュー Paper: lossless compression techniques タグ: lossless compression techniques A concise introduction to Data Compression by David Salomon デヴィッド・ソロモンによるデータ圧縮の簡潔な導入 Paper: A Study of Various Data Compression Techniques タグ:A Study of Various Data Compression Techniques Blog Post: Compression in open file formats Blog Post: オープンファイル形式での圧縮 Article: Open file formats タグ:Open File Format Article: Compression in databases タグ:Compression in Databases Lossy Compression for Genomic data (RNA) 遺伝子データ(RNA)の損失圧縮

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

ビッグデータにおける圧縮:タイプと技術

About Author

コメント

ラベル

この記事は

Related Stories

ユニークなエコシステムを支えるビットコインUTXOのモデル

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユニークなエコシステムを支えるビットコインUTXOのモデル

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps