소개 이 문서는 압축의 유형과 방법을 다루는 빅 데이터의 맥락에서 압축을 논의합니다.I will also highlight why and when each type and method should be used. 
 
 다이빙 IN 다이빙 IN compression 란 무엇입니까? 압축의 일반적인 영어 정의에 따르면, 그것은 더 작은 공간을 차지하기 위해 무언가를 줄이는 것을 의미합니다. 컴퓨터 과학에서 압축은 데이터를 더 작은 크기로 줄이는 과정입니다.이 경우 데이터는 텍스트, 오디오, 비디오 파일 등으로 표현 될 수 있습니다. 당신이 컴퓨터의 하드 드라이브에 저장하는 모든 것처럼 그것을 생각합니다, 다른 형식으로 표시 된 데이터로. 데이터를 압축하는 데는 여러 가지 이유가 있습니다. 가장 일반적이고 직관적 인 이유는 저장 공간을 절약하는 것입니다. 다른 이유는 데이터가 작아지기 때문입니다. 
 
 
 
 
 더 빠른 데이터 전송 시간: 압축 된 데이터는 크기가 작고 출처에서 목적지로 전송하는 데 시간이 적습니다. 압축된 데이터는 네트워크 대역폭을 적게 사용하며, 따라서 전송량을 증가시키고 지연률을 줄입니다. 데이터에 크게 의존하는 디지털 시스템의 성능 향상: 이것은 처리 데이터에 의존하는 시스템에서 분명합니다.이 시스템은 처리해야 할 데이터의 양을 줄여 시스템의 성능을 향상시키기 위해 압축을 활용합니다.이 시스템 특정일 수 있으며 적절한 압축 기술을 사용하는 것에 의존할 수 있음을 유의하십시오. 비용 효율성: 클라우드 서비스는 데이터 저장에 대한 요금을 부과합니다.더 적은 저장 공간을 사용함으로써 비용 절감, 특히 빅 데이터 시스템에서 도입됩니다. 다른 압축 이유는 다른 압축 기술과 형식에 달려 있습니다. 일부 암호화 알고리즘은 압축 방법으로 사용될 수 있습니다. 그렇게함으로써, 그것은 이전에 논의 된 이유를 위해 데이터를 압축하기위한 보안 계층을 포함합니다. 압축의 이유는 또한 혜택처럼 들린다는 점에 주목할 가치가 있습니다.그러나 압축은 타협이 없는 것이 아닙니다. 압축에 대한 한 가지 일반적인 타협은 자원에 제한된 시스템에 대해 걱정할 수 있는 압축 해제의 필요성입니다.다른 타협은 사용되는 압축 기술과 데이터 유형에 달려 있습니다. 
 
 이 문서의 시스템은 데이터를 사용하고 압축 기술을 활용할 수 있는 디지털 시스템을 말합니다.The word systems is used quite loosely and should be interpreted in context with what is being discussed in that section. 이 문서의 시스템은 데이터를 사용하고 압축 기술을 활용할 수 있는 디지털 시스템을 말합니다.The word systems is used quite loosely and should be interpreted in context with what is being discussed in that section. 압축 유형 데이터 압축에 사용되는 다른 기술에 대해 논의하려면 먼저 압축을 2 개의 주요 범주로 분류합니다.이 기사에서는 각 범주에 관련된 기술에 대해 논의합니다. 그리고 압축하기 Lossy Lossless 이름이 이미 의미하는 것을 말할 때, 기술은 데이터의 완전한 충실성을 보존하지 않는 기술입니다. 간단히 말해서, 일부 데이터는 버려집니다, 그러나 데이터가 나타나는 것을 인식 할 수 없을만큼 충분하지 않습니다. 따라서, 손실 압축은 곧 도입 될 손실없는 압축에 비해 매우 높은 수준의 압축을 제공 할 수 있습니다. Lossy compression 잃어버린 압축의 특징은 그것이 돌이킬 수 없다는 것입니다, 즉, 압축 된 파일과 함께 제시될 때 원본 데이터를 원본 충실성으로 복원할 수 없습니다. 일부 파일 및 파일 형식은 손실 된 압축에 적합합니다. 그것은 일반적으로 이미지, 오디오 및 비디오에 사용됩니다. 예를 들어, JPEG 형식의 이미지는 압축에 잘 부여되며, JPEG 이미지를 압축함으로써 제작자 또는 편집자가 얼마나 많은 손실을 도입할 수 있는지 선택할 수 있습니다. 다른 한편으로는, 압축되면 모든 데이터가 완전히 보존되고 압축 중에 복원됩니다. 이것은 손실없는 압축이 텍스트와 같은 파일에 적합하다는 것을 의미하며, 데이터 창고 및 호수 세계에서 사용하는 유일한 관련 유형이 될 것입니다. 일부 오디오 (FLAC 및 ALAC) 및 이미지 파일 형식 (GIF, PNG 등)이 압축 유형과 잘 작동합니다. lossless compression 방법을 선택하기 일반적으로 가장 좋은 압축 방법은 없습니다. 다양한 요소가 사례별로 적합한 방법을 선택하는 데 도움이됩니다. 예를 들어, 저장된 테이블 데이터에 종사하는 금융 업계의 데이터 엔지니어는 정확한 보고서를 만들 때 손실없는 데이터의 영향으로 인해 손실없는 압축을 사용하는 경향이 있습니다. 대체로, 손실 압축은 이미지를 압축하고 웹 사이트를 가볍게함으로써 로드 항목을 줄이면서 많은 이미지를 가진 웹 페이지를 최적화하는 방법 일 수 있습니다. 압축 기술 이 섹션은 손실 및 손실없는 압축을위한 일반적인 압축 기술을 다루고 있습니다.이 방법은 전혀 완전하지 않다는 것을 유의하십시오.또한 논의 된 기술은 다른 연구에 의해 지원되는 성능을 향상시키기 위해 약간의 변화를 가질 수 있습니다. 손실없는 압축 기술 세 가지 일반적인 손실없는 기술은 Run-Length Encoding (RLE), Huffman Coding 및 Lempel-Ziv-Welch 기술입니다. : RLE는 반복 데이터의 시퀀스를 단일 데이터 조각과 그 데이터 조각의 수를 대체하는 방식으로 데이터를 인코딩에 기반합니다.It is effective for long runs of repeated data. Also, datasets that have dimensions (fields) that are sorted from a low level to a high level of cardinality benefit from RLE. Run-Length Encoding 예를 들어, 간단한 문자열을 사용하여 RLE는 데이터를 압축하여 더 실용적이려면 아래 그림에서 테이블을 찍으십시오. AAAAABBCDDD A(5)B(2)C(1)D(3) 그림 1 - RLE 전에. 왼쪽에서 오른쪽으로의 필드에서 cardinality 수준이 증가하고 있다는 것을 관찰하는 것이 중요합니다. 그림 2 - RLE 이후 RLE는 반복 필드의 실행에 달려 있기 때문에, 두 번째 예에서는 데이터의 cardinality 및 sort order에 따라 항목 열에 있는 레코드는 단순히 압축할 수 없습니다. 이전 열이 모든 값을 분할하기 때문에 그리고 특정 파일 형식은 TIFF, BMP 등과 같은 비트맵 파일 형식과 같은 RLE와 호환됩니다.Parquet 파일은 또한 RLE를 지원하여 S3 또는 GCS와 같은 객체 저장소를 사용하는 현대 데이터 호수에서 매우 유용합니다. Mouse Mouse (3) IT, Mouse HR, Mouse : 그것은 원 데이터에서 발생하는 빈도에 따라 원 데이터의 값에 변수 길이 코드를 할당하는 통계적 모델링을 기반으로합니다.이 모델링의 표현은 바이너리 나무와 비슷한 허프만 나무라고 할 수 있습니다.이 나무는 다음 원 데이터의 각 값에 대한 허프만 코드를 만들기 위해 사용됩니다.알고리즘은 가능한 최소한의 비트로 가장 빈번한 값을 인코딩하는 우선 순위를 부여합니다. Huffman Coding RLE 예제에서 사용한 동일한 데이터를 가져 가자. 해당 Huffman 나무는 이렇게 보입니다. AAAAABBCDDD Huffman 나무 나무에서 보면 그 편지가 보인다. 그것은 대표되는 마찬가지 소개되었습니다 by 편지와 비교하여 그리고 이것은 그들이 더 높은 주파수를 가지고 있기 때문에 A와 D가 디자인에 따라 더 적은 비트로 나타난다는 것을 관찰합니다.This is because they have a higher frequency; hence, the Huffman algorithm represents them with less bits by design. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding 사용 누가 이 말을 예를 들어, 유효한 Huffman 코드는 문자 c 및 d를 사용할 수 없습니다. 그리고 왜냐하면 대표의 그것은 Prefix of . prefix rule, 문자를 나타내는 코드는 다른 코드의 프리픽스에 존재해서는 안됩니다.The code representing a character should not be present in the prefix of any other code C: 00 D: 000 C D 이 작업을 보려면 컴퓨터 과학 필드 가이드는 당신은 함께 놀 수 있습니다. Huffman 나무 발전기 Huffman 나무 발전기 : 그것은 1984 년에 Abraham Lempel, Jacob Ziv 및 Terry Welch에 의해 만들어졌으며, 분명히 창조자들에 의해 명명되었습니다 😅. RLE와 Huffman Coding와 마찬가지로, LZW는 반복 데이터를 많이 포함하는 데이터와 잘 작동합니다. LZW 알고리즘은 사전 기반이며 원자 데이터에서 일반적으로 볼 수있는 패턴의 키 값 쌍을 포함하는 사전을 만듭니다. 그러한 사전은 코드 테이블이라고도 할 수 있습니다.이 기술이 어떻게 작동하는지 설명하기위한 그림을 사용하여 원자 데이터를 대표하자. 가능한 값으로 A-Z의 구성을 사용하여 알고리즘을 통과하면, 결과 코드 테이블은 다음과 같습니다: Lempel–Ziv–Welch Coding ABBABABABA LZW 코드 테이블 위의 코드 테이블에서 모든 문자 A-Z에 대한 키 값 쌍과 AB, BB, BA 및 ABA와 같은 패턴에 대한 키 값 쌍이 있습니다.이 패턴을 짧게 표현함으로써 LZW 알고리즘은 원자 데이터를 덜 비트로 인코딩하여 압축할 수 있습니다. 압축된 데이터의 공간을 눈치 채는 것이 핵심입니다.One could think of them as the end of a character, so the decoder will not interpret a 마치 A 그들은 다른 것들을 의미한다. 0 1 1 26 29 28 1,0 10 LZW는 일반적으로 일반적인 용도로 오늘날 널리 사용되며 많은 Unix/Linux 기반 운영 체제에 통합되어 있습니다. 또한, LZW와 호환되는 일반적인 파일 형식은 GIF, TIFF 및 PDF입니다.LZW 압축의 다른 응용 프로그램은 자연 언어 처리 분야에서 볼 수 있습니다. . compress NLP에서의 토큰화 NLP에서의 토큰화 RLE, Huffman 코딩 및 LZW 코딩은 일반적인 예일 뿐입니다.Lossless 압축 기술은 위에서 설명한 이 세 가지 (3)를 넘어갑니다. Huffman과 LZW - 특히 LZ77 - 코딩의 조합을 사용합니다. DEFLATE, Lossy Compression 기술 이 섹션에서는 손실 압축의 두 가지 유형을 살펴볼 것입니다.Lossy compression은 원본 데이터에 손실을 가져옵니다.Lossy compression introduces a loss to the original data, meaning that not all data is retained. : 이 압축 방법은 주로 오디오, 이미지 및 비디오 파일에 사용되며 일반적으로 블록 압축이라고도합니다. 그것은 수학적 함수를 사용합니다 - 코시인 함수, 이름에 의하면 - 원래 데이터의 블록을 주파수로 변환합니다. Discrete Cosine Transform (DCT) 압축은 데이터에서 발생하는 높은 주파수를 다루는 경우에 발생합니다.The compression comes in when dealing with the high frequencies occurring in the data, once the raw data is translated into the frequency domain using the mathematical function.The overall process of using DCT for compression is: 
 
 
 
 
 예를 들어, 이미지 압축에서 이것은 8x8 픽셀일 수 있습니다. 수학적 함수를 적용하여 데이터의 조각을 주파수로 변환합니다.This will result in some high frequencies and low frequencies. 그런 다음 높은 주파수는 허용되는 손실 정도에 따라 감소되거나 제거됩니다.이것은 실제로 손실 압축이되는 곳입니다. 다시 표현할 수 있는 데이터로 변환하기 위해, 나머지 모든 주파수는 반대로 분리된 코시인 변환(IDCT)을 통과하여 주파수에서 데이터를 복구한다. DCT는 압축뿐만 아니라 신호 처리뿐만 아니라 오늘날 다양한 분야에서 널리 사용됩니다. DCT와 호환되는 일반적인 파일 형식은 JPEG (사진), MP3 (오디오) 및 MPEG (비디오)입니다. : Fractal은 스스로 반복하는 무한한 패턴으로, 다른 스케일에서 반복됩니다. 스케일의 어느 지점에서 볼 때 패턴은 비슷하게 보입니다. 패턴은 모든 스케일에서 비슷하기 때문에, fractal 압축은 데이터의 크기를 줄이기 위해 '큰'fractals의 스케일을 줄입니다. Fractal Compression Fractals의 예제 Fractal Compression은 1980년대에 Michael Barnsley에 의해 소개되었습니다. 이미지를 사용하는 일반적인 아이디어는 이미지가 비슷하게 보이는 여러 부분을 포함한다면 왜 두 번 저장합니까? 
 
 
 
 
 범위 블록으로 알려진 압축되지 않는 블록으로 이미지를 분할합니다.이 8x8, 16x16 픽셀 등 범위 블록이 될 수 있습니다. 범위 블록을 사용하여 알고리즘은 이러한 범위 블록과 유사한 이미지의 더 큰 섹션을 찾습니다. 이 변환 함수는 스케일링, 번역, 회전 등과 같은 수학적 함수입니다.이 변환은 또한 변환이라고 할 수 있습니다.These transformations are called fractal codes with respect to Fractal Compression. 데이터는 그 변환 함수로 인코딩됩니다.픽셀-픽셀 데이터를 저장하는 대신 변환이 저장됩니다.이 변환은 도메인 블록에서 이미지를 재구성하는 방법을 설명하는 규칙입니다. 이 프로세스는 계산적으로 비용이 많이 들 수 있지만, 다른 압축 기술에 비해 높은 압축 비율을 달성할 수 있습니다. 자기 반복 패턴에 의존하기 때문에, 그러한 자기 반복 패턴을 갖는 데 일치하는 데이터에 더 잘 작동합니다. 이 기술은 일반적으로 이미지, 오디오 및 비디오 파일에 사용되며 특정 형식 또는 파일 형식 - JPEG, MP3 - 각 파일 형식에 적합합니다. 손실 압축은 일반적으로 손실없는 압축보다 더 높은 압축 비율을 가지고 있으며 때로는 사용자가 사전에 입력해야 할 손실의 양을 알고 있다고 기대합니다. 압축 방법과 기술의 선택이 여러 요소에 달려 있음을 강조하는 것이 적절합니다. 박사 : 박사 전체적으로, 이 게시물은 데이터의 세계에서 압축에 대해 논의합니다. 그것은 컴퓨터 과학 및 정보 이론에 대한 기존의 지식 체계에 강하게 의존합니다. 압축하는 것은 단체가 차지하는 볼륨을 줄이는 것을 의미하며, 데이터 분야에서 볼륨은 저장 공간을 의미합니다. 디지털 시스템에서의 압축은 올바르게 수행 될 때 많은 장점을 가지고 있습니다. 명백한 것은 공간을 줄이고 더 많은 데이터를 저장 할 수있는 공간을 제공한다는 것입니다. 다른 장점은 더 빠른 전송, 더 적은 대역폭 사용 및 언급 된 시스템의 효율성에 대한 일반적인 개선을 포함합니다. 압축의 장점을 활용하기 위해서는 사용해야 할 유형을 아는 것이 중요합니다. 압축은 손실 또는 손실없는 것입니다. 손실 압축은 원본 데이터의 손실을 일반적으로 돌이킬 수없는 것으로 나타내며, 손실없는 압축은 데이터를 압축하고 원본 데이터에 포함 된 모든 정보를 보유합니다. 또한 하이브리드 압축 유형에 대한 논쟁이 있지만 손실과 손실없는의 조합이 손실이라고 생각합니다. 마지막으로, 손실 및 손실없는 압축을위한 다른 기술이 도입되었습니다.이 기술의 기술 및 설명 목록은 완전하거나 포괄적이지 않습니다.나는 각 기술이 어떻게 작동하는지에 대한 아이디어를 제공하는 데 좋은 시작이라고 생각합니다. 추가 자원 Video: Data Lake fundamentals - RLE encoding with Parquet in practice 비디오: 데이터 호수 기초 - 실제로 Parquet를 사용한 RLE 인코딩 Paper: A review of data compression techniques Paper: A review of data compression techniques Paper: lossless compression techniques 종이 : 손실없는 압축 기술 A concise introduction to Data Compression by David Salomon 데이터 압축에 대한 간략한 소개 David Salomon Paper: A Study of Various Data Compression Techniques 종이 : 다양한 데이터 압축 기술의 연구 Blog Post: Compression in open file formats 블로그 게시물: 오픈 파일 형식의 압축 Article: Open file formats 상품명 : Open File Format Article: Compression in databases 제목 : Compression in Databases Lossy Compression for Genomic data (RNA) 유전자 데이터(RNA)에 대한 손실 압축

Read My Stories

이 오디오는 이야기의 원래 언어로 제작되었습니다!

빅 데이터의 압축 : 유형과 기술

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

성공적인 클라우드 마이그레이션을 위한 전체 가이드: 전략 및 모범 사례

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

독특한 생태계를 강화하는 비트코인 UTXO 모델

AI의 힘을 발휘하세요. 최첨단 기술의 체계적 검토: 개요 및 소개

성공적인 클라우드 마이그레이션을 위한 전체 가이드: 전략 및 모범 사례

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

독특한 생태계를 강화하는 비트코인 UTXO 모델

AI의 힘을 발휘하세요. 최첨단 기술의 체계적 검토: 개요 및 소개

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps