Introducción Este artículo discutirá la compresión en el contexto de Big Data, cubriendo los tipos y métodos de compresión. 
 
 Dibujo en Dibujo en ¿Qué es la compresión? Según la definición general inglesa de compresión, se refiere a reducir algo para ocupar un espacio más pequeño. En informática, la compresión es el proceso de reducir los datos a un tamaño más pequeño. Los datos, en este caso, podrían ser representados en texto, audio, archivos de vídeo, etc. Piense en ello como cualquier cosa que almacene en el disco duro de su ordenador, como datos representados en diferentes formatos. Para proporcionar una definición más técnica, la compresión es el proceso de codificar los datos para usar menos bits. Hay varias razones para comprimir datos.La razón más común e intuitiva es ahorrar espacio de almacenamiento.Otras razones son el resultado de que los datos son más pequeños.Los beneficios de trabajar con datos más pequeños incluyen: 
 
 
 
 
 Tiempo de transmisión de datos más rápido: Los datos comprimidos son más pequeños en tamaño y tardan menos tiempo en transmitirse de fuente a destino. Reducción del consumo de ancho de banda: Esta razón está fuertemente ligada a la ventaja de una transmisión de datos más rápida.Los datos comprimidos utilizan menos del ancho de banda de la red, aumentando así la transmisión y reduciendo la latencia. Mejor rendimiento para los sistemas digitales que dependen en gran medida de los datos: Esto es evidente en los sistemas que dependen de los datos de procesamiento. Estos sistemas aprovechan la compresión para mejorar el rendimiento de los sistemas al reducir el volumen de datos que necesitan ser procesados. Tenga en cuenta que esto puede ser específico del sistema y dependerá del uso de la técnica de compresión adecuada. Eficiencia de costes: los servicios de nube cobran por el almacenamiento de datos. Al utilizar menos almacenamiento, se introducen ahorros de costes, especialmente en los sistemas de Big Data. Otras razones para la compresión dependen de diferentes técnicas y formatos de compresión. Algunos algoritmos de cifrado se pueden utilizar como un método de compresión. Al hacerlo, incluye una capa de seguridad para las razones discutidas anteriormente para comprimir datos. Además, el uso de formatos de compresión comunes aporta compatibilidad y espacio para la extensibilidad a los sistemas externos para fines de integración. Vale la pena señalar que las razones para la compresión también suenan como beneficios. Sin embargo, la compresión no es sin compromisos. Uno de los compromisos comunes a la compresión es la necesidad de descompresión, que puede ser preocupante para los sistemas con recursos restringidos. Otros compromisos dependen de la técnica de compresión y el tipo de datos que se utilice. 
 
 Los sistemas en el artículo se refieren a los sistemas digitales que hacen uso de datos y pueden aprovechar las técnicas de compresión.Los sistemas de palabras se usan bastante suavemente y deben ser interpretados en el contexto con lo que se está discutiendo en esa sección. Los sistemas en el artículo se refieren a los sistemas digitales que hacen uso de datos y pueden aprovechar las técnicas de compresión.Los sistemas de palabras se usan bastante suavemente y deben ser interpretados en el contexto con lo que se está discutiendo en esa sección. Tipos de compresión Para discutir las diferentes técnicas utilizadas para comprimir datos, primero categorizaré la compresión en 2 categorías principales. Este artículo discutirá luego las técnicas relevantes para cada categoría. y de compresión. Lossy Lossless Como los nombres dejan pasar lo que ya significan, técnicas son técnicas que no conservan la plena fidelidad de los datos. En pocas palabras, algunos datos son descartados, pero no lo suficiente para hacer lo que los datos representan no reconocible. Por lo tanto, la compresión perdida puede ofrecer un nivel muy alto de compresión en comparación con la compresión sin pérdidas, que se introducirá pronto. Lossy compression Una característica de la compresión perdida es que es irreversible, es decir, cuando se presenta con el archivo comprimido, uno no puede restaurar los datos crudos con su fidelidad original. Ciertos archivos y formatos de archivo son adecuados para la compresión perdida. Se utiliza típicamente para imágenes, audio y videos. Por ejemplo, las imágenes en formato JPEG prestan bien a la compresión, y al comprimir una imagen JPEG, el creador o editor puede elegir cuánta pérdida introducir. Por otro lado, es reversible, lo que significa que cuando se comprime, todos los datos se conservan y se recuperan completamente durante la descompresión. Esto implica que la compresión sin pérdidas es adecuada para archivos de texto, y en el mundo del almacén de datos y el lago, sería el único tipo relevante para usar. Algunos formatos de archivos de audio (FLAC y ALAC) y de imagen (GIF, PNG, etc.) funcionan bien con este tipo de compresión. lossless compression Elegir un método No hay un método general de compresión mejor. Diferentes factores van en la elección de qué método sería adecuado en base a un caso por caso. Para reforzar esto con ejemplos, un ingeniero de datos en la industria financiera que trabaja en los datos de tablas almacenados tendría la tendencia a utilizar la compresión sin pérdidas debido al impacto de los datos faltantes en la creación de informes precisos. Alternativamente, la compresión sin pérdidas podría ser la forma de optimizar la página web con muchas imágenes comprimiendo las imágenes y reduciendo los elementos de carga haciendo que el sitio web sea más ligero. Por lo tanto, es crucial llevar a cabo una evaluación para determinar el método de compresión más adecuado que se alinea con los requisitos de negocio. Técnicas de compresión Esta sección solo cubrirá las técnicas de compresión comunes para la compresión sin pérdidas y sin pérdidas. Tenga en cuenta que esto no es de ninguna manera exhaustivo. Además, las técnicas discutidas pueden tener pequeñas variaciones para mejorar su rendimiento, respaldado por diferentes investigaciones. Técnicas de compresión sin pérdidas Tres técnicas comunes sin pérdidas son la codificación Run-Length (RLE), la codificación Huffman y las técnicas Lempel-Ziv-Welch. RLE se basa en la codificación de datos, de tal forma que reemplaza las secuencias de datos repetidos con un solo pedazo de datos y el número de ese pedazo de datos.Es eficaz para largas ejecuciones de datos repetidos.También, los conjuntos de datos que tienen dimensiones (campos) que se ordenan de un nivel bajo a un nivel alto de cardinalidad se benefician de RLE. Run-Length Encoding Por ejemplo, tomemos una cadena sencilla como RLE comprime los datos para convertirse en Para ser más práctico, tome una tabla en la imagen de abajo. AAAAABBCDDD A(5)B(2)C(1)D(3) Figura 1 - antes de RLE. Es importante observar que el nivel de cardinalidad está aumentando en los campos de izquierda a derecha Figura 2 - Después de RLE Debido a que RLE depende de las rutas de campos repetidos, y en el segundo ejemplo, la cardinalidad y el orden de orden de los datos, el El registro en la columna de elementos no puede ser comprimido a porque la columna anterior divide todos los valores en y Ciertos formatos de archivo son compatibles con RLE, como formatos de archivo de bitmap como TIFF, BMP, etc. Los archivos de parquet también soportan RLE, lo que lo hace muy útil en los lagos de datos modernos que utilizan almacenamiento de objetos como S3 o GCS. Mouse Mouse (3) IT, Mouse HR, Mouse : Se basa en la modelización estadística que asigna los códigos de longitud variable a los valores en los datos crudos basándose en la frecuencia a la que ocurren en los datos crudos. La representación de esta modelización se puede referir a un árbol de Huffman, que es similar a un árbol binario. Este árbol se utiliza para crear un código de Huffman para cada valor en los datos crudos. Huffman Coding Tomemos los mismos datos utilizados en el ejemplo RLE El árbol Huffman correspondiente se ve así. AAAAABBCDDD El árbol Huffman Desde el árbol podemos ver que la letra Está representado por Igualmente Está presentado por En comparación con las cartas y , observamos que A y D están representados por menos bits. Esto es porque tienen una frecuencia más alta; por lo tanto, el algoritmo de Huffman los representa con menos bits por diseño. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding utiliza el Quien afirma que Por ejemplo, un código Huffman válido no puede tener las letras c y d representadas usando y Porque la representación de Es un prefijo de . prefix rule, El código que representa un caracter no debe estar presente en el prefijo de cualquier otro código. C: 00 D: 000 C D Para ver esto en acción, la Guía de campo de Ciencias de la Computación tiene un Puedes jugar con. Generador de árboles Huffman Generador de árboles Huffman : Fue creado por Abraham Lempel, Jacob Ziv y Terry Welch en 1984 y es nombrado después de los creadores, obviamente 😅. Similar a RLE y Huffman Coding, LZW funciona bien con datos que contienen muchos datos repetidos. El algoritmo LZW es basado en diccionario y crea un diccionario que contiene pares de valores clave de patrones comúnmente vistos en los datos crudos. Tal diccionario también puede ser referido como la tabla de código. Usando una ilustración para explicar cómo funciona esta técnica, tomemos nuestros datos crudos para ser representados por Cuando se pasa por el algoritmo utilizando una configuración de A-Z como valores posibles, la tabla de código resultante se ve como: Lempel–Ziv–Welch Coding ABBABABABA Tabla de Código LZW Desde la tabla de código anterior, hay un par de valores clave para todas las letras A-Z y pares de valores clave para patrones como AB, BB, BA y ABA. Al tener una representación más corta de estos patrones, el algoritmo LZW puede comprimir los datos crudos codificándolos en menos bits. Es clave notar los espacios en los datos comprimidos.Se podría pensar en ellos como el final de un carácter, por lo que el decodificador no interpretará un como a Como quieren decir cosas diferentes. 0 1 1 26 29 28 1,0 10 LZW es generalmente de propósito general y se utiliza ampliamente hoy en día. está integrado en muchos sistemas operativos basados en Unix/Linux detrás de la Además, los formatos de archivo comunes compatibles con LZW son GIF, TIFF y PDF. Otras aplicaciones de LZW Compression se pueden ver en el campo del Procesamiento de Lenguaje Natural, como se discute en este artículo sobre . compress tokenization in NLP Tokenización en NLP RLE, Huffman Coding y LZW Coding son sólo ejemplos comunes. técnicas de compresión sin pérdidas van más allá de estos tres (3) descritos anteriormente. que utiliza una combinación de Huffman y LZW - específicamente LZ77 - Codificación. DEFLATE, Técnicas de compresión perdida En esta sección, examinaremos dos tipos de compresión perdida. Recuerde que la compresión perdida introduce una pérdida a los datos originales, lo que significa que no todos los datos se conservan. Este método de compresión se utiliza principalmente en archivos de audio, imagen y vídeo y también se conoce comúnmente como compresión de bloques. Utiliza una función matemática - la función cosina, como su nombre lo indica - para convertir bloques de los datos originales en frecuencias.Los bloques de datos son generalmente una matriz de 8x8, 4x4, y así sucesivamente, en ese orden de magnitud. Discrete Cosine Transform (DCT) La compresión se produce cuando se trata de las altas frecuencias que ocurren en los datos, una vez que los datos brutos se traducen al dominio de frecuencia utilizando la función matemática. 
 
 
 
 
 Por ejemplo, en la compresión de imagen, esto podría ser 8x8 píxeles. Aplicar la función matemática para convertir los pedazos de datos en frecuencias. Esto resultará en algunas frecuencias altas y bajas. Las altas frecuencias se reducen o eliminan dependiendo del grado aceptable de pérdida que uno esté dispuesto a introducir. Para convertir de nuevo a datos representables, todas las frecuencias restantes se pasan a través de una transformación de cosina discreta inversa - IDCT - para restaurar los datos de las frecuencias. DCT se utiliza ampliamente en diferentes campos hoy en día, no sólo en la compresión sino también en el procesamiento de señales. Formatos de archivo comunes compatibles con DCT son JPEG (imágenes), MP3 (audio), y MPEG (vídeo). Además, DCT puede lograr altas proporciones de compresión, lo que lo convierte en adecuado para sistemas digitales con muchas imágenes, como páginas web en Internet. Un fractal es un patrón infinito que se repite en diferentes escalas. Cuando se ve desde cualquier punto de la escala, el patrón se ve similar. Debido a que los patrones son similares en cualquier escala, la compresión fractal reduce la escala de los fractales "grandes" para reducir el tamaño de los datos. Fractal Compression Ejemplos de fractales La compresión fractal fue introducida por Michael Barnsley en la década de 1980.La idea general de usar una imagen es que si una imagen contiene varias partes que parecen iguales, ¿por qué almacenarlas dos veces? 
 
 
 
 
 Particiones de la imagen en bloques no superpuestos conocidos como bloques de rango. Esto podría ser bloques de rango de 8x8, 16x16 píxeles, etc. Escansa la imagen para encontrar patrones auto-repetitivos (patrones fractales). Usando los bloques de rango, el algoritmo encuentra secciones más grandes de la imagen que son similares a estos bloques de rango. A continuación, se aplica una función de transformación al bloque de dominio para aproximar los bloques de rango. Estas funciones de transformación son funciones matemáticas como escalado, traducción, rotación, etc. También se pueden denominar transformaciones. En lugar de almacenar los datos de píxel-pixel, se almacenan las transformaciones.Estas transformaciones son las reglas que describen cómo reconstruir la imagen de los bloques de dominio. Con los códigos fractales, la imagen se reconstruye utilizando un proceso iterativo. Este proceso puede ser computacionalmente caro, pero la compresión fractal podría lograr una alta proporción de compresión en comparación con otras técnicas de compresión. Debido a su dependencia de patrones auto-repetitivos, funcionaría mejor en los datos que se ajustan a tener tales patrones auto-repetitivos. Existen otras técnicas de compresión de pérdida, como el Discrete Wavelet Transform, Quantization. Estas técnicas se utilizan generalmente en archivos de imagen, audio y vídeo y son adecuadas para ciertos tipos o formatos de archivo - JPEG, MP3 - para cada tipo de archivo. La compresión de pérdida generalmente tiene una tasa de compresión más alta que la compresión sin pérdida y a veces espera que el usuario conozca la cantidad de pérdida a introducir de antemano. Es pertinente subrayar que la elección del método y la técnica de compresión depende de varios factores. Título: DR En general, este post discute la compresión en el mundo de los datos. Se basa fuertemente en el cuerpo existente de conocimiento en ciencias de la computación y la teoría de la información. Comprimir significa reducir el volumen que ocupa una entidad, y en el campo de los datos, el volumen se refiere al espacio de almacenamiento. La compresión en los sistemas digitales tiene muchas ventajas cuando se hace correctamente. Lo obvio es que reduce el espacio y da espacio para almacenar más datos. Otras ventajas incluyen transmisión más rápida, menor uso de ancho de banda, y mejora general en la eficiencia de dicho sistema. Recuerde, esto es cuando se hace correctamente. Para aprovechar las ventajas de la compresión, es clave saber qué tipo utilizar. La compresión es perdida o sin pérdida. La compresión perdida introduce una pérdida en los datos originales que generalmente es irreversible, mientras que la compresión sin pérdida comprime los datos y retiene toda la información contenida en los datos originales. Además, hay discurso sobre los tipos de compresión híbrida, pero creo que una combinación de perdida y sin pérdida es simplemente perdida. Déjame saber lo que piensas en los comentarios. Por último, se introdujeron diferentes técnicas para la compresión sin pérdidas y sin pérdidas. La lista de técnicas y explicaciones de estas técnicas no es ni exhaustiva ni exhaustiva. Yo las considero sólo un buen comienzo en darle una idea de cómo funciona cada técnica. Recursos adicionales Video: Data Lake fundamentals - RLE encoding with Parquet in practice Vídeo: Fundamentos del lago de datos - codificación RLE con Parquet en la práctica Paper: A review of data compression techniques Documento: Revisión de las técnicas de compresión de datos Paper: lossless compression techniques Técnicas de compresión sin pérdidas A concise introduction to Data Compression by David Salomon Introducción a la compresión de datos de David Salomon Paper: A Study of Various Data Compression Techniques Documento: Un estudio de varias técnicas de compresión de datos Blog Post: Compression in open file formats Blog Post: Compresión en formatos de archivo abiertos Article: Open file formats Artículo principal: Formatos de archivo abiertos Article: Compression in databases Artículo principal: Compresión en bases de datos Lossy Compression for Genomic data (RNA) Compresión de la pérdida de datos genómicos (RNA)

Read My Stories

Este audio es producido en el idioma original de la historia!

Compresión en Big Data: tipos y técnicas

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Una breve introducción a la teoría del cerebro de Boltzmann

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Una breve introducción a la teoría del cerebro de Boltzmann

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps