Компресија во големи податоци: видови и техники

Воведување Оваа статија ќе разговара за компресија во контекст на големите податоци, покривајќи ги видовите и методите на компресија. Движење во Движење во Што е компресија? Според општата англиска дефиниција на компресија, тоа се однесува на намалување на нешто за да заземе помал простор. Во компјутерски науки, компресија е процес на намалување на податоците на помала големина. Податоците, во овој случај, може да се претстават во текст, аудио, видео датотеки, итн Размислете за тоа како нешто што го складирате на хард дискот на вашиот компјутер, како податоци претставени во различни формати. За да обезбеди повеќе техничка дефиниција, компресија е процес на кодирање на податоците за да користите помалку битови. Постојат повеќе причини за компресија на податоците. Најчестата и интуитивна причина е заштеда на простор за складирање. Други причини се резултат на тоа што податоците се помали. Побрзо време за пренос на податоци: Компресираните податоци се помали по големина и имаат помалку време да се пренесат од извор до дестинација. Намалена потрошувачка на опсег: Оваа причина е силно поврзана со предноста на побрзиот пренос на податоци.Компресирани податоци користат помалку од опсегот на мрежата, со што се зголемува пропустот и се намалува латенцијата. Подобрување на перформансите за дигитални системи кои многу се потпираат на податоци: Ова е очигледно во системите кои се потпираат на обработка на податоци. Овие системи ја искористуваат компресијата за да ги подобрат перформансите на системите со намалување на обемот на податоци што треба да се обработуваат. Ве молиме имајте на ум дека ова може да биде специфично за системот и ќе зависи од употребата на соодветна техника на компресија. Ефикасност на трошоците: Облачните услуги наплаќаат за складирањето на податоците.Со користење на помалку складирање, се воведуваат заштеди на трошоците, особено во системи со големи податоци. Други причини за компресија зависат од различни техники и формати за компресија. Некои алгоритми за енкрипција може да се користат како метод на компресија. Со тоа, вклучува слој на безбедност за претходно дискутираните причини за компресија на податоците. Покрај тоа, користењето на заеднички формати за компресија доведува до компатибилност и простор за екстензибилност на надворешните системи за цели на интеграција. Вреди да се напомене дека причините за компресија исто така звучат како бенефиции. Сепак, компресијата не е без компромиси. Еден заеднички компромис за компресија е потребата за декомпресија, која може да биде загрижувачка за системите со ограничени ресурси. Други компромиси зависат од техниката на компресија и видот на податоците што се користат. Системите во статијата се однесуваат на дигитални системи кои користат податоци и можат да ги искористат техниките на компресија. Системите во статијата се однесуваат на дигитални системи кои користат податоци и можат да ги искористат техниките на компресија. Типови на компресија За да ги дискутираме различните техники што се користат за компресија на податоци, прво ќе ја категоризираме компресијата во 2 главни категории. Оваа статија потоа ќе ги дискутира техниките релевантни за секоја категорија. и на компресија. Lossy Lossless Кога имињата го даваат она што веќе го значат, Техниките се техники кои не ја задржуваат целосната верност на податоците. Едноставно кажано, некои податоци се отфрлаат, но не доволно за да се направи она што податоците го претставуваат непознат. Lossy compression Една карактеристика на компресија со загуба е тоа што е неповратна, т.е. кога е претставена со компресираната датотека, не може да се обноват суровите податоци со својата оригинална верност. Одредени датотеки и формати на датотеки се погодни за компресија со загуба. Обично се користи за слики, аудио и видеа. На пример, JPEG форматираните слики се добри за компресија, а со компресирање на JPEG сликата, креаторот или уредникот може да избере колку загуба да внесе. Од друга страна, е реверзибилен, што значи дека кога ќе се компресира, сите податоци се зачувуваат и целосно се враќаат за време на декомпресијата. Ова подразбира дека без загуба компресијата е погодна за текстуални датотеки, а во светот на складиштето на податоци и езерото, тоа ќе биде единствениот релевантен тип за употреба. Некои аудио (FLAC и ALAC) и слика датотеки (GIF, PNG, итн.) формати работат добро со овој тип на компресија. lossless compression Избор на метод Не постои општ најдобар метод за компресија. Различни фактори одат во изборот на кој метод ќе биде соодветен од случај до случај. За да го поткрепите ова со примери, инженерот за податоци во финансиската индустрија кој работи на складирани табеларни податоци ќе има тенденција да користи компресија без загуби поради влијанието на недостасуваните податоци при креирање на точни извештаи. Алтернативно, компресијата со загуби може да биде начин да се оди во оптимизирање на веб-страницата со многу слики со компресирање на сликите и намалување на оптоварувањето со олеснување на веб-страницата. Затоа, клучно е да се спроведе проценка за да се одреди најсоодветниот метод за компресија кој е во согласност со барањата на бизнисот. Техника на компресија Овој дел ќе ги опфати само вообичаените техники за компресија за компресија без загуба и без загуба. Ве молиме имајте на ум дека ова во никој случај не е исцрпувачко. Покрај тоа, техниките што се дискутираат може да имаат мали варијации за да ги подобрат своите перформанси, како што е поддржано од различни истражувања. Техники за компресија без загуби Три заеднички техники без загуби се Run-Length Encoding (RLE), Huffman Coding и Lempel-Ziv-Welch техники. RLE се базира на кодирање на податоци, така што ги заменува последователностите на повторувачки податоци со еден дел од податоците и бројот на тој дел од податоците.Тоа е ефективно за долги извршувања на повторувачки податоци. Run-Length Encoding На пример, земете едноставна низа како RLE ги компресира податоците за да станат За да бидете попрактични, земете маса на сликата подолу. AAAAABBCDDD A(5)B(2)C(1)D(3) Слика 1 - пред RLE. Важно е да се забележи дека нивото на кардиналност се зголемува на полињата од лево на десно Слика 2 - По RLE Бидејќи RLE зависи од извршувањата на повторувачките полиња, а во вториот пример, кардиналноста и редоследот на сортирање на податоците, записот на колоната на елементот не може да се компресира само бидејќи претходната колона ги дели сите вредности во и Одредени формати на датотеки се компатибилни со RLE, како што се формати на битографски датотеки како TIFF, BMP, итн. Паркетните датотеки, исто така, го поддржуваат RLE, што го прави многу корисен во современите data lakehouses кои користат објектно складирање како S3 или GCS. Mouse Mouse (3) IT, Mouse HR, Mouse : Тоа се базира на статистичко моделирање кое доделува кодови со променлива должина на вредностите во суровите податоци врз основа на фреквенцијата со која тие се јавуваат во суровите податоци. Репрезентацијата на ова моделирање може да се нарече дрво Хафман, кое е слично на бинарното дрво. Huffman Coding Да ги земеме истите податоци што се користат во примерот RLE Соодветното дрво Хафман изгледа вака. AAAAABBCDDD Дрвото Хафман Од дрвото можеме да видиме дека писмото е претставен од Исто така е претставен од Во споредба со писма и , забележуваме дека А и Д се претставени со помалку битови.Тоа е затоа што тие имаат повисока фреквенција; оттука, алгоритмот на Хафман ги претставува со помалку битови според дизајнот. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding го користи Кои тврдат дека На пример, валиден Huffman код не може да има букви c и d претставени со користење на и Бидејќи претставувањето на Тоа е префикс на . prefix rule, Кодот што претставува карактер не треба да биде присутен во префиксот на кој било друг код. C: 00 D: 000 C D За да го видите ова во акција, Компјутерски науки Поле Водич има Можете да играте со. Huffman дрво генератор Huffman дрво генератор : Тоа беше создаден од страна на Абрахам Лемпл, Џејкоб Зив, и Тери Велч во 1984 година и е именуван по креаторите, очигледно 😅. Слично на RLE и Huffman кодирање, LZW работи добро со податоци кои содржат многу повторувачки податоци. Алгоритам на LZW е базиран на речник и создава речник кој содржи клучни вредности парови на вообичаено видени модели во суровите податоци. Таквиот речник исто така може да се нарече табела на код. Користење на илустрација за да се објасни како оваа техника работи, ајде да ги земеме нашите сурови податоци да бидат претставени од Кога се поминува низ алгоритам со користење на конфигурација од А-З како можни вредности, добиената табела со кодови изгледа како: Lempel–Ziv–Welch Coding ABBABABABA Табела на кодови LZW Од табелата на кодот погоре, постои пар на клучни вредности за сите букви А-З и парови на клучни вредности за шаблони како што се AB, BB, BA и ABA. Со пократко претставување на овие шаблони, алгоритмот на LZW може да ги компресира суровите податоци со кодирање на помалку битови. Клучот е да се забележат празнините во компресираните податоци. Може да се размислува за нив како за крајот на карактер, така што декодерот нема да интерпретира како а Како што значат различни работи. 0 1 1 26 29 28 1,0 10 LZW е обично за општа намена и широко се користи денес.Тоа е интегриран во многу Unix / Linux базирани оперативни системи зад Исто така, вообичаени формати на датотеки компатибилни со LZW се GIF, TIFF и PDF. Други апликации на LZW компресија може да се види во областа на обработка на природен јазик, како што е дискутирано во овој документ на . compress Токенизација во NLP Токенизација во NLP RLE, Huffman Coding и LZW Coding се само вообичаени примери. техники за компресија без загуба одат подалеку од овие три (3) опишани погоре. Други техники вклучуваат кој користи комбинација на Huffman и LZW - конкретно LZ77 - кодирање. DEFLATE, Техника на загуба на компресија Во овој дел, ќе разгледаме два типа на компресија со загуба.Се сеќавам дека компресијата со загуба воведува загуба на оригиналните податоци, што значи дека не се чуваат сите податоци. : Овој метод на компресија се користи главно во аудио, слики и видео датотеки и исто така се нарекува блок компресија. Тоа користи математичка функција - козина функција, како што имплицира името - да се конвертираат блокови на оригиналните податоци во фреквенции. Discrete Cosine Transform (DCT) Компресијата доаѓа кога се занимаваме со високите фреквенции кои се случуваат во податоците, откако суровите податоци се преведуваат во фреквенцискиот домен користејќи ја математичката функција. На пример, во компресијата на сликата, ова би можело да биде 8x8 пиксели. Користете математичка функција за да ги конвертирате парчињата од податоците во фреквенции. Високите фреквенции потоа се намалуваат или отстрануваат во зависност од прифатливиот степен на губење кој некој е подготвен да го воведе. За да се конвертираат назад во репродуктивни податоци, сите преостанати фреквенции се пренесуваат преку Инверзна дискретна козинска трансформација - IDCT - за да се обноват податоците од фреквенциите. DCT е широко се користи во различни области денес, не само во компресија, но исто така и во обработка на сигнали. Вообичаени формати на датотеки компатибилни со DCT се JPEG (слики), MP3 (аудио) и MPEG (видео). Покрај тоа, DCT може да постигне високи стапки на компресија, што го прави погоден за дигитални системи со многу слики, како веб-страници на Интернет. Фрактал е само-повторлив бесконечен модел кој се повторува на различни скали. Кога се гледа од која било точка на скалата, шемата изгледа слично. Бидејќи шемите се слични на која било скала, фракталната компресија ја намалува скалата на "големите" фрактали за да ја намали големината на податоците. Fractal Compression Примери за фракции Фракталната компресија е воведена од Мајкл Барнсли во 1980-тите. Општата идеја со користење на сликата е дека ако сликата содржи неколку делови кои изгледаат исто, зошто да ги зачувате двапати? Поделби на сликата во не-поврзувачки блокови познати како опсег блокови. Ова може да биде опсег блокови од 8x8, 16x16 пиксели, итн. Се скенира сликата за самоповторувачки обрасци (фрактални обрасци). Користејќи ги блоковите од опсегот, алгоритмот наоѓа поголеми делови од сликата кои се слични на овие блокови од опсегот. Овие трансформации се математички функции како што се скалирање, превод, ротација, итн. Тие исто така може да се наречат трансформации. Потоа податоците се кодираат за тие трансформации. Наместо да се чуваат податоците пиксел-пиксел, трансформациите се чуваат. Овие трансформации се правилата кои опишуваат како да се реконструира сликата од доменските блокови. Со фракталните кодови, сликата се реконструира со користење на итеративен процес. Овој процес може да биде компјутерски скап, но фракталната компресија може да постигне висок процент на компресија во споредба со другите техники на компресија. Поради својата зависност од самоповторувачки обрасци, ќе работи подобро на податоци кои се во согласност да имаат такви самоповторувачки обрасци. Примери би биле пејзажни фотографии (слики од природата) и ДНК слики. Постојат и други техники за компресија со губење, како што се Discrete Wavelet Transform, Quantization.Овие техники обично се користат во слики, аудио и видео датотеки и се погодни за одредени типови или формати на датотеки - JPEG, MP3 - за секој тип на датотека. Губење компресија обично има повисоки стапки на компресија од без губење компресија и понекогаш очекува корисникот да знае износот на губење да се внесе однапред. Тоа е релевантно да се нагласи дека изборот на метод и техника на компресија зависи од неколку фактори. Др ; Др Општо земено, овој пост дискутира за компресија во светот на податоците. Таа силно се потпира на постоечкото тело на знаење во компјутерската наука и информатичката теорија. Да се компресира значи да се намали обемот што го зафаќа ентитетот, а во областа на податоците, обемот се однесува на просторот за складирање. Компресијата во дигиталните системи има многу предности кога е направена правилно. Очигледно е дека го намалува просторот и дава простор за складирање на повеќе податоци. Други предности вклучуваат побрз пренос, помалку користење на опсегот и општо подобрување на ефикасноста на споменатиот систем. За да ги искористите предностите на компресијата, клучно е да знаете кој тип да го користите. Компресијата е или губење или без губење. Компресијата со губење воведува губење на оригиналните податоци кои обично се неповратни, додека компресијата без губење ги компресира податоците и ги задржува сите информации содржани во оригиналните податоци. Покрај тоа, постои дискурс за хибридните типови на компресија, но мислам дека комбинацијата на губење и без губење е само губење. Конечно, беа воведени различни техники за компресија без загуби и без загуби. Листата на техники и објаснувања на овие техники не е ниту исцрпна ниту сеопфатна. Сметам дека тие се само добар почеток во давањето на идеја за тоа како секоја техника работи. Дополнителни ресурси Video: Data Lake fundamentals - RLE encoding with Parquet in practice Видео: Основи на Data Lake - RLE кодирање со Parquet во пракса Paper: A review of data compression techniques Документ: Преглед на техниките за компресија на податоци Paper: lossless compression techniques Папир: техника на без загуба компресија A concise introduction to Data Compression by David Salomon Кратко воведување на компресија на податоци од Дејвид Саломон Paper: A Study of Various Data Compression Techniques Документ: Студија на различни техники за компресија на податоци Blog Post: Compression in open file formats Блог пост: Компресија во отворени формати на датотеки Article: Open file formats Категорија:Отворени формати на датотеки Article: Compression in databases Категорија:Компресија во бази на податоци Lossy Compression for Genomic data (RNA) Загуба компресија за геномски податоци (РНК)