Pengenalan Artikel ini akan membincangkan kompresi dalam konteks Big Data, meliputi jenis dan kaedah kompresi. 
 
 menyelam dalam menyelam dalam Apa itu kompresi? Menurut definisi bahasa Inggeris umum kompresi, ia merujuk kepada mengurangkan sesuatu untuk mengambil ruang yang lebih kecil. Dalam Sains Komputer, kompresi adalah proses mengurangkan data kepada saiz yang lebih kecil. Data, dalam kes ini, boleh diwakili dalam teks, audio, fail video, dan lain-lain Berfikir tentang ia sebagai apa-apa yang anda simpan pada cakera keras komputer anda, sebagai data yang diwakili dalam format yang berbeza. Terdapat banyak sebab untuk memampatkan data. sebab yang paling biasa dan intuitif ialah untuk menjimatkan ruang penyimpanan. sebab lain adalah akibat daripada data yang lebih kecil. faedah bekerja dengan data yang lebih kecil termasuk: 
 
 
 
 
 Tempoh Penghantaran Data yang Lebih Cepat: Data yang dikompres mempunyai saiz yang lebih kecil dan mengambil masa yang lebih sedikit untuk dihantar dari sumber ke destinasi. Mengurangkan penggunaan lebar pita: Alasan ini sangat dikaitkan dengan kelebihan penghantaran data yang lebih cepat. data yang dikompres menggunakan lebih sedikit lebar pita rangkaian, dengan itu meningkatkan aliran dan mengurangkan latensi. Peningkatan prestasi untuk sistem digital yang sangat bergantung kepada data: Ini jelas dalam sistem yang bergantung kepada pemprosesan data. sistem ini memanfaatkan kompresi untuk meningkatkan prestasi sistem dengan mengurangkan jumlah data yang perlu diproses. Sila ambil perhatian bahawa ini mungkin spesifik sistem dan akan bergantung kepada penggunaan teknik kompresi yang sesuai. teknik kompresi akan dibincangkan kemudian dalam artikel ini. Kenaikan kos: Perkhidmatan awan mengenakan bayaran untuk penyimpanan data.Dengan menggunakan lebih sedikit penyimpanan, penjimatan kos diperkenalkan, terutamanya dalam sistem Big Data. Alasan lain untuk kompresi bergantung kepada teknik dan format kompresi yang berbeza. Sesetengah algoritma enkripsi boleh digunakan sebagai kaedah kompresi. Dengan melakukan ini, ia termasuk lapisan keselamatan untuk sebab-sebab yang dibincangkan sebelum ini untuk memampatkan data. Selain itu, menggunakan format kompresi biasa membawa keserasian dan ruang untuk penyampaian kepada sistem luaran untuk tujuan integrasi. Ia patut dicatat bahawa sebab-sebab pemadaman juga terdengar seperti faedah. Walau bagaimanapun, pemadaman tidak tanpa kompromi. Satu kompromi biasa kepada pemadaman adalah keperluan untuk dekompresi, yang mungkin menjadi masalah untuk sistem yang terhad kepada sumber. kompromi lain bergantung kepada teknik pemadaman dan jenis data yang digunakan. 
 
 Sistem dalam artikel ini merujuk kepada sistem digital yang menggunakan data dan boleh memanfaatkan teknik kompresi.Sistem kata digunakan agak longgar dan perlu ditafsirkan dalam konteks dengan apa yang dibincangkan dalam seksyen itu. Sistem dalam artikel ini merujuk kepada sistem digital yang menggunakan data dan boleh memanfaatkan teknik kompresi.Sistem kata digunakan agak longgar dan perlu ditafsirkan dalam konteks dengan apa yang dibincangkan dalam seksyen itu. Jenis kompresi Untuk membincangkan teknik yang berbeza yang digunakan untuk memampatkan data, saya akan terlebih dahulu mengkategorikan pemampatan ke dalam 2 kategori utama. Artikel ini kemudian akan membincangkan teknik yang berkaitan dengan setiap kategori. dan kepada kompres. Lossy Lossless Apabila nama-nama itu memberi kesan kepada apa yang mereka maksudkan, teknik adalah teknik yang tidak mengekalkan kesetiaan penuh data. Sederhananya, beberapa data dibuang, tetapi tidak mencukupi untuk menjadikan apa yang data mewakili tidak dikenali. Oleh itu, kompresi kerugian boleh menawarkan tahap kompresi yang sangat tinggi berbanding dengan kompresi tanpa kerugian, yang akan diperkenalkan dalam masa yang singkat. Lossy compression Ciri-ciri kompresi rugi adalah bahawa ia adalah tidak dapat dipulihkan, iaitu, apabila disampaikan dengan fail yang dikompres, seseorang tidak boleh memulihkan data mentah dengan kesetiaan asalnya. Sesetengah fail dan format fail sesuai untuk kompresi rugi. Ia biasanya digunakan untuk imej, audio, dan video. Sebagai contoh, imej-imej berformat JPEG memberi manfaat kepada kompresi, dan dengan mengkompres imej JPEG, pencipta atau editor boleh memilih berapa banyak kerugian untuk dimasukkan. Sebaliknya, adalah boleh dipulihkan, yang bermakna bahawa apabila dikompres, semua data disimpan dan dipulihkan sepenuhnya semasa dekompresi. Ini bermakna bahawa kompresi tanpa kerugian adalah sesuai untuk fail-fail seperti teks, dan dalam dunia gudang data dan danau, ia akan menjadi satu-satunya jenis yang relevan untuk digunakan. Sesetengah format fail audio (FLAC dan ALAC) dan imej (GIF, PNG, dan lain-lain) berfungsi dengan baik dengan jenis kompresi ini. lossless compression Memilih kaedah Tiada kaedah kompresi yang terbaik secara amnya. Faktor-faktor yang berbeza terlibat dalam memilih kaedah yang akan sesuai mengikut kes. Untuk menyokong ini dengan contoh, seorang jurutera data dalam industri kewangan yang bekerja pada data jadual yang disimpan cenderung untuk menggunakan kompresi tanpa kerugian kerana kesan data yang hilang dalam mewujudkan laporan yang tepat. Sebagai alternatif, kompresi kerugian boleh menjadi cara untuk pergi dalam mengoptimumkan halaman web dengan banyak imej dengan memampatkan imej dan mengurangkan item beban dengan membuat laman web lebih ringan. Oleh itu, ia adalah penting untuk menjalankan penilaian untuk menentukan kaedah kompresi yang paling sesuai yang selaras dengan keperluan perniagaan. teknik kompresi Seksyen ini hanya akan merangkumi teknik kompresi biasa untuk kompresi tanpa kerugian dan tanpa kerugian. Sila ambil perhatian bahawa ini tidak meluas dalam apa jua cara.Selain itu, teknik yang dibincangkan mungkin mempunyai variasi kecil untuk meningkatkan prestasi mereka, yang disokong oleh penyelidikan yang berbeza. teknik kompresi tanpa kerugian Tiga teknik yang biasa tanpa kerugian adalah Koding Run-Length (RLE), Koding Huffman, dan teknik Lempel-Ziv-Welch. : RLE adalah berdasarkan data pengkodean, sedemikian rupa bahawa ia menggantikan siri data berulang dengan satu keping data dan jumlah keping data itu.Ia berkesan untuk berjalan panjang data berulang.Selain itu, set data yang mempunyai dimensi ( medan) yang disusun dari tahap rendah kepada tahap tinggi kardinaliti mendapat manfaat daripada RLE. Run-Length Encoding Sebagai contoh, ambil string yang mudah seperti RLE memampatkan data untuk menjadi Untuk lebih praktikal, ambil jadual dalam imej di bawah. AAAAABBCDDD A(5)B(2)C(1)D(3) Gambar 1 - sebelum RLE. Ia adalah penting untuk mengamati bahawa tahap kardinalitas meningkat pada medan dari kiri ke kanan Gambar 2 - Selepas RLE Kerana RLE bergantung kepada menjalankan medan berulang, dan dalam contoh kedua, kardinaliti dan urutan urutan data, rekod pada lajur item tidak boleh dikompres kepada hanya kerana lajur terdahulu membahagikan semua nilai kepada dan Sesetengah format fail bersesuaian dengan RLE, seperti format fail bitmap seperti TIFF, BMP, dan lain-lain Fail Parquet juga menyokong RLE, menjadikannya sangat berguna dalam rumah data moden menggunakan storan objek seperti S3 atau GCS. Mouse Mouse (3) IT, Mouse HR, Mouse : Ia didasarkan pada pemodelan statistik yang menetapkan kod panjang variabel kepada nilai dalam data mentah berdasarkan frekuensi di mana mereka berlaku dalam data mentah. Perwakilan pemodelan ini boleh dipanggil pokok Huffman, yang serupa dengan pokok binari. pokok ini kemudian digunakan untuk mencipta kod Huffman untuk setiap nilai dalam data mentah. Algoritma memberi keutamaan kepada pengkodean nilai yang paling kerap dalam bit terkecil yang mungkin. Huffman Coding Mari kita ambil data yang sama yang digunakan dalam contoh RLE Pokok Huffman yang sesuai kelihatan seperti ini. AAAAABBCDDD Pokok Huffman Daripadanya, kita boleh melihat bahawa surat Ia diwakili oleh juga Diterbitkan oleh Dibandingkan dengan surat dan , kita perhatikan bahawa A dan D diwakili oleh kurang bit. Ini kerana mereka mempunyai frekuensi yang lebih tinggi; oleh itu, algoritma Huffman mewakili mereka dengan kurang bit oleh reka bentuk. . A 0 D 10 B: 111 C:110 00000111111110101010 Huffman Coding menggunakan yang menyatakan bahawa Contohnya, kod Huffman yang sah tidak boleh mempunyai huruf c dan d yang diwakili menggunakan dan Oleh kerana perwakilan daripada Ia merupakan prefiks kepada . prefix rule, kod yang mewakili watak tidak boleh hadir dalam prefiks mana-mana kod lain C: 00 D: 000 C D Untuk melihat ini dalam tindakan, Panduan Bidang Sains Komputer mempunyai Anda boleh bermain dengan Pengeluar Pokok Huffman Pengeluar Pokok Huffman : Ia telah dicipta oleh Abraham Lempel, Jacob Ziv, dan Terry Welch pada tahun 1984 dan dinamakan mengikut pencipta, jelas 😅. Sama seperti RLE dan Huffman Coding, LZW berfungsi dengan baik dengan data yang mengandungi banyak data berulang. Algoritma LZW adalah berdasarkan kamus dan mencipta kamus yang mengandungi pasangan nilai kunci corak yang biasa dilihat dalam data mentah. kamus tersebut juga boleh disebut sebagai jadual kod. Menggunakan ilustrasi untuk menjelaskan bagaimana teknik ini berfungsi, mari kita mengambil data mentah kita diwakili oleh Apabila melalui algoritma menggunakan konfigurasi A-Z sebagai nilai yang mungkin, jadual kod yang dihasilkan kelihatan seperti: Lempel–Ziv–Welch Coding ABBABABABA Jadual Kod LZW Daripada jadual kod di atas, terdapat sepasang nilai kunci untuk semua huruf A-Z dan sepasang nilai kunci untuk corak seperti AB, BB, BA, dan ABA. Dengan mempunyai perwakilan yang lebih pendek daripada corak-corak ini, algoritma LZW boleh memampatkan data mentah dengan mengkodnya kepada bit yang lebih sedikit. Ia adalah kunci untuk memperhatikan ruang dalam data yang dikompres. seseorang boleh memikirkan mereka sebagai akhir watak, jadi decoder tidak akan menafsirkan sebagai a kerana mereka bermaksud perkara yang berbeza. 0 1 1 26 29 28 1,0 10 LZW biasanya bertujuan umum dan digunakan secara meluas hari ini. ia disepadukan ke dalam banyak sistem operasi berbasis Unix/Linux di sebalik juga, format fail biasa yang bersesuaian dengan LZW adalah GIF, TIFF, dan PDF. aplikasi lain LZW Kompresi boleh dilihat dalam bidang Pemprosesan Bahasa Asli, seperti yang dibincangkan dalam makalah ini pada . compress Tokenisasi dalam NLP Tokenisasi dalam NLP RLE, Huffman Coding, dan LZW Coding hanyalah contoh biasa. teknik kompresi tanpa kerugian melampaui tiga (3) yang diterangkan di atas. teknik lain termasuk yang menggunakan gabungan Huffman dan LZW - khususnya LZ77 - Koding. DEFLATE, teknik kompresi yang teruk Dalam seksyen ini, kita akan melihat kepada dua jenis kompresi kerugian. Ingat bahawa kompresi kerugian memperkenalkan kerugian kepada data asal, yang bermakna bahawa tidak semua data disimpan. : Kaedah kompresi ini digunakan terutamanya dalam fail audio, imej, dan video dan juga dikenali sebagai kompresi blok. Ia menggunakan fungsi matematik - fungsi cosine, seperti yang dinyatakan oleh namanya - untuk menukar blok data asal kepada frekuensi. Discrete Cosine Transform (DCT) Kompresi datang apabila berurusan dengan frekuensi tinggi yang berlaku dalam data, sebaik sahaja data mentah diterjemahkan ke dalam domain frekuensi menggunakan fungsi matematik. 
 
 
 
 
 Sebagai contoh, dalam kompresi imej, ini boleh menjadi 8x8 piksel. Gunakan fungsi matematik untuk menukar kepingan data kepada frekuensi.Ini akan menghasilkan beberapa frekuensi tinggi dan frekuensi rendah. Frekuensi yang tinggi kemudian dikurangkan atau dihapuskan bergantung kepada tahap kerugian yang boleh diterima yang bersedia diperkenalkan. Untuk menukar semula kepada data yang boleh diwakili, semua frekuensi yang tersisa dihantar melalui Transformasi Cosine Discrete Terbalik - IDCT - untuk memulihkan data daripada frekuensi. DCT digunakan secara meluas dalam pelbagai bidang hari ini, bukan sahaja dalam kompresi tetapi juga dalam pemprosesan isyarat. format fail biasa yang bersesuaian dengan DCT ialah JPEG (gambar), MP3 (audio), dan MPEG (video). Selain itu, DCT boleh mencapai nisbah kompresi yang tinggi, menjadikannya sesuai untuk sistem digital dengan banyak imej, seperti halaman web di Internet. Fraktal ialah corak tak terulang yang berulang pada skala yang berbeza. Apabila dilihat dari mana-mana titik pada skala, corak kelihatan serupa. Oleh kerana corak serupa pada skala apa-apa, kompresi fraktal mengurangkan skala fraktal 'besar' untuk mengurangkan saiz data. Fractal Compression Contoh Fraktal Kompresi fraktal diperkenalkan oleh Michael Barnsley pada tahun 1980-an. Gagasan umum menggunakan imej adalah bahawa jika imej mengandungi beberapa bahagian yang kelihatan sama, mengapa menyimpannya dua kali? 
 
 
 
 
 Pemisahan imej ke dalam blok yang tidak berlapis yang dikenali sebagai blok rentang. Ini boleh menjadi blok rentang 8x8, 16x16 piksel, dan lain-lain. Ia memindai imej untuk corak yang berulang (corak fraktal). Menggunakan blok rentang, algoritma mendapati bahagian-bahagian yang lebih besar daripada imej yang serupa dengan blok rentang ini. Fungsi transform kemudian diterapkan kepada blok domain untuk mendekati blok rentang. fungsi transform ini adalah fungsi matematik seperti skala, terjemahan, rotasi, dan lain-lain Mereka juga boleh dipanggil transformasi. Data kemudian dikodkan kepada fungsi-fungsi transform itu. alih-alih menyimpan data pixel-pixel, transformasi disimpan. Transformasi ini adalah peraturan yang menerangkan bagaimana untuk membina semula imej dari blok domain. Dengan kod fraktal, imej dibina semula menggunakan proses iteratif. Proses ini boleh menjadi mahal secara komputasi, tetapi kompresi fraktal boleh mencapai nisbah kompresi yang tinggi berbanding dengan teknik kompresi lain. Oleh kerana bergantung kepada corak-corak yang mengulangi diri, ia akan berfungsi lebih baik pada data yang sesuai dengan mempunyai corak-corak yang mengulangi diri tersebut. Contohnya ialah fotografi lanskap (imej alam semula jadi) dan imej DNA. Terdapat teknik kompresi yang lain, seperti Diskrete Wavelet Transform, Quantization. teknik ini biasanya digunakan dalam imej, audio, dan fail video dan sesuai untuk jenis atau format fail tertentu - JPEG, MP3 - untuk setiap jenis fail. Kompresi kerugian biasanya mempunyai nisbah kompresi yang lebih tinggi daripada kompresi tanpa kerugian dan kadang-kadang mengharapkan bahawa pengguna tahu jumlah kerugian untuk dimasukkan terlebih dahulu. Ia adalah relevan untuk menekankan bahawa pilihan kaedah dan teknik kompresi bergantung kepada beberapa faktor. Rujukan : DR Secara keseluruhan, post ini membincangkan kompresi dalam dunia data. Ia sangat bergantung kepada badan pengetahuan yang sedia ada dalam sains komputer dan teori maklumat. Untuk kompresi bermakna untuk mengurangkan jumlah entiti yang digunakan, dan dalam bidang data, volume merujuk kepada ruang penyimpanan. Kompresi dalam sistem digital mempunyai banyak kelebihan apabila dilakukan dengan betul. Yang jelas adalah bahawa ia mengurangkan ruang dan memberikan ruang untuk menyimpan lebih banyak data. Kelebihan lain termasuk penghantaran yang lebih cepat, penggunaan bandwidth yang lebih sedikit, dan peningkatan keseluruhan dalam kecekapan sistem tersebut. Ingat, ini adalah apabila dilakukan dengan betul. Untuk memanfaatkan kelebihan kompresi, ia adalah kunci untuk mengetahui jenis yang perlu digunakan. Kompresi adalah sama ada rugi atau rugi. Kompresi rugi memperkenalkan kerugian dalam data asal yang biasanya tidak dapat dipulihkan, manakala kompresi rugi memampatkan data dan mengekalkan semua maklumat yang terkandung dalam data asal. Selain itu, terdapat perbincangan mengenai jenis kompresi hibrid, tetapi saya fikir gabungan rugi dan rugi hanya rugi. Biarkan saya tahu apa yang anda fikirkan dalam komen. Akhirnya, teknik yang berbeza telah diperkenalkan untuk kedua-dua kompresi kerugian dan tanpa kerugian. Senarai teknik dan penjelasan teknik ini tidak meluas atau komprehensif. Saya menganggap mereka hanya permulaan yang baik dalam memberi anda idea tentang bagaimana setiap teknik berfungsi. Untuk membungkus, saya telah menambah sumber tambahan untuk membantu anda menyiasat lebih lanjut dan membaca lebih dalam mengenai kompresi dalam data besar. Sumber tambahan Video: Data Lake fundamentals - RLE encoding with Parquet in practice Video: Dasar Data Lake - pengkodean RLE dengan Parquet dalam amalan Paper: A review of data compression techniques Artikel: Ulasan teknik kompresi data Paper: lossless compression techniques Tag: teknik kompresi tanpa kerugian A concise introduction to Data Compression by David Salomon Pengenalan ringkas kepada Kompresi Data oleh David Salomon Paper: A Study of Various Data Compression Techniques Artikel: Kajian teknik kompresi data yang berbeza Blog Post: Compression in open file formats Blog Post: Kompresi dalam format fail terbuka Article: Open file formats Artikel: Format fail terbuka Article: Compression in databases Artikel: Kompresi dalam pangkalan data Lossy Compression for Genomic data (RNA) Kompresi kerugian untuk data genomik (RNA)

Read My Stories

Audio ini dihasilkan dalam bahasa asal cerita!

Kompresi dalam data besar: jenis dan teknik

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps