Ten artykuł został oryginalnie opublikowany w New Stack. Porównaj Apache Iceberg, Delta Lake i Apache Hudi i dowiedz się, jak wybrać odpowiedni format tabeli otwartej dla Twojego jeziora danych. Formaty otwartych tabel i przechowywanie obiektów zmieniają sposób, w jaki organizacje tworzą swoje systemy danych, tworząc fundament skalowalnych, wydajnych i bezpiecznych dla przyszłości magazynów danych. Wykorzystując unikalne zalety przechowywania obiektów – skalowalność, elastyczność i opłacalność – wraz z zaawansowanymi możliwościami zarządzania metadanymi w formatach otwartych tabel, takich jak Apache Iceberg, Delta Lake i Apache Hudi, organizacje mogą tworzyć architektury modułowe, które spełniają wymagania nowoczesnych obciążeń danych. Object storage służy jako podstawa, oferując bezproblemowe zarządzanie danymi strukturalnymi, półstrukturalnymi i niestrukturalnymi, podczas gdy formaty otwartych tabel działają jako warstwa abstrakcji metadanych, umożliwiając funkcje podobne do bazy danych, takie jak schematy, partycje i atomiczność, spójność, izolacja i trwałość (ACID). silniki komputerowe, takie jak Spark, Presto, Trino i Dremio, współdziałają z tymi formatami tabel, zapewniając elastyczność w przetwarzaniu i analizowaniu danych na skalę bez blokady dostawcy. Ten przewodnik pogłębi rolę otwartych formatów tabel i przechowywania obiektów w budowie nowoczesnych magazynów danych. Będę badać ich ewolucję, porównywać wiodące formaty tabel i podkreślać uwagi dotyczące wydajności, które optymalizują architekturę dla zaawansowanych analiz i obciążeń roboczych AI. Where Open Table Formats Fit In Gdzie formaty otwartego stołu pasują Gdzie formaty otwartego stołu pasują Nowoczesna architektura jeziora danych opiera się na trzech kluczowych komponentach: warstwie pamięci masowej, formacie otwartego stołu i silnikach obliczeniowych. Ta modułowa konstrukcja została zoptymalizowana, aby w pełni wykorzystać skalowalność i efektywność kosztów przechowywania obiektów, wykorzystując jednocześnie formaty otwartego stołu do bezproblemowego zarządzania metadanymi i interoperacyjności w różnych silnikach obliczeniowych. Podstawą jest warstwa przechowywania obiektów, która zapewnia skalowalne i elastyczne przechowywanie danych strukturalnych, półstrukturalnych i niestrukturyzowanych. W warstwie przechowywania znajdują się formaty otwartych tabel, które mogą być Apache Iceberg, Delta Lake lub Apache Hudi. Te formaty otwartych tabel działają jako warstwa abstrakcji metadanych, zapewniając funkcje podobne do bazy danych, w tym schematy, partycje i wersje, a także zaawansowane funkcje, takie jak transakcje ACID, ewolucja schematu i podróże w czasie. Evolution of Data Architectures Ewolucja architektury danych Wczesne systemy takie jak bazy danych przetwarzania transakcji online (OTLP) priorytetowały integralność transakcji, ale brakowało możliwości analitycznych. Jeziora danych pojawiły się, aby rozwiązać te ograniczenia, oferując skalowalne przechowywanie dla różnych typów danych i możliwości odczytu schematu.Lecz brak gwarancji transakcyjnych w jeziorach danych pobudził rozwój jezior danych, które integrują mocne strony jezior danych i magazynów danych w jednolitą architekturę. Lakehouses są zbudowane na otwartych formatach tabel i obiektach pamięci masowej i są całkowicie odłączone, co oznacza, że są zbudowane z modułowych komponentów. Why Open Table Formats Are Ideal for Object Storage Dlaczego formaty otwartych tabel są idealne do przechowywania obiektów Architektury magazynów danych są celowo zaprojektowane w celu wykorzystania skalowalności i efektywności kosztowej systemów magazynowania obiektów, takich jak Amazon Web Services (AWS) S3, Google Cloud Storage i Azure Blob Storage. Kluczowe cechy architektury jeziora danych na obiekcie przechowywania obejmują: Jednolita warstwa przechowywania: Korzystając z przechowywania obiektów, magazyny danych mogą przechowywać ogromne ilości danych w swoim oryginalnym formacie, eliminując potrzebę złożonych transformacji danych przed przechowywaniem. Skalowalność: systemy magazynowania obiektów są z natury skalowalne, co pozwala magazynom danych przystosować się do rosnących ilości danych bez znaczących zmian infrastrukturalnych. Elastyczność: Najlepsze w swojej klasie przechowywanie obiektów można wdrożyć w dowolnym miejscu – w pomieszczeniach, w chmurach prywatnych, w chmurach publicznych, w obiektach kolokacji, w centrach danych i na krawędzi. Integrując te elementy, architektury jezior danych oferują kompleksowe rozwiązanie, które łączy w sobie mocne strony jezior danych i magazynów danych.Ta konstrukcja ułatwia efektywne przechowywanie danych, zarządzanie i analizę, wszystko zbudowane na podstawie skalowalnych i elastycznych systemów przechowywania obiektów. Open Table Formats Defined Otwarte formaty tabel zdefiniowane Format otwartej tabeli jest standardowym, otwartym źródłem danych, zaprojektowanym do efektywnego zarządzania dużymi zbiorami danych analitycznych. Działa jako warstwa metadanych na szczycie plików danych, ułatwiając bezproblemowe zarządzanie danymi i dostęp do różnych silników przetwarzania. Oto przegląd trzech formatów otwartego stołu: Iceberg Delta Lake i Hudi: Apache Iceberg Apache Iceberg to wysoce wydajny format tabeli zaprojektowany dla dużych zbiorów danych. Jego architektura priorytetowo uwzględnia efektywne operacje odczytu i skalowalność, co czyni go kamieniem węgielnym dla nowoczesnych obciążeń analitycznych. Jedną z jego cech definiujących jest oddzielenie metadanych od danych, umożliwiając efektywną izolację i planowanie na podstawie snapshotów. Ostatnie postępy w ekosystemie Iceberg podkreślają jego rosnącą adopcję w całej branży. Tabele S3 upraszczają zarządzanie danymi, umożliwiając silnikom zapytań bezpośredni dostęp do metadanych tabel i plików danych przechowywanych w systemach zgodnych z S3, zmniejszając opóźnienie i poprawiając interoperacyjność. podkreśla rolę Iceberg jako pierwszeństwa w otwartych platformach jeziorowych i podkreśla jego skupienie się na wydajności i zarządzaniu. demonstruje zaangażowanie branży w otwartość i interoperacyjność, dodatkowo umacniając pozycję Iceberg jako wiodącego formatu tabel. Akwizycja firmy Databricks Tabular Polaryzacja Open Source Akwizycja firmy Databricks Tabular Polaryzacja Open Source Delta Lake Pierwotnie opracowany przez Databricks, Delta Lake był ściśle związany z Apache Spark. Jest w pełni zgodny z API Spark i integruje się z Structured Streaming Spark, umożliwiając zarówno operacje baterii, jak i strumieniowe. Jedną z kluczowych cech Delta Lake jest to, że wykorzystuje dziennik transakcji do rejestrowania wszystkich zmian dokonanych w danych, zapewniając spójne widoki i izolację pisania. Apache Hudi Apache Hudi został zaprojektowany, aby sprostać wyzwaniom w zakresie wchłaniania danych w czasie rzeczywistym i analizy, szczególnie w środowiskach wymagających częstych aktualizacji. Jego architektura obsługuje pamięć zapasową zoptymalizowaną do pisania (WOS) dla efektywnego wchłaniania danych i pamięć zapasową zoptymalizowaną do odczytu (ROS) dla zapytań, umożliwiając aktualne widoki zbiorów danych. Przetwarzając zmiany strumieni danych stopniowo, Hudi ułatwia analizę w czasie rzeczywistym na skalę. Funkcje takie jak filtry Bloom i globalne indeksowanie optymalizują operacje I/O, poprawiając wydajność zapytań i pisania. Ponadto Hudi zawiera narzędzia do klasyfikacji, kompresji i czyszczenia, które pomagają utrzymać organizację i wydajność tabeli. Jego zdolność do obsługi aktualizacji na poziomie rekordów i usuwania sprawia, że jest to praktyczny wybór dla szybkich strumieni danych i scenariuszy wymagających zgodności i rygorystycznego zarządzania danymi. Comparing Open Table Formats Porównanie formatów otwartych tabel Apache Iceberg, Delta Lake i Apache Hudi każde przynoszą unikalne zalety architekturom jezior danych. Transakcje ACID: Wszystkie trzy formaty zapewniają zgodność z ACID, zapewniając niezawodne operacje danych. Iceberg wykorzystuje izolację snapshot dla integralności transakcji, Delta Lake wykorzystuje dziennik transakcji dla spójnego wyświetlania i izolacji pisania, a Hudi oferuje kontrolę równoważności na poziomie pliku dla scenariuszy o dużej konkurencji. Ewolucja schematu: Każdy format obsługuje zmiany schematu, umożliwiające dodawanie, usuwanie lub modyfikowanie kolumn. Iceberg oferuje elastyczną ewolucję schematu bez ponownego pisania istniejących danych, Delta Lake egzekwuje schemat w czasie uruchamiania, aby utrzymać jakość danych, a Hudi zapewnia pre-commit transformacje dla dodatkowej elastyczności. Ewolucja partycji: Iceberg obsługuje ewolucję partycji, umożliwiając bezproblemowe aktualizacje schematów partycji bez ponownego pisania istniejących danych.Delta Lake umożliwia zmiany partycji, ale może wymagać ręcznej interwencji w celu uzyskania optymalnej wydajności, podczas gdy Hudi oferuje gromadzenie z drobnych ziaren jako alternatywę dla tradycyjnego partycjonowania. Podróże w czasie: Wszystkie trzy formaty oferują możliwości podróży w czasie, umożliwiając użytkownikom kwerendowanie stanu danych historycznych. Szeroko rozpowszechnione: Iceberg jest najbardziej powszechnie przyjętym formatem otwartych tabel przez społeczność danych. Od Databricks po Snowflake po AWS, wiele dużych platform zainwestowało w Iceberg. Indeksowanie: Hudi zapewnia multimodalne możliwości indeksowania, w tym filtry Bloom i indeksowanie na poziomie rekordów, które mogą zwiększyć wydajność zapytań. Delta Lake i Iceberg opierają się na optymalizacji metadanych, ale nie oferują tego samego poziomu elastyczności indeksowania. Konkurencja i strumieniowanie: Hudi jest zaprojektowany do analizy w czasie rzeczywistym z zaawansowaną kontrolą równoległości i wbudowanymi narzędziami, takimi jak DeltaStreamer do stopniowego wchłaniania. Delta Lake obsługuje strumieniowanie za pośrednictwem transmisji danych zmian, a Iceberg zapewnia podstawowe możliwości stopniowego odczytu. Te różnice podkreślają, że chociaż wszystkie trzy formaty stanowią solidne podstawy dla nowoczesnych architektur danych, optymalny wybór zależy od konkretnych wymagań dotyczących obciążenia pracą i potrzeb organizacyjnych. Performance Expectations Oczekiwania wydajnościowe Osiągnięcie optymalnej wydajności w architekturze jeziora danych jest niezbędne, aby w pełni wykorzystać możliwości otwartych formatów tabel. Rozwiązania do przechowywania obiektów powinny ułatwiać szybki dostęp do danych i wspierać szybkie transfery danych, zapewniając płynne działanie nawet przy dużych obciążeniach. Ponadto, wydajne operacje wejścia/wyjścia na sekundę (IOPS) są kluczowe dla obsługi wielu równoczesnych żądań danych, umożliwiając interakcje z danymi bez przeszkód. Równie ważna jest wydajność warstwy obliczeniowej, która bezpośrednio wpływa na przetwarzanie danych i szybkość wykonywania zapytań. Silniki obliczeniowe muszą być skalowalne, aby zarządzać rosnącą objętością danych i zapytaniami użytkowników bez kompromitowania wydajności. Zastosowanie zoptymalizowanych planów wykonywania zapytań i strategii zarządzania zasobami może jeszcze bardziej zwiększyć wydajność przetwarzania. Ponadto silniki obliczeniowe muszą bezproblemowo integrować się z otwartymi formatami tabel, aby w pełni wykorzystać zaawansowane funkcje, takie jak transakcje ACID, ewolucja schematu i podróże w czasie. Formaty otwartych tabel zawierają również funkcje zaprojektowane w celu zwiększenia wydajności. Te funkcje muszą być również prawidłowo skonfigurowane i wykorzystywane w celu uzyskania w pełni zoptymalizowanego zestawu. Jedną z takich funkcji jest efektywne przetwarzanie metadanych, w którym metadane są zarządzane oddzielnie od danych, co umożliwia szybsze planowanie i wykonanie zapytań. Rozdzielenie danych organizuje dane na podzespoły, poprawiając wydajność zapytań poprzez zmniejszenie ilości danych skanowanych podczas operacji. Wsparcie dla ewolucji schematu pozwala formatom tabel dostosowywać się do zmian w strukturze danych bez rozległego ponownego pisania danych, zapewniając elastyczność przy jednoczesnym minimalizowaniu nadmiaru przetwarzania. Koncentrując się na tych aspektach wydajności w warstwach pamięci masowej i obliczeniowych, organizacje mogą zapewnić, że ich środowiska z jeziorem danych są wydajne, skalowalne i zdolne do spełnienia wymagań nowoczesnej analizy i obciążeń roboczych z zakresu sztucznej inteligencji. Open Data Lakehouses and Interoperability Otwarte jeziora danych i interoperacyjność Architektura jeziora danych opiera się na formatach otwartych tabel, aby zapewnić jednolite podejście do zarządzania danymi. Jednak osiągnięcie prawdziwej otwartości wymaga więcej niż tylko przyjęcia formatu otwartego jeziora. jeziora otwartych danych muszą integrować modułowe, interoperacyjne i open source komponenty, takie jak silniki pamięci masowej, katalogi i silniki obliczeniowe, aby umożliwić bezproblemową pracę na różnych platformach. Formaty otwartych tabel są standardami otwartymi i dzięki swojej konstrukcji wspierają interoperacyjność i otwartość w całym zestawie.Jednak praktyczne wyzwania pozostają, takie jak zapewnienie interoperacyjności katalogów i uniknięcie zależności od usług własnych dla zarządzania tabelami. demonstruje postępy w kierunku uniwersalnej kompatybilności, zapewniając drogę do pisania raz, zapytania-wszędzie systemów. Ważne jest, aby pamiętać, że XTable nie pozwala pisać w wielu formatach otwartych tabel, po prostu czytać. Aplikacja Apache XTable Aplikacja Apache XTable The Future of Open Table Formats Przyszłość formatu otwartego stołu Ponieważ krajobraz jezior danych nadal się rozwija, pewne trendy i postępy prawdopodobnie kształtują jego przyszłość. ) do W przypadku warstwy magazynowej może to wyglądać jak platforma z bezpośrednią integracją z kluczowymi platformami AI, takimi jak Hugging Face i OpenAI. W przypadku warstwy obliczeniowej integracja AI może prowadzić do tworzenia wyspecjalizowanych silników obliczeniowych zoptymalizowanych dla algorytmów ML, zwiększając wydajność procesów szkoleniowych i inferencyjnych w ekosystemie jeziora. ML Pracownicy ML Pracownicy Innym obszarem znaczącego wzrostu prawdopodobnie będzie społeczność open source. Gdy duże prywatne firmy, takie jak Databricks, Snowflake i AWS, zaczną rzucać swoją wagę, łatwo jest zapomnieć, że formaty otwartych tabel są prawdziwymi otwartymi standardami. Iceberg, Hudi i Delta Lake są dostępne dla każdego współpracownika, współpracy lub integracji w narzędzia i platformy open source. Innymi słowy, są częścią dynamicznego i rosnącego ekosystemu danych o otwartych standardach. Ważne jest, aby pamiętać, że open source rodzi open source. Wreszcie, przyjęcie otwartych formatów tabel będzie nadal wzrastać, gdy przedsiębiorstwa zbudują dużą, wydajną bazę danych dla sztucznej inteligencji i innych zaawansowanych przypadków użytkowania. Profesjonaliści z branży porównują popularność formatów otwartych tabel z wzrostem i przewagą Hadoopa na początku lat 2000. Niektóre Niektóre Build for Today and Tomorrow Budowa na dziś i jutro Połączenie otwartych formatów tabel z wysokowydajnym przechowywaniem obiektów pozwala architektom budować systemy danych, które są otwarte, interoperacyjne i są w stanie spełnić wymagania AI, ML i zaawansowanej analityki.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Ten dźwięk jest produkowany w oryginalnym języku historii!

Podręcznik architekta do otwierania formatów tabel i przechowywania obiektów

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

Understanding Metaverse: A Basic Explanation

Leadzai - The Startup of the Year that Democratizes Access to Online Advertising

The #Decentralized-Internet Writing Contest

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Understanding Metaverse: A Basic Explanation

Leadzai - The Startup of the Year that Democratizes Access to Online Advertising

The #Decentralized-Internet Writing Contest

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps