Den här artikeln publicerades ursprungligen på New Stack. Jämför Apache Iceberg, Delta Lake och Apache Hudi och lär dig hur du väljer rätt öppet tabellformat för din data lakehouse. Öppna tabellformat och objektlagring omdefinierar hur organisationer arkitekterar sina datasystem, vilket ger grunden för skalbara, effektiva och framtidssäkra datalager. Genom att utnyttja de unika styrkorna hos objektlagring – dess skalbarhet, flexibilitet och kostnadseffektivitet – tillsammans med de avancerade metadatahanteringsfunktionerna i öppna tabellformat som Apache Iceberg, Delta Lake och Apache Hudi, kan organisationer skapa modulära arkitekturer som uppfyller kraven i moderna dataarbetsbelastningar. Objektlagring fungerar som grunden, erbjuder sömlös hantering av strukturerade, halvstrukturerade och orestrukturerade data, medan öppna tabellformat fungerar som ett abstraktionsskikt av metadata, vilket möjliggör databasliknande funktioner som scheman, partitioner och atomicitet, konsistens, isolering och hållbarhet (ACID) transaktioner. Datorer som Spark, Presto, Trino och Dremio interagerar med dessa tabellformat, vilket ger flexibiliteten att bearbeta och analysera data i stor skala utan att låsa in leverantören. Den här guiden kommer att fördjupa sig i rollen som öppna tabellformat och objektlagring i att bygga moderna datalager. Jag kommer att utforska deras utveckling, jämföra ledande tabellformat och lyfta fram prestandaöverväganden som optimerar din arkitektur för avancerad analys och AI-arbetsbelastningar. Genom att förstå dessa komponenter kommer du att vara utrustad för att designa datasystem som inte bara är effektiva och skalbara utan också anpassningsbara till de snabbt föränderliga kraven i datadriven tidsålder. Where Open Table Formats Fit In Där öppna tabellformat passar in Där öppna tabellformat passar in Den moderna data lakehouse-arkitekturen bygger på tre kritiska komponenter: lagringsskiktet, det öppna tabellformatet och beräkningsmotorerna.Den modulära designen är optimerad för att dra full nytta av objektlagrings skalbarhet och kostnadseffektivitet samtidigt som man utnyttjar öppna tabellformat för sömlös metadatahantering och interoperabilitet över olika beräkningsmotorer. I grunden ligger lagringsskiktet för objektlagring, som ger skalbart och flexibelt lagringsutrymme för strukturerade, halvstrukturerade och ostrukturerade data. I lagringsskiktet sitter de öppna tabellformaten, som kan vara Apache Iceberg, Delta Lake eller Apache Hudi. Dessa öppna tabellformater fungerar som ett metadataabstraktionsskikt, vilket ger databasliknande funktioner inklusive scheman, partitioner och versionering samt avancerade funktioner som ACID-transaktioner, schemautveckling och tidsresor. Slutligen interagerar datormotorer som Spark, Presto, Trino och Dremio med de öppna tabellformaten för att bearbeta och analysera data i stor skala, vilket ger användarna flexibilitet att välja det bästa verktyget för sin arbetsbelastning Evolution of Data Architectures Evolution av dataarkitekturer Uppkomsten av data lakehouses kan förstås som en del av den bredare utvecklingen av dataarkitekturer. Tidiga system som online transaction processing (OTLP) databaser prioriterade transaktionsintegritet men saknade analytiska förmågor. Datasjöar uppstod för att ta itu med dessa begränsningar och erbjuda skalbar lagring för olika datatyper och schema-on-read-kapaciteter. emellertid, bristen på transaktionsgarantier i datasjöar drivit utvecklingen av datasjöar, som integrerar styrkorna i datasjöar och datalager i en enhetlig arkitektur. Lakehouses är byggda på öppna tabellformat och objektlagring och är helt avkopplade, vilket innebär att de är byggda av modulära komponenter. Why Open Table Formats Are Ideal for Object Storage Varför öppna tabellformat är idealiska för objektlagring Data lakehouse-arkitekturer är avsiktligt utformade för att dra nytta av skalbarheten och kostnadseffektiviteten hos objektlagringssystem, såsom Amazon Web Services (AWS) S3, Google Cloud Storage och Azure Blob Storage. Denna integration möjliggör sömlös hantering av olika datatyper – strukturerade, halvstrukturerade och ostrukturerade – inom en enhetlig plattform. Huvuddragen hos data lakehouse-arkitekturer på objektlagring inkluderar: Unified storage layer: Genom att använda objektlagring kan data lakehouses lagra stora mängder data i sitt inhemska format, vilket eliminerar behovet av komplexa dataomvandlingar före lagring. Skalbarhet: Objektlagringssystem är i sig skalbara, vilket gör det möjligt för datalager att rymma växande datavolymer utan betydande infrastrukturförändringar. Flexibilitet: Best-in-class objektlagring kan distribueras var som helst – på plats, i privata moln, i offentliga moln, kolokationsanläggningar, datacenter och på kanten. Genom att integrera dessa element erbjuder datalagerarkitekturer en omfattande lösning som kombinerar styrkorna hos datalager och datalager.Denna design underlättar effektiv datalagring, hantering och analys, allt bygger på grunden för skalbara och flexibla objektlagringssystem. Open Table Formats Defined Öppna tabellformat definierade Ett öppet tabellformat är ett standardiserat, öppen källkodsramverk utformat för att hantera storskaliga analytiska datamängder effektivt. Det fungerar som ett metadata lager ovanpå datafiler, vilket underlättar sömlös datahantering och åtkomst över olika bearbetningsmotorer. Här är en översikt över de tre öppna bordsformaten: Iceberg Delta Lake och Hudi: Apache Iceberg Apache Iceberg är ett högpresterande tabellformat som är utformat för massiva datamängder. Dess arkitektur prioriterar effektiv läsning och skalbarhet, vilket gör det till en hörnsten för moderna analysarbetsbelastningar. En av dess definierande funktioner är separationen av metadata från data, vilket möjliggör effektiv ögonblicksbaserad isolering och planering. Denna design eliminerar kostsamma metadataoperationer, vilket möjliggör parallell frågeplanering över stora datamängder. De senaste framstegen i Iceberg-ekosystemet framhäver dess växande adoption över hela branschen. S3-tabeller förenklar datahantering genom att möjliggöra för sökmotorer att direkt komma åt tabellmetadata och datafiler som lagras i S3-kompatibla system, vilket minskar latensen och förbättrar interoperabiliteten. understryker Icebergs primära roll i öppna sjöhusplattformar och betonar dess fokus på prestanda och styrning. demonstrerar branschens engagemang för öppenhet och interoperabilitet, vilket ytterligare stärker Icebergs position som ledande bordsformat. Databricks förvärv av Tabular Polaris öppen källkod Databricks förvärv av Tabular Polaris öppen källkod Delta Lake Ursprungligen utvecklat av Databricks, var Delta Lake nära kopplat till Apache Spark. Det är fullt kompatibelt med Spark API: er och integreras med Spark: s Structured Streaming, vilket möjliggör både batch- och streamingoperationer. En nyckelfunktion hos Delta Lake är att den använder en transaktionslogg för att registrera alla ändringar som gjorts i data, vilket säkerställer konsekventa vyer och skrivisolering. Apache Hudi Apache Hudi är utformad för att ta itu med utmaningarna med realtidsdataintag och analys, särskilt i miljöer som kräver frekventa uppdateringar. Dess arkitektur stöder skrivoptimerad lagring (WOS) för effektiv dataintag och läsoptimerad lagring (ROS) för frågande, vilket möjliggör uppdaterade vyer av datamängder. Genom att bearbeta förändringar i dataflöden stegvis underlättar Hudi realtidsanalys i stor skala.Funktioner som Bloom-filter och global indexering optimerar I/O-operationer, förbättrar fråge- och skrivprestanda.Dessutom innehåller Hudi verktyg för klassificering, komprimering och rengöring, vilket bidrar till att upprätthålla tabellorganisation och prestanda.Dess förmåga att hantera rekordnivåuppdateringar och raderingar gör det till ett praktiskt val för höghastighetsdataflöden och scenarier som kräver efterlevnad och strikt dataförvaltning. Comparing Open Table Formats Jämför Open Table Format Apache Iceberg, Delta Lake och Apache Hudi ger var och en unika styrkor till data lakehouse-arkitekturer. ACID-transaktioner: Alla tre format ger ACID-överensstämmelse, vilket säkerställer tillförlitliga dataoperationer. Iceberg använder snapshot-isolering för transaktionsintegritet, Delta Lake använder en transaktionslogg för konsekvent visning och skrivisolering, och Hudi erbjuder filnivåkontroll för högkonkurrensscenarier. Iceberg erbjuder flexibel schemautveckling utan att skriva om befintliga data, Delta Lake tillämpar schema vid körtid för att upprätthålla datakvaliteten och Hudi tillhandahåller pre-commit-transformationer för ytterligare flexibilitet. Partition evolution: Iceberg stöder partition evolution, vilket möjliggör sömlösa uppdateringar av partitionering scheman utan att skriva om befintliga data. Delta Lake tillåter partition ändringar men kan kräva manuellt ingripande för optimal prestanda, medan Hudi erbjuder fingrön klustering som ett alternativ till traditionell partitionering. Tidstrafik: Alla tre format erbjuder tidstrafikfunktioner som gör det möjligt för användare att söka efter historiska datastatuser. Utbredd användning: Iceberg är det mest använda öppna tabellformatet i datasamhället.Från Databricks till Snowflake till AWS har många stora plattformar investerat i Iceberg.Om du redan är en del av dessa ekosystem eller funderar på att gå med i dem kan Iceberg naturligtvis sticka ut. Indexering: Hudi erbjuder multimodala indexeringsfunktioner, inklusive Bloom-filter och indexering på rekordnivå, som kan förbättra frågeprestanda.Delta Lake och Iceberg förlitar sig på metadataoptimeringar men erbjuder inte samma nivå av indexeringsflexibilitet. Konkurrens och strömning: Hudi är utformad för realtidsanalys med avancerad parallellstyrning och inbyggda verktyg som DeltaStreamer för incrementell intagning. Delta Lake stöder strömning genom förändringsdataflöde, och Iceberg ger grundläggande kapacitet för incrementell läsning. Dessa skillnader understryker att medan alla tre format ger en robust grund för moderna dataarkitekturer, beror det optimala valet på specifika arbetsbelastningskrav och organisatoriska behov. Performance Expectations Prestationsförväntningar Att uppnå optimal prestanda i datalagerarkitekturer är avgörande för att fullt ut utnyttja möjligheterna hos öppna tabellformat. Lagringsskiktet måste ge låg latency och hög genomströmning för att tillgodose storskaliga analysbehov. Objektlagringslösningar bör underlätta snabb dataåtkomst och stödja höghastighetsöverföringar, vilket säkerställer smidiga operationer även under höga arbetsbelastningar. Lika viktigt är prestanda i beräkningslager, vilket direkt påverkar databehandling och frågeexekveringshastigheter. Beräkningsmotorer måste vara skalbara för att hantera växande datavolymer och användarfrågor utan att kompromissa med prestanda. Använda optimerade frågeexekveringsplaner och resurshanteringsstrategier kan ytterligare förbättra bearbetningseffektiviteten. Dessutom måste beräkningsmotorer integreras sömlöst med öppna tabellformat för att fullt ut utnyttja avancerade funktioner som ACID-transaktioner, schemautveckling och tidsresor. De öppna tabellformaten innehåller också funktioner som är utformade för att öka prestandan. Dessa måste också konfigureras ordentligt och utnyttjas för en fullt optimerad stack. En sådan funktion är effektiv metadatahantering, där metadata hanteras separat från data, vilket möjliggör snabbare frågeplanering och utförande. Datapartitionering organiserar data i underuppsättningar, vilket förbättrar frågeprestandan genom att minska mängden data som skannas under operationer. Stöd för schemaevolution gör att tabellformat kan anpassa sig till förändringar i datastrukturen utan omfattande dataomskrivningar, vilket säkerställer flexibilitet samtidigt som överbelastning minimeras. Genom att fokusera på dessa prestandaaspekter över lagrings- och beräkningsskikten kan organisationer se till att deras datalagermiljöer är effektiva, skalbara och kan möta kraven i modern analys och AI-arbetsbelastningar.Dessa överväganden gör det möjligt för öppna tabellformat att nå sin fulla potential, vilket ger den höga prestanda som behövs för realtidsinformation och beslutsfattande. Open Data Lakehouses and Interoperability Öppna datalager och interoperabilitet Data lakehouse-arkitekturen bygger på öppna tabellformat för att leverera ett enhetligt tillvägagångssätt för datahantering.Dock kräver verklig öppenhet mer än bara att anta öppna tabellformat.Open data lakehouses måste integrera modulära, interoperabla och öppen källkodskomponenter som lagringsenheter, kataloger och datormotorer för att möjliggöra sömlös drift över olika plattformar. De öppna tabellformaten är öppna standarder och, genom sin egen design, stöder interoperabilitet och öppenhet i hela stacken.Men praktiska utmaningar kvarstår, såsom att säkerställa kataloginteroperabilitet och undvika beroende av proprietära tjänster för bordshantering. Det är viktigt att notera att XTable inte tillåter dig att skriva i flera öppna tabellformat, bara läs. För Apache XTable För Apache XTable The Future of Open Table Formats Framtiden för öppna bordsformat Eftersom landskapet för data sjöhus fortsätter att utvecklas, är vissa trender och framsteg sannolikt att forma sin framtid. ) är För lagringsskiktet kan detta se ut som plattformar med direkta integrationer till viktiga AI-plattformar som Hugging Face och OpenAI. För beräkningsskiktet kan AI-integrationen leda till skapandet av specialiserade beräkningsmotorer optimerade för ML-algoritmer, vilket förbättrar effektiviteten hos utbildning och inferensprocesser inom sjöhusets ekosystem. ML är arbetsbelastningar ML är arbetsbelastningar Ett annat område med betydande tillväxt kommer sannolikt att vara i öppen källkodssamhället. När stora privata företag som Databricks, Snowflake och AWS börjar kasta sin vikt runt, är det lätt att glömma att de öppna tabellformaten är sanna öppna standarder. Iceberg, Hudi och Delta Lake är tillgängliga för alla bidragsgivare, samarbete eller integration i öppen källkodsverktyg och plattformar. Med andra ord är de en del av ett levande och växande ökosystem med öppna standarder. Det är viktigt att komma ihåg att öppen källkod ger upphov till öppen källkod. Slutligen kommer antagandet av öppna tabellformat att fortsätta att öka när företag bygger storskaliga, högpresterande datalager för AI och andra avancerade användningsfall. branschexperter jämföra populariteten av öppna tabellformat med uppkomsten och överlägsenheten av Hadoop i början av 2000-talet. Några Några Build for Today and Tomorrow Bygg för idag och imorgon Genom att kombinera öppna tabellformat med högpresterande objektlagring kan arkitekter bygga datasystem som är öppna, interoperabla och kan möta kraven från AI, ML och avancerad analys.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Det här ljudet är producerat på berättelsens originalspråk!

Arkitektens handbok för att öppna tabellformat och objektlagring

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps