Questo articolo è stato originariamente pubblicato sul New Stack. Confronta Apache Iceberg, Delta Lake e Apache Hudi e impara come scegliere il giusto formato di tabella aperta per il tuo data lakehouse. Formati di tabella aperta e archiviazione oggetto stanno ridefinendo il modo in cui le organizzazioni architetturano i loro sistemi di dati, fornendo le basi per data lakehouses scalabili, efficienti e propensi al futuro. sfruttando i punti di forza unici del archiviazione oggetto - la sua scalabilità, flessibilità ed efficienza di costo - assieme alle capacità avanzate di gestione dei metadati dei formati di tabella aperta come Apache Iceberg, Delta Lake e Apache Hudi, le organizzazioni possono creare architetture modulari che soddisfano le esigenze dei moderni carichi di lavoro di dati. Al centro di questo cambiamento architettonico sta la disaggregazione di calcolo e archiviazione. Lo storage oggetto funge da base, offrendo una gestione senza problemi dei dati strutturati, semistrutturati e non strutturati, mentre i formati di tabella aperta agiscono come uno strato di astrazione dei metadati, consentendo caratteristiche simili a database come schemi, partizioni e atomicità, coerenza, isolamento e durabilità (ACID) transazioni. I motori di calcolo come Spark, Presto, Trino e Dremio interagiscono con questi formati di tabella, offrendo la flessibilità per elaborare e analizzare i dati su scala senza bloccare il venditore. Questa guida esplorerà il ruolo dei formati di tabella aperta e dello storage oggetto nella costruzione di data lakehouses moderni. esplorerò la loro evoluzione, confronterò i principali formati di tabella e evidenzierò considerazioni di prestazioni che ottimizzano la tua architettura per l'analisi avanzata e i carichi di lavoro AI. Comprendendo questi componenti, sarai equipaggiato per progettare sistemi di dati che non sono solo efficienti e scalabili, ma anche adattabili alle esigenze in rapida evoluzione dell'era basata sui dati. Where Open Table Formats Fit In Dove si adattano i formati di tabella aperta Dove si adattano i formati di tabella aperta L'architettura moderna del data lakehouse si basa su tre componenti critici: lo strato di archiviazione, il formato tabella aperta e i motori di calcolo. Questo design modulare è ottimizzato per sfruttare appieno la scalabilità e l'efficienza dei costi dello storage degli oggetti, sfruttando al tempo stesso i formati tabella aperta per la gestione dei metadati e l'interoperabilità tra i vari motori di calcolo. Alla sua base si trova il livello di archiviazione di archiviazione oggetto, che fornisce uno spazio di archiviazione scalabile e flessibile per i dati strutturati, semistrutturati e non strutturati. Nel livello di archiviazione si trovano i formati di tabella aperta, che potrebbero essere Apache Iceberg, Delta Lake o Apache Hudi. Questi formati di tabella aperta agiscono come uno strato di astrazione dei metadati, fornendo funzionalità simili a database tra cui schemi, partizioni e versione, nonché funzionalità avanzate come transazioni ACID, evoluzione di schema e viaggi nel tempo. Infine, i motori di calcolo come Spark, Presto, Trino e Dremio interagiscono con i formati di tabella aperta per elaborare e analizzare i dati su scala, Evolution of Data Architectures L’evoluzione delle architetture dei dati L'ascesa dei laghi di dati può essere intesa come parte dell'evoluzione più ampia delle architetture di dati. I primi sistemi come i database di elaborazione delle transazioni online (OTLP) hanno dato priorità all'integrità delle transazioni, ma mancano le capacità analitiche.L'avvento dei sistemi di elaborazione analitica online (OLAP) ha introdotto i magazzini di dati, ottimizzati per la query di dati strutturati, ma a spese di gestire i dati semistrutturati e non strutturati in modo efficiente. I laghi di dati sono emersi per affrontare queste limitazioni, offrendo archiviazione scalabile per vari tipi di dati e capacità di lettura schema. Tuttavia, la mancanza di garanzie transazionali nei laghi di dati ha stimolato lo sviluppo dei laghi di dati, che integrano i punti di forza dei laghi di dati e dei magazzini di dati in un'architettura unificata. I laghi sono costruiti su formati di tabella aperta e archiviazione oggetto e sono completamente disconnessi, il che significa che sono costruiti da componenti modulari. Why Open Table Formats Are Ideal for Object Storage Perché i formati Open Table sono ideali per lo storage di oggetti Le architetture del data lakehouse sono progettate per sfruttare la scalabilità e l'efficienza dei sistemi di archiviazione oggetto, come Amazon Web Services (AWS) S3, Google Cloud Storage e Azure Blob Storage. Questa integrazione consente la gestione senza problemi di diversi tipi di dati - strutturati, semistrutturati e non strutturati - all'interno di una piattaforma unificata. Le caratteristiche chiave delle architetture di data lakehouse sullo stoccaggio degli oggetti includono: Strato di archiviazione unificato: utilizzando lo storage di oggetti, i data lakehouses possono memorizzare enormi quantità di dati nel suo formato nativo, eliminando la necessità di complesse trasformazioni dei dati prima della memorizzazione. Scalabilità: i sistemi di archiviazione degli oggetti sono intrinsecamente scalabili, consentendo ai data lakehouse di accogliere volumi di dati in crescita senza cambiamenti significativi nell'infrastruttura. Flessibilità: il miglior archiviazione oggetto di classe può essere implementato ovunque – in locali, cloud privati, cloud pubblici, strutture di collocazione, data center e all’esterno. Questa flessibilità consente alle organizzazioni di adattare la loro infrastruttura dati alle specifiche esigenze operative e geografiche. Integrando questi elementi, le architetture dei data lakehouse offrono una soluzione completa che combina i punti di forza dei data lake e dei data warehouses. Questo design facilita l'efficiente archiviazione, la gestione e l'analisi dei dati, tutto costruito sulla base di sistemi di archiviazione degli oggetti scalabili e flessibili. Open Table Formats Defined Formati di tabella aperta definiti Un formato di tabella aperta è un framework standardizzato, open source progettato per gestire in modo efficiente grandi set di dati analitici. Funziona come uno strato di metadati sopra i file di dati, facilitando la gestione dei dati e l'accesso senza problemi in vari motori di elaborazione. Ecco una panoramica dei tre formati di tabella aperta: Iceberg Delta Lake e Hudi: Apache Iceberg Apache Iceberg è un formato di tabella ad alte prestazioni progettato per massicci set di dati. La sua architettura dà priorità alle operazioni di lettura efficienti e alla scalabilità, rendendolo una pietra angolare per i carichi di lavoro dell'analisi moderna. Una delle sue caratteristiche definitive è la separazione dei metadati dai dati, consentendo un efficiente isolamento e pianificazione basati su snapshot. Questo design elimina le costose operazioni dei metadati, consentendo la pianificazione parallela delle query su grandi set di dati. I recenti progressi nell'ecosistema di Iceberg evidenziano la sua crescente adozione in tutto il settore. Le tabelle S3 semplificano la gestione dei dati consentendo ai motori di query di accedere direttamente ai metadati delle tabelle e ai file di dati memorizzati nei sistemi compatibili con S3, riducendo la latenza e migliorando l'interoperabilità. sottolinea il ruolo di primato di Iceberg nelle piattaforme a lago aperto e sottolinea il suo focus sulla performance e sulla governance. dimostra l'impegno del settore per l'apertura e l'interoperabilità, consolidando ulteriormente la posizione di Iceberg come formato di tavolo leader. Databricks: acquisizione di Tabular Polaris open source Databricks: acquisizione di Tabular Polaris open source Delta Lake Originariamente sviluppato da Databricks, Delta Lake è stato strettamente legato a Apache Spark. È pienamente compatibile con le API Spark e si integra con il Structured Streaming di Spark, consentendo sia le operazioni di batch che di streaming. Una caratteristica chiave di Delta Lake è che impiega un log di transazione per registrare tutte le modifiche apportate ai dati, garantendo visualizzazioni coerenti e isolamento di scrittura. Apache Hudi Apache Hudi è progettato per affrontare le sfide dell'ingestione e dell'analisi dei dati in tempo reale, in particolare in ambienti che richiedono aggiornamenti frequenti.La sua architettura supporta lo storage ottimizzato per la scrittura (WOS) per l'ingestione efficiente dei dati e lo storage ottimizzato per la lettura (ROS) per la query, consentendo visualizzazioni aggiornate dei set di dati. Elaborando i cambiamenti dei flussi di dati in modo incrementale, Hudi facilita l'analisi in tempo reale su scala. Funzioni come i filtri Bloom e l'indicizzazione globale ottimizzano le operazioni di I/O, migliorando le prestazioni di query e scrittura. Inoltre, Hudi include strumenti per il raggruppamento, la compattazione e la pulizia, che aiutano a mantenere l'organizzazione e le prestazioni delle tabelle. La sua capacità di gestire gli aggiornamenti e le cancellazioni a livello di record lo rende una scelta pratica per i flussi di dati ad alta velocità e gli scenari che richiedono la conformità e una governance rigorosa dei dati. Comparing Open Table Formats Confronto tra tabelle aperte Apache Iceberg, Delta Lake e Apache Hudi portano punti di forza unici alle architetture di data lakehouse. Ecco una panoramica comparativa di questi formati basata sulle caratteristiche chiave: Transazioni ACID: tutti e tre i formati forniscono conformità ACID, garantendo operazioni di dati affidabili. Iceberg utilizza l'isolamento a snapshot per l'integrità transazionale, Delta Lake utilizza un log di transazione per visualizzazioni coerenti e isolamento di scrittura, e Hudi offre il controllo concorrenziale a livello di file per scenari ad alta concorrenza. Evoluzione dello schema: ogni formato supporta le modifiche dello schema, consentendo l'aggiunta, la cancellazione o la modifica di colonne.Iceberg offre l'evoluzione dello schema flessibile senza riscrivere i dati esistenti, Delta Lake esercita lo schema in tempo di esecuzione per mantenere la qualità dei dati, e Hudi fornisce trasformazioni pre-commit per una flessibilità aggiuntiva. Evoluzione delle partizioni: Iceberg supporta l'evoluzione delle partizioni, consentendo aggiornamenti uniformi agli schemi di partizione senza riscrivere i dati esistenti.Delta Lake consente le modifiche delle partizioni ma può richiedere l'intervento manuale per prestazioni ottimali, mentre Hudi offre il raggruppamento a grano fine come alternativa alla partizione tradizionale. Viaggio nel tempo: tutti e tre i formati offrono funzionalità di viaggio nel tempo, consentendo agli utenti di interrogare gli stati dei dati storici. Adottamento diffuso: Iceberg è il formato di tabella aperta più ampiamente adottato dalla comunità dei dati. Da Databricks a Snowflake a AWS, molte grandi piattaforme hanno investito in Iceberg. Se sei già parte di questi ecosistemi o stai pensando di unirti a loro, Iceberg potrebbe naturalmente distinguersi. Indice: Hudi fornisce capacità di indicizzazione multimodale, tra cui filtri Bloom e indicizzazione a livello di record, che possono migliorare le prestazioni delle query. Delta Lake e Iceberg si basano sull'ottimizzazione dei metadati, ma non offrono lo stesso livello di flessibilità di indicizzazione. Concorrenza e streaming: Hudi è progettato per l'analisi in tempo reale con controllo avanzato della concorrenza e strumenti integrati come DeltaStreamer per l'ingestione incrementale. Delta Lake supporta lo streaming attraverso il feed di dati di cambiamento e Iceberg fornisce capacità di lettura incrementale di base. Queste distinzioni evidenziano che, mentre tutti e tre i formati forniscono una solida base per le moderne architetture di dati, la scelta ottimale dipende dai requisiti specifici del carico di lavoro e dalle esigenze organizzative. Performance Expectations Le aspettative di performance Il raggiungimento di prestazioni ottimali nelle architetture di data lakehouse è essenziale per sfruttare appieno le capacità dei formati di tabella aperta. Il livello di archiviazione deve fornire una bassa latenza e un'elevata portata per soddisfare le esigenze di analisi su larga scala. Le soluzioni di archiviazione oggetto dovrebbero facilitare l'accesso rapido ai dati e supportare i trasferimenti ad alta velocità, garantendo operazioni fluide anche in condizioni di carichi di lavoro elevati.Inoltre, le operazioni efficienti di input/output al secondo (IOPS) sono cruciali per gestire numerose richieste di dati simultanee, consentendo un'interazione dati reattiva senza barriere. Altrettanto importante è la performance del livello di calcolo, che influenza direttamente il trattamento dei dati e le velocità di esecuzione delle query. I motori di calcolo devono essere scalabili per gestire i volumi crescenti di dati e le query degli utenti senza compromettere le prestazioni. L'impiego di piani di esecuzione delle query ottimizzati e strategie di gestione delle risorse può migliorare ulteriormente l'efficienza del trattamento. Inoltre, i motori di calcolo devono integrarsi senza problemi con i formati di tabella aperta per sfruttare appieno le funzionalità avanzate come le transazioni ACID, l'evoluzione degli schemi e il viaggio nel tempo. I formati di tabella aperta includono anche funzionalità progettate per aumentare le prestazioni. Questi devono anche essere configurati correttamente e sfruttati per una pila completamente ottimizzata. Una di queste caratteristiche è l'efficiente gestione dei metadati, in cui i metadati sono gestiti separatamente dai dati, il che consente una pianificazione e un'esecuzione più rapida delle query. La partizionazione dei dati organizza i dati in sottoinsiemi, migliorando le prestazioni delle query riducendo la quantità di dati scansionati durante le operazioni. Concentrandosi su questi aspetti delle prestazioni attraverso i livelli di archiviazione e di calcolo, le organizzazioni possono garantire che i loro ambienti di data lakehouse siano efficienti, scalabili e in grado di soddisfare le esigenze delle moderne analisi e dei carichi di lavoro di intelligenza artificiale.Queste considerazioni consentono ai formati di tabelle aperte di raggiungere il loro pieno potenziale, fornendo le elevate prestazioni necessarie per le informazioni in tempo reale e il processo decisionale. Open Data Lakehouses and Interoperability Open Data Lakehouse e interoperabilità L'architettura del data lakehouse si basa su formati di tabelle aperte per fornire un approccio unificato alla gestione dei dati. Tuttavia, il raggiungimento di una vera apertura richiede molto di più che l'adozione di formati di tabelle aperte. i data lakehouses aperti devono integrare componenti modulari, interoperabili e open source come i motori di archiviazione, i cataloghi e i motori di calcolo per consentire il funzionamento senza problemi su piattaforme diverse. I formati di tabella aperta sono standard aperti e, per la loro stessa progettazione, supportano l'interoperabilità e l'apertura in tutta la pila.Tuttavia, rimangono sfide pratiche, come garantire l'interoperabilità dei cataloghi ed evitare dipendenze da servizi proprietari per la gestione dei tavoli. dimostra progressi verso la compatibilità universale, fornendo un percorso per la scrittura-una volta, query-ovunque sistemi. È importante notare che XTable non consente di scrivere in più formati di tabella aperta, basta leggere. speriamo che le future innovazioni in interoperabilità continueranno a costruire su questi e altri progetti intorno ai formati di tabella aperta. di Apache XTable di Apache XTable The Future of Open Table Formats Il futuro dei formati open table Con l'evoluzione del panorama dei laghi di dati, alcune tendenze e sviluppi sono probabili per plasmare il suo futuro. ) di Per il livello di archiviazione, questo potrebbe apparire come piattaforme con integrazioni dirette a piattaforme chiave di intelligenza artificiale come Hugging Face e OpenAI. Per il livello di calcolo, l'integrazione AI potrebbe portare alla creazione di motori di calcolo specializzati ottimizzati per gli algoritmi ML, migliorando l'efficienza dei processi di formazione e di inferenza all'interno dell'ecosistema del lago. Il ML lavoratori Il ML lavoratori Un'altra area di crescita significativa sarà probabilmente nella comunità open source. Quando grandi aziende private come Databricks, Snowflake e AWS iniziano a gettare il loro peso, è facile dimenticare che i formati di tabella aperta sono veri standard aperti. Iceberg, Hudi e Delta Lake sono disponibili per qualsiasi contributore, collaborazione o integrazione in strumenti e piattaforme open source. In altre parole, fanno parte di un ecosistema di dati open-standard vibrante e in crescita. È importante ricordare che l'open source genera open source. Vedremo la continua proliferazione di applicazioni open source, add-ons, cataloghi e innovazioni in questo spazio. Infine, l'adozione dei formati di tabelle aperte continuerà ad aumentare man mano che le imprese costruiscono data lakehouses ad alte prestazioni su larga scala per l'IA e altri casi di utilizzo avanzati. I professionisti dell'industria equiparano la popolarità dei formati open table con l'ascesa e la supremazia di Hadoop nei primi anni 2000. Alcuni Alcuni Build for Today and Tomorrow Costruito per oggi e per domani Combinando formati di tabella aperta con archiviazione oggetto ad alte prestazioni, gli architetti possono costruire sistemi di dati aperti, interoperabili e in grado di soddisfare le esigenze di AI, ML e analisi avanzata.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Questo audio è prodotto nella lingua originale della storia!

Il manuale dell'architetto per aprire i formati di tabella e lo stoccaggio degli oggetti

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

Coding with Latenode's AI + JavaScript Assistant: A Low-Code Platform for Simplified Development

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

Coding with Latenode's AI + JavaScript Assistant: A Low-Code Platform for Simplified Development

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps