この記事は元々New Stackに掲載されました。 Apache Iceberg、Delta Lake、Apache Hudiを比較し、データレイクハウスに適したオープンテーブル形式を選択する方法を学びましょう。 オープンテーブルフォーマットとオブジェクトストレージは、組織がデータシステムをどのように構築するかを再定義し、スケーラブルで効率的で将来性のあるデータレイクハウスの基盤を提供しています。オブジェクトストレージのユニークな強み、つまりスケーラビリティ、柔軟性、コスト効率を活用することで、Apache Iceberg、Delta Lake、Apache Hudiなどのオープンテーブルフォーマットの高度なメタデータ管理機能とともに、組織は現代のデータワークロードの要求を満たすモジュールアーキテクチャを作成することができます。 オブジェクトストレージは、構造化された、半構造化されたおよび非構造化されたデータのシームレスな管理を提供し、オープンテーブル形式はメタデータ抽象層として機能し、スケジュール、パーティション、原子性、一貫性、隔離および耐久性(ACID)トランザクションなどのデータベースのような機能を可能にします。 このガイドでは、オープンテーブルフォーマットとオブジェクトストレージの役割を現代のデータレイクハウスの構築に深く考察します。私はその進化を調査し、主要なテーブルフォーマットを比較し、高度なアナリティクスとAIワークロードのためのアーキテクチャを最適化するパフォーマンスの考慮事項を強調します。これらのコンポーネントを理解することにより、あなたは、効率的でスケーラブルなだけでなく、データベースの時代の急速に変化する要件に適応できるデータシステムを設計するのに装備されます。 Where Open Table Formats Fit In オープンテーブル形式が適合する場所 オープンテーブル形式が適合する場所 現代のデータレイクハウスアーキテクチャは、ストレージ層、オープンテーブルフォーマット、およびコンピュータエンジンという3つの重要なコンポーネントに基づいて構築されています。このモジュール設計は、オブジェクトストレージのスケーラビリティとコスト効率を最大限に活用し、オープンテーブルフォーマットを活用し、さまざまなコンピュータエンジン間でシームレスなメタデータ管理と相互運用性を実現します。 構造化された、半構造化された、および非構造化されたデータのためのスケーラブルで柔軟なストレージを提供するオブジェクトストレージのストレージ レイヤー レイヤーには、Apache Iceberg、Delta Lake、Apache Hudi などのオープンテーブル形式があります。これらのオープンテーブル形式はメタデータ抽象レイヤーとして機能し、スケーラ、パーティション、バージョニングなどのデータベースのような機能を提供し、ACID トランザクション、スケーラの進化、タイムトラベルなどの高度な機能を提供します。最後に、Spark、Presto、Trino、Dremioなどのコンピュータエンジンはオープンテーブル形式と相互作用してデータを Evolution of Data Architectures データアーキテクチャの進化 データレイクハウスの増加は、データアーキテクチャのより広範な進化の一環として理解できます。オンライントランザクション処理(OTLP)データベースのような初期のシステムは、トランザクションの完全性を優先したが、分析能力が欠けていた。 データ湖はこれらの制限に対処するために出現し、さまざまなデータタイプとスケジュールオンリーディング機能のためのスケーラブルなストレージを提供しました。しかし、データ湖におけるトランザクション保証の欠如は、データ湖とデータ倉庫の強みを統一されたアーキテクチャに統合するデータ湖の開発を刺激しました。 レイクハウスはオープンテーブル形式とオブジェクトストレージに基づいて構築され、完全に切り離されており、モジュラーコンポーネントから構築されています。 Why Open Table Formats Are Ideal for Object Storage なぜオープンテーブル形式はオブジェクトストレージに最適なのか データレイクハウスアーキテクチャは、Amazon Web Services (AWS) S3、Google Cloud Storage、Azure Blob Storage などのオブジェクトストレージシステムのスケーラビリティとコスト効率性を活用するように意図的に設計されています。 オブジェクトストレージ上のデータレイクハウスアーキテクチャの主要な特徴には、以下が含まれます。 Unified Storage Layer: オブジェクトストレージを利用することで、データレイクハウスは、大量のデータをそのネイティブフォーマットでストレージし、ストレージ前に複雑なデータ変換の必要性を排除します。 Scalability: Object storage systems are inherently scalable, allowing data lakehouses to accommodate growing volumes of data without significant infrastructure changes. このスケーラビリティは、組織が拡大するデータセットと進化する分析要件を効率的に管理できるようにします。 柔軟性:クラスベストのオブジェクトストレージは、ロケーション、プライベートクラウド、パブリッククラウド、コロケーション施設、データセンター、およびエッジでどこでも展開できます。 これらの要素を統合することで、データレイクハウスアーキテクチャは、データレイクとデータ倉庫の強みを組み合わせた包括的なソリューションを提供します。 Open Table Formats Defined オープンテーブル形式定義 オープンテーブル形式は、大規模な分析データセットを効率的に管理するために設計された標準化されたオープンソースフレームワークで、データファイルの上にメタデータ層として機能し、さまざまな処理エンジン間でシームレスなデータ管理とアクセスを容易にします。 以下は、Iceberg Delta LakeとHudiの3つのオープンテーブル形式の概要です。 Apache Iceberg Apache Icebergは、大規模なデータセット向けに設計された高性能テーブル形式です。そのアーキテクチャは、効率的な読み取り操作とスケーラビリティを優先し、現代の分析ワークロードの基盤となっています。その定義的な機能の1つは、メタデータをデータから分離し、効率的なスナップショットベースの隔離と計画を可能にします。この設計は、高コストの高いメタデータ操作を排除し、大規模なデータセットで並列的なクエリプランニングを可能にします。 Icebergのエコシステムにおける最近の進歩は、業界全体でますます採用されていることを強調しています。S3 Tablesは、クエリエンジンがS3対応システムに格納されているテーブルメタデータやデータファイルに直接アクセスできるようにすることで、データ管理を簡素化し、遅延を減らし、相互運用性を向上させます。 Icebergのオープン湖のプラットフォームにおける優位性の役割を強調し、パフォーマンスとガバナンスに焦点を当てている。 開放性と相互運用性に対する業界のコミットメントを示し、Icebergのトップテーブル形式としての地位をさらに強化します。 Databricks「Tabular」の買収 Polaris オープンソース Databricks「Tabular」の買収 Polaris オープンソース Delta Lake 元々 Databricks によって開発された Delta Lake は、Apache Spark と密接に結びついていて、Spark API と完全に互換性があり、Spark の Structured Streaming と統合され、バッチおよびストリーミングの両方を可能にします。 デルタレイクの重要な特徴の一つは、トランザクションログを使用してデータのすべての変更を記録し、一貫したビューと書き込み隔離を確保することです。 Apache Hudi Apache Hudi は、特に頻繁にアップデートを必要とする環境で、リアルタイムのデータ吸収と分析の課題に対処するように設計されています。そのアーキテクチャは、効率的なデータ吸収のための書き込み最適化ストレージ(WOS)と、クエリのための読み取り最適化ストレージ(ROS)をサポートし、データセットの最新のビューを可能にします。 データ ストリームの変更を段階的に処理することで、Hudi はスケールでリアルタイムの分析を容易にします。Bloom フィルターやグローバル インデックスなどの機能は、I/O 操作を最適化し、クエリおよび書き込みのパフォーマンスを向上させます。さらに、Hudi には、テーブルの組織とパフォーマンスを維持するのに役立つクラスタリング、圧縮、クリーニングのツールが含まれています。レコードレベルの更新と削除を処理する機能は、コンプライアンスと厳格なデータ ガバナンスを必要とする高速データ ストリームとシナリオのための実用的な選択肢です。 Comparing Open Table Formats オープンテーブル形式の比較 Apache Iceberg、Delta Lake、およびApache Hudiはそれぞれ、データレイクハウスアーキテクチャにユニークな強みをもたらします。 ACID トランザクション:すべての 3 つのフォーマットは ACID コンプライアンスを提供し、信頼性の高いデータ操作を保証します. Iceberg は、トランザクションの完全性のためにスナップショット隔離を使用し、Delta Lake は、トランザクションログを使用して一貫したビューと書き込みの隔離を提供し、Hudi は、競争の激しいシナリオのためのファイルレベルの同期制御を提供します。 Iceberg は、既存のデータを再書き換えることなく、柔軟なスケジュールの進化を提供し、Delta Lake は、データの品質を維持するためにランタイムでスケジュールを強化し、Hudi は、さらなる柔軟性を提供するために事前コミット変換を提供します。 パーティションの進化:Icebergはパーティションの進化をサポートし、既存のデータを再書き換えることなくパーティションのスケジュールにシームレスなアップデートを可能にします.Delta Lakeはパーティションの変更を可能にしますが、最適なパフォーマンスのために手動の介入を必要とする場合があります。 タイムトラベル:この3つのフォーマットはすべてタイムトラベル機能を提供し、ユーザーが過去のデータステータスをクエリすることができます。 Iceberg はデータコミュニティで最も広く採用されているオープンテーブル形式です. Databricks から Snowflake から AWS まで、多くの大規模なプラットフォームが Iceberg に投資しています。 Hudi は、Bloom フィルターやレコードレベルのインデックスを含む多様なインデックス機能を提供し、クエリのパフォーマンスを向上させることができます。Delta Lake と Iceberg はメタデータの最適化に依存しますが、同じレベルのインデックス柔軟性を提供しません。 競争とストリーミング: Hudi は、先進的な同期制御と、DeltaStreamer のような組み込まれたツールでリアルタイムの分析に設計されています。Delta Lake は変更データフィードを介してストリーミングをサポートし、Iceberg は基本的な増加読み取り機能を提供します。 これらの区別は、すべての3つのフォーマットが近代的なデータアーキテクチャの強力な基盤を提供する一方で、最適な選択は、特定のワークロード要件と組織のニーズに依存することを強調する。 Performance Expectations 業績期待 データレイクハウスアーキテクチャで最適なパフォーマンスを達成することは、オープンテーブル形式の機能を完全に活用するために不可欠です。 ストレージ レイヤーは、大規模な分析要件を満たすために、低遅延と高パフォーマンスを提供する必要があります。オブジェクト ストレージ ソリューションは、迅速なデータアクセスを容易にし、高速転送をサポートし、高いワークロードの下でもスムーズな操作を確保する必要があります。 同様に重要なのは、データ処理およびクエリ実行速度に直接影響を与えるコンピューティング レイヤーのパフォーマンスです。コンピューティング エンジンは、パフォーマンスを損なうことなく増大するデータボリュームとユーザークエリを管理するためにスケーラブルでなければなりません。最適化されたクエリ実行プランとリソース管理戦略を使用すると、処理効率をさらに高めることができます。 オープンテーブル形式には、パフォーマンスを向上させるための機能も含まれています。これらはまた、適切に構成され、完全に最適化されたスタックのために活用する必要があります。そのような機能の1つは、メタデータをデータから別々に管理し、クエリの計画と実行をより速く可能にする効率的なメタデータ処理です。データパーティションはデータをサブセットに組織し、操作中にスキャンするデータの量を減らすことによってクエリパフォーマンスを向上します。 データレイクハウス環境が効率的でスケーラブルで、現代のアナリティクスおよびAIワークロードの要求を満たすことができるように、データレイクハウス環境をストレージおよびコンピューティング層でこれらのパフォーマンス側面に焦点を当てることができます。 Open Data Lakehouses and Interoperability Open Data Lakehouses and Interoperability(オープンデータ湖ハウスと相互運用性) データレイクハウスのアーキテクチャは、データ管理に対する統一的なアプローチを提供するためのオープンテーブルフォーマットに基づいています。しかし、真のオープン性を実現するには、オープンテーブルフォーマットを採用する以上のことを必要とします。 オープンテーブル形式はオープンスタンダードであり、そのデザインによって、スタック全体の相互運用性と開放性をサポートしています。それでも、カタログの相互運用性を確保し、テーブル管理のための独占サービスへの依存を回避するなど、実用的な課題は残っています。 グローバル互換性への進歩を示し、一度書き込み、どこにいてもクエリシステムへの道を提供する。XTableは複数のオープンテーブル形式で書くことを許可しません。 Apache XTableについて Apache XTableについて The Future of Open Table Formats オープンテーブル形式の未来 データレイクハウスの景観が進化し続けるにつれて、一定の傾向と進歩が将来を形作る可能性があります。 ( ) レイクハウスアーキテクチャに直接入ります。ストレージ層の場合、これはHugging FaceやOpenAIなどの主要なAIプラットフォームへの直接統合を持つプラットフォームのように見えます。コンピューティング層の場合、AI統合は、MLアルゴリズムに最適化された専門的なコンピューティングエンジンの作成につながり、レイクハウスエコシステム内のトレーニングと推論プロセスの効率を向上させます。 ML ワークロード ML ワークロード オープンソースコミュニティで大きな成長を遂げるもう一つの分野は、Databricks、Snowflake、AWSなどの大手民間企業が体重を伸ばし始めると、オープンテーブル形式が真のオープン・スタンダードであることを忘れるのは簡単です。Iceberg、Hudi、Delta Lakeは、オープンソースのツールやプラットフォームへの貢献、協力、または統合に役立つことができます。 最後に、オープンテーブルフォーマットの採用は、企業がAIやその他の高度な用例のための大規模で高性能なデータレイクハウスを構築するにつれて引き続き増加する。 業界の専門家は、オープンテーブル形式の人気を、2000年代初頭のHadoopの登場と優位性と同等にしている。 いくつか いくつか Build for Today and Tomorrow 今日と明日のために作る オープンテーブル形式と高性能オブジェクトストレージを組み合わせることで、アーキテクチャは、AI、ML、および高度な分析の要求を満たすことができるオープンで相互運用可能なデータシステムを構築することができます。

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

このオーディオは、ストーリーの元の言語で制作されています。

The Architect's Handbook to Open Table Formats and Object Storage(テーブル形式とオブジェクトストレージを開くためのアーキテクチャのハンドブック)

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps