Iceberg + AIStor нь орчин үеийн Multi-Engine Data Lakehouse-ийг хэрхэн эрчимжүүлэх вэ

Энэ нь өгөгдлийн дэлхий даяар (хөнгөн) буудлаас олж авсан гэж байна. Эхлээд Netflix-д Ryan Blue (ямар ч , одоо Databricks алдартай), энэ нь одоогийн байрладаг Apache Програм хангамжийн суурь руу дамжуулагдсан. Үнэндээ, энэ нь ачаалалтай өгөгдлийн цуврал (төвт ТБ-ийн зуун PB-ийн зуун) нь нээлттэй ширээний формат юм. AI-ийн загвар үүсгэх, тохиргоог, жинхэнэ цаг хугацааны түлхүүрлэхэд маш их хэмжээгээр өгөгдлийг олж чадна, энэ технологийн шаардлагатай нь эхний хөгжүүлэх хойш зөвхөн нэмэгдэж байна. Apache айсберг Тоглоомын Apache айсберг Тоглоомын Iceberg нь олон хөдөлгүүрийн тохиромжтой формат юм. Энэ нь Spark, Trino, Flink, Presto, Snowflake болон Dremio нь нэг өгөгдлийн бүтэц дээр тусгайдаа, нэг удаа ажиллуулж болно. Iceberg нь SQL-ийг дэмждэг, өгөгдлийн анализын олон тооны хэл, атомны арилжааны, схем эвдэх, хуваалцны эвдэх, цаг хугацааны аялал, rollback, нуль хуваалцах зэрэг дэвшилтэт шинж чанарыг санал болгож байна. Энэ нийтлэл нь Iceberg-ийн шинж чанарыг, дизайн, AIStor-ийн өндөр чанарын хадгаламжийн давхаргатай харьцуулахад өгөгдлийн оюутнуудыг бий болгохын тулд шаардлагатай флексибилност, Холбоо барих: Data Lakehouse Solutions гэхэд MinIO Data Lakehouse Solutions гэхэд MinIO Modern Open Table формат нь зорилгоор Энэ нь хамгийн сайн өгөгдлийн оёдлын болон хадгалах боломжийг нэгтгэхийн тулд боломжийг олгодог. Оёдлын хадгалах дээр хадгалах өгөгдлийн оёдлын гол хэлбэрээр ихэнх хэмжээгээр цахилгаан өгөгдлийг хадгалах зорилготой бөгөөд хэрэглэхэд хялбар, үнэ цэнэтэй байдаг. Гэсэн хэдий ч, өгөгдлийн оёдлын нь өгөгдлийн удирдлага, тэдэнд хадгалах өгөгдлийг үр ашигтай хайх боломжийг зэрэг асуудалтай байдаг. Iceberg болон Apache Hudi болон Delta Lake гэх мэт бусад нээлттэй ширээний формат нь урьдчилан сэргийлэх юм. Эдгээр форматүүд нь өгөгдлийн оёдлыг хадгалах үед эхний уян хатан байдал, объектын хадгалах тоноглогдсон юм. Энэ нь нээлттэй ширээний формат, нээлттэй хадгалах шинэ багц нь AI, машин суралцах, дэвшилтэт аналитик, жинхэнэ цаг ариутгах зэрэг янз бүрийн ажлын ачааллыг дэмждэг. Iceberg нь SQL-first аргаар, олон хөдөлгүүрийн тохируулга дээр анхааралтай байдаг. Here is a look at how this infrastructure could function. The query engines can sit directly on top of the object storage in your stack and query the data inside it without migration. The old paradigm of migrating data into a d databases’ storage is no longer relevant. Instead, you can and should be able to query your Iceberg Tables from anywhere. Аналитик хэрэгсэл, Визуализациуд нь ихэвчлэн Iceberg-ийн табелийг хадгаламжийн хадгаламжийн байрлалд шууд холбох боломжтой боловч ихэвчлэн хэрэглэгчдийн туршлага нь таны хайлтын хөдөлгүүртэй интерфэйс. Өнгөрсөн ч, AI / ML нь асуулт хөдөлгүүрийн хувьд нэг дизайн принциптай байдаг. Эдгээр AI / ML хэрэгсэл нь Iceberg-ийн тавилгаудыг миграцийнгүйгээр объектын хадгалах үед шууд ашиглах болно. Гэсэн хэдий ч бүх AI / ML хэрэгсэл нь Iceberg-ийг ашиглахыг хүсэж байгаа боловч Iceberg-ийг AI / ML-ийг ашиглахыг мэдэгдэж байна. , ялангуяа олон хувилбар, өгөгдлийн багц нь хязгааргүйгээр хадгалахын тулд тэдний чадвартай. ML Ажлын ML Ажлын Iceberg-ийн онцгой зүйл Apache Iceberg нь Apache Hudi болон Delta Lake гэх мэт альтернатийг өөрчилсөн онцлог, дизайн принципов хослуулан өөрчлөн байна. Iceberg нь схем эволюцийг бүрэн дэмждэг, хэрэглэгчдэд одоогийн өгөгдлийн бүрэн шинэчлэх хэрэгтэйгүйгээр ширхэг нэмэх, тавтай морилно уу, шинэчлэх, эсвэл шинэчлэх боломжийг олгодог. Энэ флексибилност нь өгөгдлийн загварыг өөрчилж, үйл ажиллагаатай байлгах байлгах боломжийг олгодог. Schema Evolution : Iceberg partition evolution дэмждэг, partitioning схемууд нь өөрчилж чадахгүй байх боломжийг олгодог. Энэ боломжууд нь даатгалын хуваалцлын динамик оптимизацийг боломжийг олгодог. Partition Evolution Iceberg нь manifest файлуудыг, manifest жагсаалт, метадат файлуудыг агуулсан хиэрхэрийн метадат бүтэц ашигладаг. Энэ загвар нь өгөгдлийн файлуудыг талаар нарийвчлалтай мэдээллийг хангах, үр дүнтэй өгөгдлийн хангамж, удирдах боломжийг олгодог. Metadata Management Iceberg нь тавтай морилно уу дизайн, Apache Spark, Flink, Trino, Presto гэх мэт янз бүрийн боловсруулах хөдөлгүүрүүдтэй нийцэж байна. Энэ нь операцийг хэрэгцээг хамгийн тохиромжтой, үр дүнтэй арга хэрэгслүүд сонгох боломжийг олгодог. Бүтээгдэхүүний үнэ цэнийг багасгах, шинэчлэлт идэвхжүүлэх. Multi-Engine Compatibility Commodizes хайлтын хөдөлгүүр commodizes query engines : Бүх нээлттэй ширээний хэлбэрээр шиг, Iceberg нь янз бүрийн, идэвхтэй олон нийтийн ашигтай бөгөөд энэ нь тогтвортой байдал, үргэлжлүүлэн сайжруулдаг. " Open Source Community Object Storage болон айсберг Object storage forms the foundation of modern lakehouse architectures, providing the scalability, durability, and cost-efficiency required to manage vast datasets across many environments. In a lakehouse architecture, the storage layer plays a critical role in ensuring the durability and availability of data, while an open table format like Iceberg manages the metadata. is particularly well-suited for these requirements. For example, for high-throughput workloads like model training, AIStor’s support for S3 over RDMA ensures low-latency access to data. This feature makes the combination of the two technologies a very effective solution, particularly for large-scale AI and analytics pipelines. High performance is critical for the success of lakehouse initiatives - It doesn’t matter how cool your table format is if it can’t serve up queries as fast as your users require. Өргөтгөл Өргөтгөл Та нартай үүнийг туршиж: шаардлага Та Docker болон Docker Compose-ийг суулгах хэрэгтэй. Дараа нь аль аль аль нь шаардлагатай бол суулгах нь ихэвчлэн хялбар байдаг . Docker Desktop-ийг албан ёсны Docker вэбсайтаас татаж, суулгах. таны операцийн системд суулгах програм хангамж дээр хандах суулгах зааврыг дагаж. Docker Desktop-ийг ажиллуулахын тулд нээх. Татаж авах Desktop Татаж авах Desktop Хэрэв та хүсэж байгаа бол, та бас докер болон Docker Compose суулгахын тулд терминал нээж, ажиллуулах боломжтой: docker --version docker-compose --version Iceberg Tutorial Энэ хэсэг нь Iceberg болон AIStor-ийг тогтвортой оюутны архитектурын хувьд нэгтгэхийн тулд хэрхэн илрүүлэх болно. Бид Бидний эхний байлгахын тулд: Apache Iceberg Спарк Quickstart Apache Iceberg Спарк Quickstart Step 1: Setup with Docker Compose Step 1: Setup with Docker Compose Follow the Spark болон Iceberg pre-configured нь контейнерийн байгаль орчинд эхлэх. Гарын авлага дахь анхны арга нь доорх мэдээллийг файл руу копийг болон docker-compose.yml гэж нэрлэгдсэн файл болгон хадгалж байна: Apache Iceberg Spark Quickstart гарын авлага Apache Iceberg Spark Quickstart guide version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Дараа нь терминалын ширээнд .yml файлыг хадгалах газар руу навигац, докер контейнерууд энэ орлоготай эхэлнэ: docker-compose up You can then run the following commands to start a Spark-SQL session. docker exec -it spark-iceberg spark-sql Step 2: Create a Table Шаг 2: Тавтай морилно уу Spark хавтан нээж, тавтай морилно уу: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); MinIO Console-ийг навигацийг үзнэ үү and logging in with the credentials from the .yml: AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=password http://127.0.0.1:9001 http://127.0.0.1:9001 Энд тавтай морилно уу, тавтай морилно уу, тавтай морилно уу, тавтай морилно уу. Step 3: Insert Data Загвар 3: Data Input Хамгийн сүүлийн үеийн мэдээлэл: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); Энэ үйл ажиллагаа нь тохиромжтой хуваалцах (my_table/data/category=...) нь өгөгдлийн файлуудыг үүсгэх, метадантах шинэчлэх болно. Step 4: Query the Data Step 4: Query the Data Validate нь үндсэн асуултыг гүйцэтгэхийн тулд: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; Таны output нь дараах хэлбэртэй байх ёстой: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Key Iceberg шинж чанарын шалгалт Now that you’ve established a baseline data lakehouse with data that you can manipulate. Let’s check out the features that make Iceberg unique: Schema Evolution, and Partition Evolution. Schema Evolution Эдүүлбэр Schema evolution Apache Iceberg-ийн хамгийн хүчтэй, тодорхойлолттай онцлог нэг юм. Энэ нь тавтай морилно уу тавтай морилно уу тавтай морилно уу, урт хугацаатай өгөгдлийг өөрчилж чадна. Энэ боломжууд нь олон тооны өгөгдлийн багцыг маш их ашигтай байдаг. Энэ боломжууд нь аж ахуйн нэгжийн хэрэгцээг боловсруулсан дагуу өгөгдлийн загварыг тохируулах боломжийг олгодог. Iceberg-д ширхэг өөрчлөлтийг зөвхөн метадантын түвшинд боловсруулсан. Таблийн бүр ширхэг нь тусгай ID-ийг хуваалцахын тулд ширхэгний өөрчлөлтийг үндсэн өгөгдлийн файлуудыг нөлөөгүй болгодог. Жишээ нь, шинэ ширхэг нэмсэн бол Iceberg нь одоогийн өгөгдлийг өөрчилж, өөрчилжгүйгээр шинэ ID-ийг хуваалцах. Энэ нь алдааг явах, түүхэн өгөгдлийг дагаж өгдөг. Here’s an example of how schema evolution works in practice. Suppose you need to add a new column, buyer, to store additional information about transactions. You can execute the following SQL command: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Энэ үйл явц нь тавтай морилно уу, шинэ өгөгдлийн файлуудыг худалдан авагч цуглуулах боломжийг олгодог. Хамгийн алдартай өгөгдлийн файлуудыг байлгахгүй байдаг бөгөөд шинэ болон хуучин өгөгдлийг хослуулахын тулд асуултууд бичж болно. Similarly, if a column is no longer required, you can remove it without affecting the stored data: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; Энэ үйл явцад бүтэц цуврал тусгаарлахад схемууд шинэчлэгддэг. Iceberg тусгаарлагдмал метадансуудыг цэвэрлэж байгаа бөгөөд энэ нь одоо ч байтугай хуучин өгөгдлийн хувилбаруудтай байж болох түүхэн асуултуудын энгийн байлгах болно. Iceberg-ийн схем эвдэх нь цонхны шинэчлэл, цонхны төрөл өөрчилж, цонхны орчуулалтыг шинэчлэхэд дэмждэг. Эдгээр хувилбарууд нь өгөгдлийн файлуудыг өөрчилжгүйгээр хийж байгаа бөгөөд схемны хувилбарууд нь хурдан, үнэ цэнэтэй байх болно. This approach is especially advantageous in environments with frequent schema changes, such as those driven by AI/ML experiments, dynamic business logic, or evolving regulatory requirements. Partition Evolution Өргөтгөл Evolution Iceberg тавтай морилно уу, тавтай морилно уу, тавтай морилно уу. Тавтай морилно уу, тавтай морилно уу. Тавтай морилно уу, тавтай морилно уу. Тавтай морилно уу, тавтай морилно уу. Iceberg танд тавтай морилно уу, тавтай морилно уу тавтай морилно уу, эцсийн хэрэглэгчдэд үйл явцыг маш хялбар болгож байна. Та морилно уу, эсвэл Iceberg танд тусалж болно. Iceberg цаг хугацааны зэрэг цаг хугацаатай морилно уу. Тавтай морилно уу. Тавтай морилно уу, тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу, тавтай морилно уу, Iceberg тавтай морилно уу. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; We now have two partitioning schemes for the same table. From now on, query plans are split, using the old partition scheme to query old data, and the new partition scheme to query new data. Iceberg takes care of this for you — people querying the table don’t need to know that data is stored using two partition schemes. Iceberg does this through a combination of behind-the-scenes WHERE clauses and partition filters that prune out data files without matches. Time Travel and Rollback Цаг аялал & Rollback Iceberg хавтгай дөрвөлжин хуудсыг үүсгэдэг. Snapshots хувилбарууд шиг бөгөөд бид AIStor-ийн хуудсыг хуудсуулах боломжийг ашиглан цаг хугацааны аялал, rollback хийхэд ашиглаж болно. Snapshots-ийг удирдах арга нь систем сайн хадгалахын тулд expireSnapshot-ийг тохируулах юм. Time travel нь тавтгай дөрвөлжин хуудсуудыг ашиглах боломжийг олгодог, эсвэл хэрэглэгчдийн тохиромжтой өөрчлөлтийг шалгана. Version rollback-ийг хэрэглэгчдэд хурдан тохируулах боломжийг олгодог. Таблийг өөрчлөх үед Iceberg бүх хувилбарууд нь хэт авианы хэлбэрээр дагаж, дараа нь тавтай морилноор ямар ч хэт авианы хэлбэрээр цаг хугацааг аялах боломжийг олгодог. Энэ нь түүхэн асуултуудыг ажиллуулах эсвэл өмнөх асуултуудын үр дүнг хуваалцахыг хүсэж байгаа бол маш ашигтай байж болно. цаг хугацааны аялал нь шинэ код өөрчлөлтийг туршиж байгаа бол тусламжтай үр дүнд шинэ код туршиж болно. To see the snapshots that have been saved for a table run the following query: SELECT * FROM my_catalog.my_table.snapshots; Таны output үүнийг тавтай морилно уу: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Зарим жишээ: -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Та snapshots ашиглан нэмэлт унших хийх боломжтой боловч Spark, Spark-SQL нь ашиглах хэрэгтэй. Жишээ нь scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) Мөн тавтай морилно уу Тавтай морилно уу Тавтай морилно уу Тавтай морилно уу Тавтай морилно уу CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Expressive SQL Iceberg шуудангийн түвшинд илрүүлэх, хуваалцах, шинэчлэх гэх мэт бүх хэлбэрийн SQL үйл явцыг дэмждэг бөгөөд хамгийн том зүйл нь Iceberg нь Eager болон шуудангийн стратегийг хооронд дэмждэг юм. Бид (жишээ нь, GDPR эсвэл CCPA) илрүүлэх хэрэгтэй бүх зүйлсийг шилжүүлэх боломжтой боловч энэ өгөгдлийн файлуудыг одлагад шинэчлэхгүй, бид шаардлагад шуудангийн цуглуулах боломжтой бөгөөд энэ нь Iceberg-ийн дэмжлэгтэй том тавцан дээр үр ашигтай туслах болно. Жишээ нь, тавтай морилно уу, тавтай морилно уу, тавтай морилно уу, тавтай морилно уу. DELETE FROM my_catalog.my_table WHERE category = 'video'; Alternatively, you could use CREATE TABLE AS SELECT or REPLACE TABLE AS SELECT to accomplish this: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; You can merge two tables very easily: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; Бүтээгдэхүүн Iceberg is the foundation for the open analytic table standard and uses SQL behavior and applies the data warehouse fundamentals to fix the problems before we know we have it. With declarative data engineering we can configure tables and not worry about changing each engine to fit the needs of the data. This unlocks automatic optimization and recommendations. With safe commits, data services are possible which helps in avoiding humans babysitting data workloads. Here are some examples of these types of configurations: Таблийн түүх, тавтай морилно уу, болон бусад метадандыг шалгахын тулд Iceberg асуултын метадангаа дэмждэг. Метадангааны хавтан таны асуултын эхний хавтрын дараа метадангааны хавтрын нэр (жишээ нь, түүх) нэмж мэдэгддэг. Тавтай морилно уу Тавтай морилно уу SELECT * FROM my_catalog.my_table.files; Манифест үзэх: SELECT * FROM my_catalog.my_table.manifests; To display table history SELECT * FROM my_catalog.my_table.history; Snapshots дэлгэц SELECT * FROM my_catalog.my_table.snapshots; You can also join snapshots and table history to see the application that wrote each snapshot select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Now that you’ve learned the basics, load some of your data into Iceberg, then learn more from the . Iceberg Документал Интеграци Various query and execution engines have implemented Iceberg connectors, making it easy to create and manage Iceberg tables. The engines support Iceberg include Нөхцөл , , Нөхцөл Нөхцөл Ажлын жагсаалт нэмэгдэж байна. Spark Үнэгүй Өнгөрсөн Түүхий Үнэлгээ Snowflake Энэ өргөн интеграцийн үзэсгэлэн нь аж ахуйн нэгжүүд Apache Iceberg-ийг нэг процессорын хөдөлгүүрээс хязгаарлагддаггүйгээр ашиглаж болно. in their data infrastructure. Холбоо барих Холбоо барих Catalogs Iceberg каталог нь тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Тавтай морилно уу. Энэ нь Iceberg болон AIStor ашиглан Data Lakes бий болгох нь хялбар юм Apache Iceberg gets a lot of attention as a table format for data lakes. The growing open-source community and increasing number of integrations from multiple cloud providers and application frameworks means that it’s time to take Iceberg seriously, and start experimenting, learning, and planning on integrating it into existing data lake architecture. Pair Iceberg with AIStor for multi-cloud data lakehouses and analytics. Хэрэв та Iceberg болон AIStor-ийг эхэлж байгаа бол, бидэнтэй холбоо барина уу. . Бидний Slack Channel