Како Iceberg + AIStor го моќен модерен мулти-моторни податоци езеро куќа

Се чини дека светот на податоците го зазеде (снежна) бура.Првобитно инкубиран на Netflix од страна на Рајан Блу (исто така од , сега Databricks слава), на крајот беше пренесена на Apache Software Foundation каде што во моментов престојува. Во своето срце, тоа е отворен формат на табела за набори на податоци на скала (мислете стотици ТБ до стотици PBs). Со АИ преземање огромни количини на податоци за креирање на модели, прилагодување и заклучување во реално време, потребата за оваа технологија само се зголеми од нејзиниот првичен развој. Апаче Ицеберг Табелата Апаче Ицеберг Табелата Iceberg е мулти-мотор компатибилен формат. Тоа значи дека Spark, Trino, Flink, Presto, Snowflake и Dremio сите можат да работат независно и истовремено на истиот сет на податоци. Iceberg поддржува SQL, универзалниот јазик на анализа на податоци и обезбедува напредни карактеристики како што се атомски трансакции, еволуција на шема, еволуција на партиција, патување во времето, rollback и нулто копирање. поврзани со: Data Lakehouse Solutions од страна на MinIO Data Lakehouse Solutions од страна на MinIO Цели за модерен отворен стол формат The promise of a lakehouse lies in its ability to unify the best of data lakes and warehouses. Data lakes stored on object storage were designed to store massive amounts of raw data in its native format, offering scalability, ease of use, and cost-effectiveness. However, data lakes on their own struggled with issues like data governance, and the ability to efficiently query the data stored in them. Warehouses, on the other hand, were optimized for structured data and SQL analytics but fell short in handling semi-structured or unstructured data at scale. Iceberg и други формати на отворена табела како Apache Hudi и Delta Lake претставуваат скок напред. Овие формати ги прават податочните езера да се однесуваат како складишта, додека ја задржуваат оригиналната флексибилност и скалабилност на објектот за складирање. Овој нов куп на формати на отворена табела и отворено складирање може да поддржува разновидни работни оптоварувања како што се АИ, машинско учење, напредна аналитика и визуелизација во реално време. Iceberg се одликува со својот пристап SQL-first и се фокусира на компатибилност со повеќе мотори. Еве еден поглед на тоа како оваа инфраструктура би можела да функционира. Моторите за пребарување може да седат директно на врвот на објектот за складирање во вашиот стек и да ги пребаруваат податоците во него без миграција. Старата парадигма за миграција на податоците во складиштето на d бази на податоци повеќе не е релевантна. Аналитичките алатки и визуелизациите често можат да се поврзат директно со вашето складиште каде што се складираат вашите табели, но повеќе обично интерфејс со вашиот мотор за пребарување за поефикасно корисничко искуство. На крајот, AI/ML има ист принцип на дизајн како и моторите за пребарување. Овие алатки AI/ML ќе ги користат табелите Iceberg директно во објектотското складирање без миграција.Иако не сите алатки AI/ML го користат Iceberg во ова време, постои длабок интерес за користење на Iceberg за AI/ML , особено поради нивната способност да одржуваат повеќе верзии на модели и сетови на податоци без потешкотии. ML работни оптоварувања ML работни оптоварувања Што е посебно во Iceberg Apache Iceberg се разликува од комбинацијата на карактеристики и принципи на дизајн кои го издвојуваат од алтернативи како Apache Hudi и Delta Lake. : Iceberg offers comprehensive support for schema evolution, allowing users to add, drop, update, or rename columns without necessitating a complete rewrite of existing data. This flexibility ensures that changes to the data model can be implemented seamlessly, maintaining operational continuity. Schema Evolution Iceberg поддржува еволуција на партициите, овозможувајќи модификации на партиционирање шеми со текот на времето без да се бара повторно пишување на податоците. Partition Evolution Iceberg користи хиерархиска структура на метаподатоци, вклучувајќи ги манифестните датотеки, манифестните списоци и метаподатоците. Овој дизајн го подобрува планирањето и оптимизацијата на прашањата со обезбедување на детални информации за датотеките со податоци, олеснување на ефикасен пристап и управување со податоците. Metadata Management Дизајниран со отвореност во умот, Iceberg е компатибилен со различни мотори за обработка како што се Apache Spark, Flink, Trino и Presto. Оваа интероперабилност им дава на организациите флексибилност да ги изберат алатките кои најдобро одговараат на нивните потреби и ефикасно намалување на цените и поттикнување на иновациите во овие производи. Multi-Engine Compatibility Мотори за пребарување на стоки commodizes query engines : Како и со сите формати на отворени маси, Iceberg има корист од разновидна и активна заедница, придонесувајќи за нејзината робушност и континуирано подобрување. " Open Source Community Складирање на објекти и айсберг Складирањето на објекти го формира темелот на современите архитектури на езера, обезбедувајќи ги скалабилноста, издржливоста и трошочната ефикасност потребни за управување со огромни збирки на податоци во многу средини.Во архитектурата на езера, слојот на складирање игра критична улога во обезбедувањето на издржливоста и достапноста на податоците, додека формат на отворена табела како Iceberg ги управува метаподатоците. е особено погоден за овие барања. На пример, за работни оптоварувања со висок проток како обука на модели, поддршката на AIStor за S3 преку RDMA обезбедува пристап до податоци со ниска летенција. Оваа функција го прави комбинирањето на двете технологии многу ефикасно решение, особено за големи АИ и аналитички цевки. Ајстор Ајстор Пробајте го сами: Предуслови Ќе треба да инсталирате Docker и Docker Compose. Кога и двете се потребни, честопати е полесно да се инсталира . Download and install Docker Desktop from the official Docker website. Follow the installation instructions provided in the installer for your operating system. Open Docker Desktop to ensure it’s running. Десктоп десктоп Десктоп десктоп Ако сакате, исто така можете да ја проверите инсталацијата на Docker и Docker Compose со отворање на терминал и изведување: docker --version docker-compose --version Iceberg Туторијал Овој дел покажува како да се интегрираат Iceberg и AIStor за цврста архитектура на езерото. За да ја креираме нашата почетна средина: Apache Iceberg Spark брзо стартување Apache Iceberg Spark брзо стартување Step 1: Setup with Docker Compose Чекор 1: Инсталирање со Docker Compose Follow the to launch a containerized environment with Spark and Iceberg pre-configured. The first step in the guide is to copy the below information into a file and save as a file named docker-compose.yml: Apache Iceberg Spark Quickstart guide Apache Iceberg Spark Quickstart guide version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Потоа, во терминалниот прозорец, префрлете се на местото каде што сте го зачувале .yml датотеката и започнете ги контејнерите за докер со оваа команда: docker-compose up You can then run the following commands to start a Spark-SQL session. Докер извршител -it spark-iceberg spark-sql Step 2: Create a Table Чекор 2: Креирање на маса Отворете ја Spark школка и креирајте табела: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); Проверете ја вашата MinIO Console со навигација до и да се најавите со верификациите од .yml: AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=парола http://127.0.0.1:9001 http://127.0.0.1:9001 Here, observe the iceberg/my_table/metadata path created for the table. Initially, no data files exist—only metadata that defines the schema and partitions. Step 3: Insert Data Чекор 3: Внесете ги податоците Внесете некои глупави податоци: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); This operation creates data files in the appropriate partitions (my_table/data/category=...) and updates the metadata. Step 4: Query the Data Чекор 4: Побарајте ги податоците Run a basic query to validate: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; Вашиот излез треба да изгледа нешто како што следува: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Тестирање на клучните карактеристики на Iceberg Сега што сте воспоставиле базална база на податоци со податоци со кои можете да ги манипулирате, ајде да ги разгледаме карактеристиките кои го прават Iceberg уникатен: Schema Evolution и Partition Evolution. Schema Evolution Схема на еволуција Schema evolution is one of Apache Iceberg’s most powerful and defining features, addressing a significant pain point in traditional warehouse systems. It allows you to modify a table's schema without requiring expensive and time-consuming data rewrites, which is particularly beneficial for large-scale datasets. This capability enables organizations to adapt their data models as business needs evolve without disrupting ongoing queries or operations. Во Iceberg, промените на шемата се обработуваат чисто на ниво на метаподатоци. На секоја колона во табела е доделен уникатен ИД, обезбедувајќи дека промените на шемата не влијаат на основните датотеки со податоци. На пример, ако се додаде нова колона, Iceberg му доделува нов ИД без да ги реинтерпретира или препишува постојните податоци. Еве пример за тоа како функционира еволуцијата на шемата во пракса. Да претпоставиме дека треба да додадете нова колона, купувач, за да зачувате дополнителни информации за трансакциите. Можете да ја извршите следната SQL команда: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Оваа операција ги ажурира метаподатоците на табелата, овозможувајќи нови датотеки со податоци да ја вклучат колоната на купувачот. Постарите датотеки со податоци остануваат непроменети, а прашањата може да се напишат за да се справат со нови и стари податоци беспрекорно. Слично на тоа, ако повеќе не ви е потребна колона, можете да ја избришете без да влијаете на зачуваните податоци: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; This action updates the schema to exclude the category column. Iceberg ensures that any associated metadata is cleaned up while maintaining the integrity of historical queries that might still reference older data versions. Iceberg’s schema evolution also supports renaming columns, changing column types, and rearranging column order, all through efficient metadata-only operations. These changes are made without altering the data files, making schema modifications instantaneous and cost-effective. This approach is especially advantageous in environments with frequent schema changes, such as those driven by AI/ML experiments, dynamic business logic, or evolving regulatory requirements. Partition Evolution Разделба на еволуцијата Iceberg supports partition evolution that can handle the tedious and error-prone tasks of producing partition values for rows in a table. Users focus on adding filters to the queries that solve business problems and do not worry about how the table is partitioned. Iceberg automatically avoids reads from unnecessary partitions. Iceberg се занимава со комплексноста на партиционирање и менување на шемата на партиција на табелата за вас, што во голема мера го поедноставува процесот за крајните корисници. Можете да го дефинирате партиционирањето или да дозволите Iceberg да се грижи за тоа за вас. Iceberg сака да партиционира на временска ознака, како што е времето на настанот. партициите се следат со снимки во манифестите. Прашањата повеќе не зависат од физичкиот распоред на табелата. Поради ова раздвојување помеѓу физичките и логичките табели, табелите на Iceberg можат да ги развијат партициите со текот на времето како што се додаваат повеќе податоци. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; Сега имаме две шеми за партиционирање за истата табела. Од сега натаму, плановите за прашање се поделени, користејќи ја старата шема за партиција за да ги прашам старите податоци, а новата шема за партиција за да ги прашам новите податоци. Iceberg се грижи за ова за вас – луѓето што ја прашуваат табелата не треба да знаат дека податоците се чуваат со користење на две шеми за партиција. Iceberg го прави ова преку комбинација од клаузули зад сцената WHERE и филтери за партиција кои ги избришуваат податоците без натпревари. Time Travel and Rollback Време патување и Rollback Секое пишување на Iceberg табели создава нови слики. Снапсхотови се како верзиите и може да се користи за патување во времето и враќање назад, исто како што го правиме со AIStor верзионирање способности. Начинот на слики се управуваат е со поставување истекуваSnapshot така што системот се одржува добро. Временски патување овозможува репродуктивни барања кои користат токму иста табела слики, или им овозможува на корисниците лесно да ги испитаат промените. Верзија за враќање им овозможува на корисниците брзо да ги поправат проблемите со враќање на табели во добра состојба. Како што се менуваат табелите, Iceberg ја следи секоја верзија како сноп, а потоа обезбедува можност за патување во времето до било кој сноп при пребарување на табелата. Ова може да биде многу корисно ако сакате да извршите историски барања или да ги репродуцирате резултатите од претходните барања, особено за известување. За да ги видите сликите што се зачувани за табела, извршете го следното прашање: SELECT * FROM my_catalog.my_table.snapshots; Вашиот излез треба да изгледа вака: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Некои примери : -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Можете да направите концентрични читања со користење на слики, но мора да користите Spark, а не Spark-SQL. scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) Можете исто така да ја вратите табелата на одредена точка во времето или на одредена снимка, како во овие два примера. CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Expressive SQL Iceberg ги поддржува сите експресивни SQL команди како бришење на ниво на ред, спојување и ажурирање, а најголемата работа што треба да се истакне е дека Iceberg поддржува и Eager и мрзливи стратегии. Ние можеме да ги кодираме сите работи што треба да ги избришеме (на пример, GDPR или CCPA), но не ги препишуваме сите тие датотеки со податоци веднаш, можеме лажно да собираме ѓубре по потреба и тоа помага во ефикасноста на огромните табели поддржани од Iceberg. На пример, можете да ги избришете сите записи во табела кои одговараат на одредена предикат. DELETE FROM my_catalog.my_table WHERE category = 'video'; Alternatively, you could use CREATE TABLE AS SELECT or REPLACE TABLE AS SELECT to accomplish this: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; Можете да комбинирате две табели многу лесно: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; Data Engineering Iceberg е основа за стандардот за отворена аналитичка табела и користи SQL однесување и ги применува основите на складиштето на податоци за да ги поправи проблемите пред да знаеме дека ги имаме. Со декларирачкото инженерство на податоци можеме да ги конфигурираме табелите и да не се грижиме за менување на секој мотор за да одговара на потребите на податоците. Ова отклучува автоматска оптимизација и препораки. Со безбедни ангажмани, можно е да се обезбедат услуги за податоци кои помагаат во избегнување на човечки оптоварувања со податоци. Еве некои примери за овие видови конфигурации: За да ја проверите историјата на табелата, слики и други метаподатоци, Iceberg поддржува метаподатоци за пребарување. Табелите со метаподатоци се идентификуваат со додавање на името на табелата со метаподатоци (на пример, историја) по оригиналното име на табелата во прашањето. За да ги прикажете датотеките со податоци на табелата: SELECT * FROM my_catalog.my_table.files; За да се прикажат манифестите: SELECT * FROM my_catalog.my_table.manifests; To display table history SELECT * FROM my_catalog.my_table.history; To display snapshots SELECT * FROM my_catalog.my_table.snapshots; You can also join snapshots and table history to see the application that wrote each snapshot select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Now that you’ve learned the basics, load some of your data into Iceberg, then learn more from the . Ицеберг документација Интеграции Различни мотори за пребарување и извршување имплементирале Iceberg конектори, што го олеснува креирањето и управувањето со Iceberg табели. , на , на , на , на , И листата се зголемува. СПАРК Одлично наскоро Trino Сонот Snowflake This extensive integration landscape ensures that organizations can adopt Apache Iceberg without being constrained to a single processing engine, promoting flexibility and во нивната инфраструктура на податоци. Интероперабилност Интероперабилност Каталози Во секој дефинитивен водич би било препорачливо да не се споменуваат каталозите. Каталозите на Iceberg се централни за управување со метаподатоците на табелите и за олеснување на врските помеѓу збирките на податоци и моторите за пребарување. Овие каталози одржуваат критични информации како што се шеми на табели, слики и распореди на партиции, овозможувајќи ги напредните карактеристики на Iceberg како што се патувањата во времето, еволуцијата на шемите и атомските ажурирања. Постојат неколку имплементации на каталози за да се задоволат различни оперативни потреби. На пример, Polaris нуди скалабилно решение за каталогирање во облак прилагодено на современите инфраструктури за податоци, додека Dremio Nessie воведува верзија It’s Cool to Build Data Lakes with Iceberg and AIStor Растечката заедница со отворен код и зголемувањето на бројот на интеграции од повеќе даватели на облак и рамки за апликации значи дека е време сериозно да го земете Iceberg и да започнете со експериментирање, учење и планирање за интегрирање во постоечката архитектура на езерото на податоци. Кога ќе започнете со Iceberg и AIStor, ве молиме да допрете и да ги споделите вашите искуства или да поставувате прашања преку . Нашиот слаб канал