Ինչպե՞ս Iceberg + AIStor Power Modern Multi-Engine Data Lakehouse

Տեղադրված է Netflix- ում Ryan Blue- ում (լուսանկարներ) , այժմ Databricks գեղեցկությունը), այն վերջապես փոխվել է Apache Software Foundation- ում, որտեղ այն այժմ գտնվում է: Դա բաց փաթեթային ձեւաչափ է օդանավված տվյալների սարքերի համար (պատկեք միասին, որ միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին, միասին: Apache Iceberg Վիքիպահեստում Տեղադրիչ Apache Iceberg Վիքիպահեստում Տեղադրիչ Iceberg- ը մի քանի մեքենաների համատեղելի ձեւաչափ է: Սա նշանակում է, որ Spark, Trino, Flink, Presto, Snowflake եւ Dremio- ը բոլորը կարող են անմիջապես եւ միասին աշխատել նույն data set- ում: Iceberg- ը աջակցում է SQL- ում, տվյալների analytics- ի ամենամեծ լեզուին, եւ ապահովում է առաջադեմ առանձնահատկությունները, ինչպիսիք են atomic transactions, schema evolution, partition evolution, time travel, rollback, and zero-copy branching: Այս գրառումը ուսումնասիրում է, թե ինչպես Iceberg- ի առանձնահատկությունները եւ դիզայնը, երբ միասին AIStor- ի բարձր կատարման storage layer- ի հետ, առաջարկում է data lakehouses Հիմնական մասին: Data Lakehouse Solutions- ը Minio- ի կողմից Data Lakehouse Solutions- ը Minio- ի կողմից Հիմնական հոդված՝ Modern Open Table Format Արդյոք, այն կարող է լինել միասին, քանի որ այն կարող է միավորել լավագույն տվյալների նավերի եւ սարքավորումների: Արդյոք, տվյալների նավերը, որոնք տեղադրվում են բոնուսային սարքավորումների վրա, նախագծված են խանութային տվյալների մեծ քանակությամբ տեղադրման համար, որը առաջարկում է ծախսելիությունը, օգտագործման հեշտությունը եւ ծախսերի արդյունավետությունը: Սակայն, տվյալների նավերի համար, ինչպիսիք են տվյալների կառավարման խնդիրներ, եւ հզորությունը, որ կարող են հզորորեն հարցնել այն տվյալները, որոնք տեղադրվում են նրանց վրա: Արդյոք, սարքավորվող տվյալների եւ SQL- ի analytics- ի համար optimized են, բայց կախված են մետաղական մետաղական կամ մետաղական տվյալների կառավարման համար: Iceberg- ը եւ այլ open-table ձեւաչափները, ինչպիսիք են Apache Hudi- ը եւ Delta Lake- ը, մի վերադառնալով են: Այս ձեւաչափները թույլ են տալիս տվյալների նավերները աշխատել, ինչպիսիք են պահեստներ, իսկ պահպանվում են օդանավի պահեստության սկսական հզորությունը եւ ծախսելիությունը: Այս նոր փաթեթը open-table ձեւաչափերի եւ open-time պահեստության համար կարող է աջակցել տարբեր աշխատանքային բեռնություններ, ինչպիսիք են AI- ը, մեքենայի ուսուցման, առաջադեմ analytics- ը եւ իրական ժամանակի տեսանյութը: Iceberg- ը բացահայտվում է իր SQL- ի առաջին ձեւաչափով եւ կենտրոնանում է բազմաթիվ մեքենայի համատեղելիությունը: Հետեւեք, թե ինչպե՞ս կարող է աշխատել այս ինտրաֆորմացիա: Հեղինակային մատակարարները կարող են տեղադրվել ուղղակիորեն ձեր բոնուսի բոնուսի բոնուսի վրա եւ հարցնել այդ բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի բոնուսի համար: Analytics գործիքներ եւ Visualizations- ը սովորաբար կարող է մուտք գործել ձեր պահեստում, որտեղ ձեր Iceberg տեքստները տեղադրվում են, բայց ավելի սովորաբար ինտերֆեյս ձեր փոստի մեքենայի հետ ավելի հեշտ օգտագործող փորձի համար: Այս AI / ML գործիքները կօգտագործեն Iceberg տեքստները ուղղակիորեն օդանավման առանց մigration: Երբ ոչ բոլոր AI / ML գործիքները օգտագործում են Iceberg- ը այս ժամանակ, այնքան շատ հետաքրքիր է օգտագործել Iceberg- ը AI / ML համար: , հատկապես իրենց հզորության համար, որ մոդելների եւ տվյալների սարքերի բազմաթիվ տարբերակներ կարող են պահպանել անսահմանափակորեն: ML գործառույթներ ML գործառույթներ Ի՞նչ է անում Iceberg-ը Apache Iceberg- ը առանձնահատկություններների եւ դիզայնի ռեժիմների միասին բացահայտվում է, որոնք բացահայտել են այն տարբերակները, ինչպիսիք են Apache Hudi- ը եւ Delta Lake- ը: Iceberg- ը առաջարկում է ամբողջական աջակցություն schema evolution- ի համար, որը թույլ է տալիս օգտվողներին ավելացնել, մեռնել, թարմացնել կամ վերլուծել փոշիները, ոչ թե պետք է ամբողջական վերլուծման ստանդարտ տվյալները: Այս հարմարավետությունը ապահովում է, որ տվյալների մոդելների փոխանցումներ կարող են տեղադրվել անսահմանափակորեն, պահպանելով գործառույթային անսահմանափակությունը: Schema Evolution Iceberg- ը աջակցում է partition evolution- ը, որը թույլ է տալիս partitioning schemes- ի փոխանակման համար ժամանակի ընթացքում, առանց տվյալների վերլուծման անհրաժեշտության: Այս կարողությունը թույլ է տալիս տվյալների դիզայնի դիզայնի դիզայնի դիզայնի փոխանակման համար: Partition Evolution Iceberg- ը օգտագործում է հիերժիկ metadata կառուցվածքը, որը ներառում է manifest ֆայլեր, manifest ֆայլեր եւ metadata ֆայլեր: Այս դիզայնը բարելավում է փոստի նախագծման եւ optimization- ը, որը ապահովում է մանրամասն տեղեկություններ տվյալների ֆայլերի մասին, օգնում է արդյունավետ տվյալների հասնել եւ կառավարել: Metadata Management Iceberg- ը նախագծված է բացառությամբ, որը համատեղելի է տարբեր բուժման մեքենաների հետ, ինչպիսիք են Apache Spark, Flink, Trino եւ Presto: Այս համատեղելիությունը ապահովում է կազմակերպություններներին հարմարավետությունը ընտրելու գործիքների համար, որոնք լավագույնն են իրենց պահանջներին եւ արդյունավետությամբ: Ապրանքների գինը եւ նորարարությունը այս արտադրանքի վրա. Multi-Engine Compatibility Խնդրում ենք ստանալ Query Engine Խնդրում ենք ստանալ Query Engine : Որպես բոլոր open table format- ում, Iceberg- ը օգտվում է տարբերակային եւ աշխատակից ընկերության վրա, որը օգնում է իր հզորության եւ շարունակական բարելավման համար: Open Source Community Object Storage եւ Iceberg Տեսանյութի սարքավորումներ բաղադրում են ժամանակակից նավահանգիստների դիզայնների հիմնվածությունը, որը ապահովում է մեծ բաղադրիչությունը, հզորությունը եւ ծախսերի արդյունավետությունը, որը անհրաժեշտ է մեծ բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների բաղադրիչների համար: Բացի այդ, AIStor- ի աջակցությունը S3- ի համար RDMA- ի միջոցով ապահովում է տվյալների ցածր տեւողության հասանելիությունը: Այս առանձնահատկությունը կատարում է երկու տեխնոլոգիաների համատեղը շատ արդյունավետ լուծում, հատկապես մեծ քանակի AI- ի եւ analytics- ի խողովակների համար: Բարձր արդյունավետությունը կարեւոր է նավահանգիստների գործառույթների հաջողության համար: Որքան լավ է ձեր տեւողության ձեւաչափը, եթե այն չի կարող ծառայել հարցերը այնքան արագ, ինչպես ձեր օգտագործողների պահանջները են: Հիմնական Հիմնական Տեղադրեք այն ձեզ համար: Պայմաններ Ձեզ պետք է տեղադրեք Docker-ը եւ Docker Compose-ը: Երբ անհրաժեշտ են երկու բաները, սովորաբար հեշտ է տեղադրել Docker Desktop- ը բեռնել եւ տեղադրել է Docker- ի պաշտոնական կայքում: Հետեւեք տեղադրման ուղեցույցները, որոնք տրամադրվում են ձեր օպերացիոն համակարգի տեղադրիչում: Open Docker Desktop to ensure it’s running. Գլխավոր » Desktop Գլխավոր » Desktop Եթե ցանկանում եք, դուք կարող եք նաեւ ստուգել Docker- ի եւ Docker Compose- ի տեղադրման միջոցով: docker --version docker-compose --version Iceberg-ի դասընթացները Այս մասը ցույց է տալիս, թե ինչպես է Iceberg- ի եւ AIStor- ի ինտեգրման համար հզոր նավահանգիստային դիզայնը: Մենք օգտագործենք Ինչպես ստեղծել մեր առաջին միջավայրը: Apache Iceberg Spark- ը Quickstart- ը Apache Iceberg Spark- ը Quickstart- ը Step 1: Setup with Docker Compose Հիմնական հոդված՝ Docker Compose Հետեւեք The Spark- ի եւ Iceberg- ի նախընտրական կարգավիճակների հետ բեռնել բեռական բեռական միջավայրը: Հիմնական քայլը սեղմեք հետեւյալ տեղեկատվությունը ֆայլին եւ փնտրեք որպես ֆայլը, որը կոչվում է docker-compose.yml: Apache Iceberg Spark Quickstart-ը Apache Iceberg Spark Quickstart-ը version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Հաջորդը, terminal window- ում Navigate այն տեղում, որտեղ դուք փնտրել եք .yml ֆայլը եւ սկսել docker բաղադրիչները այս գրասենյակով: docker-compose up Այնպես որ, դուք կարող եք սկսել Spark-SQL կայքը: Հիմնական էջը -It spark-iceberg spark-sql Step 2: Create a Table Սեղմություն 2: Կրացեք սեղմություն Սեղմեք Spark shell- ը եւ ստեղծեք տեքստը: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); Տեղադրեք ձեր MinIO Console- ը Navigating to AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=լուսանկարներ http://127.0.0.1:9001 http://127.0.0.1:9001 Այսպիսով, ստուգեք, թե ինչպես է սմարթֆիլմը ստեղծվել սմարթֆիլմի համար: Առաջին անգամ, ոչ մի տվյալների ֆայլեր չկան, միայն մետադադաֆիլմներ, որոնք նշանակում են սմարթֆիլմը եւ կատեգորիաները: Step 3: Insert Data Step 3: Տեղադրեք տվյալները Տեղադրեք մի քանի mock տվյալներ: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); Այս գործառույթը ստեղծում է տվյալների ֆայլերը հարմար տարբերակներում (my_table/data/category=...) եւ նորաձեւում է մետատանտերը: Step 4: Query the Data Step 4: Query տվյալները Հիմնական հարցեր, որոնք կարող են validate: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; Your output should look something like the following: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Iceberg- ի հիմնական առանձնահատկություններ Այժմ, երբ դուք ստեղծել եք Baseline data lakehouse- ը տվյալների հետ, որոնք դուք կարող եք վերահսկել: Տեսեք այն գործիքները, որոնք Iceberg- ը միավոր են: Schema Evolution, եւ Partition Evolution. Schema Evolution Ապրիլ Evolution Ապրիշի վերլուծությունը Apache Iceberg- ի ամենամեծ եւ հարմարավետ առանձնահատկություններն է, որը թույլ է տալիս Ձեզ փոխարինել սմարթային սմարթը, առանց ծախսական եւ ժամանակնային տվյալների վերլուծման, որը հատկապես հարմար է մեծ քանակի տվյալների սարքերի համար: Այս կարողությունը թույլ է տալիս կազմակերպություններներին փոխել իրենց տվյալների մոդելներ, քանի որ բիզնեսի պահանջները զարգանում են, առանց վերլուծման շարունակական հարցերի կամ գործառույթների համար: Iceberg- ում սմարթային փոխանցումներ կատարվում են միայն մետա-դանետների մակարդակի վրա: Դեղի յուրաքանչյուր սմարթում նշված է միակ ID- ը, որը ապահովում է, որ սմարթային փոխանցումներ չեն ազդում բնական տվյալների ֆայլերը: Օրինակ, եթե նոր սմարթը ավելացվում է, Iceberg- ը նշում է այն նոր ID-ի համար, առանց վերլուծման կամ վերլուծման կանանց տվյալների համար: Այսպիսով փնտրում են սխալները եւ ապահովում են հարմարավետությունը պատմական տվյալների հետ: Հետեւեք, որ դուք պետք է ավելացնել նոր սեղմը, գնելը, սեղմել ավելին տեղեկատվություն առեւտրի մասին: Դուք կարող եք կատարել հետեւյալ SQL- ի գրառումը: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Այս գործառույթը թարմացում է թերթի մետատանտերը, որը թույլ է տալիս նոր տվյալների ֆայլերը ներառում է գնելի սեղմիչը: Պահպանված տվյալների ֆայլերը անջատվում են, եւ հարցեր կարող են գրել, որպեսզի նոր եւ տեւող տվյալները անջատել են: Որպես նաեւ, եթե մի փուլը չի պահանջվում, դուք կարող եք հեռացնել այն, առանց պահված տվյալների: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; Iceberg- ը ապահովում է, որ ցանկացած միասնական մետադանետը մաքրվում է, իսկ պահպանվում է պատմական հարցերի ինտեգրիտությունը, որոնք կարող են դեռ փոխել առաջատար տվյալների տարբերակները: Iceberg- ի schema evolution- ը նաեւ աջակցում է columns- ի փոխարինման, column types- ի փոխարինման եւ column order- ի վերլուծման, բոլորը արդյունավետ metadata-only գործառույթների միջոցով: Այս փոխանակումներ կատարվում են տվյալների ֆայլերի փոխարինման გარეშე, ինչպիսիք են schema modifications- ի անմիջապես եւ ծախսերի արդյունավետ: Այս մեթոդը հատկապես հարմար է միջավայրում, որոնք հաճախ փոխում են սխալները, ինչպիսիք են AI / ML փորձերի, դինամիկ բիզնես բլոգիկի, կամ վերականգնման պահանջները: Partition Evolution Ապրանքներ Evolution Iceberg- ը աջակցում է կատեգորիաների զարգացման, որը կարող է աշխատել կատեգորիաների արժեքների արտադրման կատեգորիաների արժեքների արտադրման կատեգորիաների եւ սխալների կատեգորիաների համար: Օգտագործողները կենտրոնանում են կատեգորիաների ավելացումը կատեգորիաների համար, որոնք լուծում են բիզնես խնդիրները, եւ չեք վախենում, թե ինչպես կատեգորիան է արտադրվել: Iceberg- ը ավտոմատորեն փնտրում է անսահմանափակ կատեգորիաների կարիքները: Iceberg- ը ձեր համար աշխատում է փաթեթավորման եւ փոխելու փաթեթավորման սմարթը, ինչը շատ հեշտեցնում է վերջնական օգտագործողների գործընթացը: Դուք կարող եք որոշել փաթեթավորման կամ թույլ տալ Iceberg- ը ձեզ համար աշխատել: Iceberg- ը սիրում է փաթեթավորման ժամանակագրում, ինչպիսիք են պատմության ժամանակագրում: Փաթեթավորումները փաթեթավորվում են փաթեթավորումներներում: Փաթեթավորումներ ավելի շատ չեն հավատում փաթեթավորման ֆիզիկական ձեւաչափի վրա: Փաթեթավորվող փաթեթավորումներ կարող են տարբերել փաթեթավորումներ ժամանակին, քանի որ ավելին տվյալները ավելացվում են: ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; Մենք այժմ ունենք երկու փաթեթավորման սխալներ նույն թերթի համար: Այժմ, փաթեթավորման պլանները կախված են, օգտագործելով գեղեցիկ փաթեթավորման սխալը փաթեթավորման գեղեցիկ տվյալների համար, եւ նոր փաթեթավորման սխալը փաթեթավորման նոր տվյալների համար: Iceberg կախված է այս համար ձեզ համար: Նրանք, ովքեր փաթեթավորում են թերթը, չեն պետք է գիտեն, որ տվյալները տեղադրվում են երկու փաթեթավորման սխալների միջոցով: Iceberg- ը դա կատարում է առցանց WHERE փաթեթների եւ փաթեթավորման փաթեթավորման սխալների համատեղի միջոցով, որոնք կախված են տվյալների ֆայլերը առանց կախվածների: Time Travel and Rollback Time Travel եւ Rollback Երբ ցանկացած գրել է Iceberg սեղանները ստեղծում է նոր snapshots. Snapshots նման տարբերակներ եւ կարող է օգտագործվել ժամանակի ճանապարհորդելու եւ rollback, ինչպես նաեւ այնպես, ինչպես մենք անել AIStor versioning կարողությունները. The way snapshots are managed is by setting expireSnapshot so the system isined well. Time travel enables reproducible queries that use exactly the same table snapshot, or lets users easily examine changes. Version rollback allows users to quickly correct problems by reseting tables to a good state. Երբ սեղանները փոխվում են, Iceberg- ը յուրաքանչյուր տարբերակը վերահսկում է մի բեռնելով եւ հետո ապահովում է կարողությունը ժամանակի ճանապարհորդելու համար ցանկացած բեռնելով, երբ սեղանը փորձարկվում է: Սա կարող է շատ օգտակար լինել, եթե դուք ցանկանում եք կատարել պատմական հարցեր կամ վերահսկել նախորդ հարցերի արդյունքները, հատկապես տեղեկատվության համար: Time travel- ը կարող է նաեւ օգնել նոր կոդը փոխանակման փորձարկման ժամանակ, քանի որ դուք կարող եք փորձել նոր կոդը հայտնի արդյունքների հարցի հետ: Եթե դուք ցանկանում եք տեսնել սմարթֆոնները, որոնք պաշտպանված են մի տեքստի համար, սեղմեք հետեւյալ հարցը: SELECT * FROM my_catalog.my_table.snapshots; Ձեր արտադրանքը պետք է տեսնել ինչ-որ բան այսպես: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Մի քանի օրինակներ: -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Դուք կարող եք օգտագործել Snapshots- ի օգտագործումը, բայց դուք պետք է օգտագործեք Spark, ոչ Spark-SQL: scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) Դուք կարող եք նաեւ վերլուծել սեղմիչը ժամանակի մի բանից կամ որոշակի սեղմիչին, ինչպիսիք են այս երկու օրինակում: CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Հիմնական SQL Iceberg- ը աջակցում է բոլոր հավելված SQL- ի գրառումները, ինչպիսիք են գծի մակարդակի մեռնել, միացնել եւ update- ը, եւ ամենամեծ բան, որը պետք է բացահայտել, այն է, որ Iceberg- ը աջակցում է այնպես էլ Eager- ը, ինչպես նաեւ լուսափական ռեժիմները: Մենք կարող ենք coding բոլոր բաները, որոնք մենք պետք է մեռնել (պիսով, GDPR- ը կամ CCPA- ը), բայց չենք վերլուծել բոլոր այդ տվյալների ֆայլերը, մենք կարող ենք լուսափորեն հավաքել սխալը, քանի որ անհրաժեշտ է, եւ դա օգնում է արդյունավետությունը Iceberg- ի աջակցված մեծ տուփներում: Հիմա, դուք կարող եք մեռնել մի թերթի բոլոր ռեժիմները, որոնք ճշգրտվում են որոշակի predicate- ում: Հաջորդը կարող է մեռնել բոլոր ռեժիմները տեսանյութի կատեգորիանից: DELETE FROM my_catalog.my_table WHERE category = 'video'; Արդյոք դուք կարող եք օգտագործել CREATE TABLE AS SELECT կամ REPLACE TABLE AS SELECT: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; You can merge two tables very easily: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; Data ինժեներ Iceberg- ը open analytic table standard- ի բաղադրիչն է եւ օգտագործում է SQL- ի գործառույթը եւ օգտագործում է data warehouse- ի բաղադրիչները, որպեսզի լուծել խնդիրները, երբ մենք գիտենք, որ մենք ունենք այն: Declarative data engineering- ի հետ մենք կարող ենք ստեղծել տեքստեր եւ չենք վախենում, որ բոլոր մեքենաները փոխել են տվյալների պահանջների համար: Այսպիսով ավտոմատ optimization- ի եւ խորհուրդները բացահայտվում են: Safe Commits- ի հետ, տվյալների ծառայություններ կարող են լինել, որը օգնում է փնտրել մարդկանց babysitting data workloads- ից: Երբ դուք ցանկանում եք ստուգել մի թերթի պատմությունը, բաղադրատոմսերը եւ այլ մա-դա-դա, Iceberg- ը աջակցում է փոստային մա-դա-դա-դա: Մա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա-դա Տեսանյութի տվյալների ֆայլերը տեսնել: SELECT * FROM my_catalog.my_table.files; Պահպանելու մանրամասները: SELECT * FROM my_catalog.my_table.manifests; Տեղադրեք TABLE History SELECT * FROM my_catalog.my_table.history; Ցուցադրեք Snapshots SELECT * FROM my_catalog.my_table.snapshots; Դուք կարող եք նաեւ միանալ snapshots եւ թերթի պատմությունը տեսնել ծրագիրը, որը գրել է յուրաքանչյուր snapshot select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Այժմ, երբ դուք սովորել եք հիմնականները, բեռնել մի քանի ձեր տվյալները Iceberg, ապա գիտեք ավելի շատ . Iceberg գրասենյակներ Integrations-ի մասին Որոշ հարցերի եւ կատարման մեքենայի Iceberg connectors- ի տեղադրում են, ինչը հեշտ է ստեղծել եւ կառավարել Iceberg տեքստեր: Iceberg- ի աջակցող մեքենաները ներառում են: Հիմա Հիմա Հիմա Հիմա Հիմա Նկարագրությունը մեծանում է. Մարդիկ Լավ Բարձր ժամանակ Trino Հիմնական Snowflake- ը Այս խոշոր ինտեգրման տարածքը ապահովում է, որ կազմակերպությունները կարող են վերցնել Apache Iceberg- ը, առանց մատակարարման մեկ բուժման մեքենա: in their data infrastructure. Համատեղելիություն interoperability Կատեգորիան Հիմնական գրասենյակները, ինչպիսիք են Iceberg- ի տեքստեր, հիմնական են տեքստային մետադանետների կառավարման եւ տվյալների սարքերի եւ փոստի մեքենաների միջեւ կապերի հարմարեցման համար: Այս գրասենյակները պահպանում են կարեւոր տեղեկատվություն, ինչպիսիք են տեքստային սմարթարթները, սմարթարթները եւ կատեգորիաներ, ինչպիսիք են Iceberg- ի առաջադեմ առանձնահատկություններ, ինչպիսիք են ժամանակի ճանապարհորդությունը, սմարթերի զարգացման եւ ատոմական նորաձեւումը: Կատեգորիաների մի քանի տեղադրումներ հասանելի են տարբեր գործառույթների պահանջների համար: Օրինակ, Polaris- ը առաջարկում է չափազանց ծախսված Ավելի լավ է կառուցել Data Lakes- ը Iceberg- ի եւ AIStor- ի հետ Apache Iceberg- ը շատ ուշադրություն ստանում է տվյալների նավահանգների համար: Բարձրագույն open-source ընկերությունը եւ բազմաթիվ մատակարարների եւ ծրագրային սարքավորումների մատակարարների մատակարարների մատակարարման չափը նշանակում են, որ այն ժամանակ է, որ Iceberg- ը վախենում եք, եւ սկսեք փորձել, ուսուցել եւ պլանավորել, որ այն ինտեգրվել է կանանց տվյալների նավահանգների ինտեգրման մեջ: Pair Iceberg with AIStor for multi-cloud data lakehouses and analytics. Երբ դուք սկսում եք Iceberg- ի եւ AIStor- ի հետ, խնդրում ենք հասնել եւ փոխել ձեր փորձը կամ հարցնել . Մեր Slack Channel-ը