څنګه Iceberg + AIStor د عصري څو موتور ډاټا Lakehouse بریښنا

په پیل کې په Netflix کې د Ryan Blue (د همدارنګه د ، اوس Databricks شهرت)، دا په پایله کې د Apache سافټویر فاؤنڈیشن ته انتقال شوې وه چې دا اوس مهال موقعيت لري. په خپل کور کې، دا د په کچه د معلوماتو سیټونو لپاره د نښلیدو فارم دی (د ټایټ ټایټونو څخه د ټایټ ټایټونو څخه د ټایټ ټایټونو څخه فکر وکړئ). د AI سره د ماډل جوړولو، ټینګ، او په واقعي وخت کې پایلې لپاره د ډاټا ډاټا ډیری مقدارونو سره، د دې تکنالوژۍ ته اړتيا یوازې د دې لومړي پرمختګ څخه زیات شوی. د Apache Iceberg ټابلیټ د Apache Iceberg ټابلیټ Iceberg د ډیرو انجنونو سره مطابقت لري. دا معنی لري چې Spark، Trino، Flink، Presto، Snowflake او Dremio کولی شي په ورته ډاټا سیټ کې مستقل او همدارنګه کار وکړي. Iceberg SQL، د ډاټا تجزیه لپاره د جامع زبان ملاتړ کوي، او د اتوماتیک سوداګریزونو، سیسټم پراختیا، برخې پراختیا، وخت سفر، rollback، او zer-copy زون کولو په څیر پرمختللي ځانګړتیاوې وړاندې کوي. دا پست څنګه د Iceberg ځانګړتیاوې او ډیزاین، کله چې د AIStor د لوړ کړنو ذخیره کچه سره تړل کیږي، د ډاټا لیکونه جوړولو لپاره اړین انعطافیت او اعتماد وړاندې کوي. په اړه: د Minio د ډاټا Lakehouse حلونه د Minio د ډاټا Lakehouse حلونه هدفونه د عصري Open Table Format لپاره د لویدیځ په وعده کې د ډاټا په لویدیځونو او لویدیځونو کې تر ټولو غوره یوځای کولو وړتیا لري. د Object Storage کې ذخیره شوي ډاټا لویدیځونه په خپل اصلي فورم کې د خامو ډاټا ډاټا ډاټا ډاټا ډاټا لپاره ډیزاین شوي دي، د کثافیت، د کارولو آسانه او د لګښت اغیزمنتیا وړاندیز کوي. په هرصورت، د ډاټا لویدیځونه په ځان کې د ډاټا حکومت او د ډاټا کې ذخیره شوي ډاټا په اغیزمنه توګه پوښتنې وړتیا سره ستونزمن دي. د لویدیځونه، په بل کې، د جوړ شوي ډاټا او SQL تجارتي لپاره ګټور شوي دي مګر په کچه Iceberg او نورو پرانیستې جدول فارمټونه لکه Apache Hudi او Delta Lake یو چټک پیژندل کوي. دا فارمټونه ډاټا لیګونه د ذخیره کولو لومړنۍ انعطافیت او کثافیت خوندي کوي. د پرانیستې جدول فارمټونو او پرانیستې ذخیره کولو دې نوی کڅوړه کولی شي د مختلفو کاروګانو لکه AI، ماشین زده کړې، پرمختللي تجارتي، او واقعي وخت ویشولو ملاتړ وکړي. Iceberg د SQL-first لارښوونې او د څو انجن مطابقت په اړه تمرکز کوي. دلته یو نظر دی چې دا انټرنېټ څنګه کار کولی شي. د پوښتنې انجنونه کولی شي په خپل کڅوړه کې د اټکل ذخیره کولو په مستقیم ډول کې وي او د دې په داخلي ډاټا پرته د مهاجرت پرته پوښتنې وکړي. د ډاټا د d ډاټا بیس کې ذخیره کولو پرانیستې پرانیستل. بل، تاسو کولی شئ او باید کولی شئ ستاسو د Iceberg جدولونه له هر ځای څخه پوښتنه وکړئ. انټرنیټ وسیلهونه او Visualizations معمولا به په مستقیم ډول ستاسو د ذخیره کولو سره اړیکه ونیسئ چې ستاسو د Iceberg جدولونه ذخیره شوي دي، مګر په عادي ډول د ګرځنده کارن تجربه لپاره ستاسو د پوښتنې موتور سره انټرنیټ کړئ. په پای کې، AI / ML د پوښتنې انجنونو سره ورته ډیزاین اصل لري. دا AI / ML وسایلو به د Iceberg ټابلیټونه په مستقیم ډول په اتوماتيک ذخیره کولو کې پرته د مهاجرت پرته کاروي. که څه هم نه ټول AI / ML وسایلو په دې وخت کې د Iceberg کاروي، د Iceberg لپاره د AI / ML کارولو لپاره د کارولو په اوږدو کې دلچسپي شتون لري ، په ځانګړي توګه د دوی وړتیا لپاره چې د ماډلونو او ډاټا سیټونو ډیری نسخهونه په آسانه توګه ساتل کړي. ML کارول ML کارول د Iceberg په اړه څه ځانګړي دی Apache Iceberg د ځانګړتیاوو او ډیزاین اصولونو ترکیب له لارې د هغې څخه د بدیلونو لکه Apache Hudi او Delta Lake څخه راټول کیږي. Iceberg د سیسټم پراختیا لپاره جامع ملاتړ وړاندې کوي، کوم چې کاروونکو ته اجازه ورکوي چې د سیسټمونو اضافه کولو، ډکولو، روزنه کولو یا بدلون لپاره اړتیا نلري چې د موجودو ډاټا بشپړ بدلون ته اړتیا نلري. دا انعطافات تضمین کوي چې د ډاټا ماډل بدلونونه په چټکه توګه پیژندل کیدی شي، د عملیاتو مداومیت د ساتنې لپاره. Schema Evolution Iceberg د پارتیشن پرمختګ ملاتړ کوي، په وخت کې د پارتیشن سیسټمونو ته بدلونونه کیدی شي د ډاټا rewrite ته اړتیا نلري. دا وړتیا د ډاټا لیږد د ډاټا لیږد د ډاټا ګټور کولو لپاره اجازه ورکوي لکه څنګه چې د دسترسی نمونې بدلون کیږي. Partition Evolution د Iceberg کاروي چې د متاپي ډاټا جوړښت، د متاپي ډاټا، متاپي لستونه، او متاپي ډاټا ډاټا شامل دي. دا ډیزاین له لارې د معلوماتو ډاټا په اړه تفصيلات معلومات وړاندې کوي، د معلوماتو د لاس رسی او مدیریت په اغیزمنه توګه وده ورکوي. Metadata Management : د شفافیت په ذهن کې ډیزاین شوی، Iceberg د مختلفو پروسس انجنونو سره مطابقت لري لکه Apache Spark، Flink، Trino، او Presto. دا انټرنېټ وړتیا سازمانونه ته وړاندیز کوي چې د انجنونه غوره کړئ چې په اغیزمنه توګه د دوی اړتیاوو لپاره مناسب وي. په دې محصولاتو کې د قیمتونو کمولو او د نوښت ته وده ورکړي. Multi-Engine Compatibility د محصول د پوښتنې انجن د محصول د پوښتنې انجن : لکه څنګه چې د ټولو د پرانیستې جدول جوړښتونو په توګه، Iceberg د مختلفو او فعال ټولنې څخه ګټور کیږي، چې د دې پیاوړتیا او مداخله پرمختګ کې مرسته کوي. " Open Source Community Object Storage او یخچال Object storage بنسټ د عصري لیزر اډې جوړښتونه جوړوي، چې د پراخه ډاټا سیټونه په ډیری چاپیریالونو کې مدیریت کولو لپاره اړتیا لرونکي کثافیت، اوږدوالی، او لګښت اغیزمنتیا برابر کړي. په لیزر اډې اډې اډې اډې د ډاټا د اوږدوالی او وړتیا تضمین کې د مهمې رول لري، په داسې حال کې چې د Open Table Format لکه Iceberg د میټاډاټونو مدیریت کوي. په ځانګړې توګه د دغو اړتیاوو لپاره مناسب دی. د لوړ تودوخې ورکشاپونو، لکه د نمونې روزنې، د AIStor د S3 په اړه د RDMA ملاتړ د ډاټا ته د ټیټ latency لاس رسی تضمین کوي. دا ځانګړتیا د دوو ټکنالوژۍ د ترکیب لپاره یو ډیر اغیزمن حل کوي، په ځانګړې توګه د لوی کچه AI او تجارتي پمپونو لپاره. د لوړ کړنو د لګونونه انعام لپاره مهم دی - دا مهم نه ده چې ستاسو د ټابلیټ فورمټ څومره دی که دا ستاسو کاروونکو ته اړتیا لري په چټکۍ سره پوښتنو ته خدمت نه کوي. د هوايي د هوايي خپل ځان هڅه وکړئ: اړتیاوې تاسو به اړتیا لرئ Docker او Docker Compose نصب کړئ. کله چې هر دوی اړتیا لري، دا معمولا ساده تر نصب شي . ډاونلوډ کړئ او د Docker Desktop څخه د Docker رسمي ویب پاڼه څخه نصب کړئ. د انټرنېټ سیسټم لپاره د انټرنېټ سټیټر کې وړاندې شوي انټرنېټ لارښوونې سره سم کړئ. د Docker Desktop تاسیس کړئ ترڅو ډاټا چمتو کړئ. ډیزاین Desktop ډیزاین Desktop که تاسو ترټولو غواړئ، تاسو کولی شئ د Docker او Docker Compose تثبيت ته د ترمینل او چلولو له لارې هم تایید کړئ: docker --version docker-compose --version د Iceberg Tutorial دا برخه ښيي چې څنګه د Iceberg او AIStor په ګډه کولو لپاره د یو قوي یخانو جوړښت جوړ کړي. موږ به د زموږ د لومړي چاپیریال جوړولو لپاره: د Apache Iceberg Spark Quickstart د Apache Iceberg Spark Quickstart Step 1: Setup with Docker Compose مرحله 1: د Docker Compose سره نصب کړئ د له Spark او Iceberg مخکښ ترتیب سره د containerized چاپیریال پیل کړي. د لارښود په لومړي مرحله کې دا ده چې لاندې معلومات په یو فایل کې کاپي کړئ او د docker-compose.yml نامتو فایل په توګه ذخیره کړئ: د Apache Iceberg Spark Quickstart لارښود د Apache Iceberg Spark Quickstart لارښود version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: بل، په ترمینل پنجره کې د هغه ځای ته لارښوونه چې تاسو د .yml فایل ذخیره کړئ او د دې امر سره د ډیکر کانتينرونو پیل کړئ: docker-compose up بيا تاسو کولی شئ د Spark-SQL سیشن پیل کولو لپاره د لاندې امرونه چلولو. د ډکټر exec -it spark-iceberg spark-sql Step 2: Create a Table مرحله 2: د میز جوړ کړئ د Spark shell وټاکئ او د جدول جوړ کړئ: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); ستاسو د MinIO Console څارنه وکړئ د او د .yml تصدیقاتو سره داخل کړئ: AWS_ACCESS_KEY_ID=admin، AWS_SECRET_ACCESS_KEY=password http://127.0.0.1:9001 http://127.0.0.1:9001 دلته، د تليفون لپاره جوړ شوي iceberg / my_table / metadata پړاو وګورئ. په پیل کې، د معلوماتو فایلونه نه شتون لري - یوازې میټاډاټونه چې د سیسټم او پارتیشنونه تعریف کوي. Step 3: Insert Data مرحله 3: د معلوماتو داخل کړئ ځینې mock ډاټا اضافه کړئ: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); دا عمل د معلوماتو فایلونه په مناسب پارتیشنونو کې جوړوي (my_table/data/category=...) او میټاډاټونه تازه کوي. Step 4: Query the Data مرحله 4: د معلوماتو پوښتنه د validate لپاره د بنسټیز پوښتنې چلولو: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; ستاسو د محصول باید د دې په څیر وي: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) د Key Iceberg ځانګړتیاوو ازموینه اوس چې تاسو سره د معلوماتو چې تاسو کولی شئ د کنټرول سره د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل د اټکل. Schema Evolution د پرمختګ نقشه Schema evolution ده د Apache Iceberg تر ټولو قوي او مشخصوي ځانګړتیاوو یو، په روایتی ذخیره سیسټمونو کې د لوی درد پټ حل کوي. دا تاسو ته اجازه ورکوي چې د ټابلیټ سیسټم بدل کړئ د ارزانه او وخت لرونکي ډاټا rewrite ته اړتیا نلري، چې په ځانګړې توګه د لوی اندازه ډاټا سیټونو لپاره ګټور دی. دا وړتیا سازمانونه اجازه ورکوي چې د سوداګرۍ اړتیاوو په توګه خپل ډاټا ماډلونه بدل کړئ د اوسني پوښتنو یا فعالیتونو له امله. په Iceberg کې، د سیسټمونه بدلونونه په خالص ډول د میټایډاټ کچه په کارولو سره ترسره کیږي. په ټابلیټ کې د هر سیسټم لپاره یو ځانګړي ID دی، چې تضمین کوي چې د سیسټم کې د بدلون د زیرمې ډاټا فایبرونو اغېز نه کوي. د مثال په توګه، که یو نوی سیسټم اضافه کیږي، Iceberg دا ته د موجودو ډاټاونو ته نوي ID ورکوي پرته د موجودو ډاټا ته بدلون یا دوبله ورکوي. دا غلطیونه مخنیوی کوي او د تاریخي ډاټا سره پیژندل وړتیا تضمین کوي. دلته د سیسټم پرمختګ په عملی توګه څنګه کار کوي یو مثال دی. فرض وکړئ چې تاسو د سوداګریزونو په اړه اضافي معلومات ذخیره کولو لپاره د نوي کالم، خریدار، اضافه کړئ. تاسو کولی شئ د لاندې SQL امر ترسره کړئ: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; دا عمل د ټابلیس میټایډونه تازه کوي، د نوي معلوماتو فایلونو ته اجازه ورکوي چې د پیرودونکي کالم شامل شي. د پیرودونکي معلوماتو فایلونه ناڅاپي وي، او پوښتنو کولی شي د نوي او د پیرودونکي معلوماتو په دوامداره توګه د کارولو لپاره لیکل شي. همدارنګه، که د لنډې اړتیا نلري، تاسو کولی شئ دا د ذخیره شوي ډاټا پرته له اغیزمنې له لاسه ورکړئ: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; دا عمل د سیسټم تازه کوي ترڅو د ټولګي کالم راټول کړي. Iceberg تضمین کوي چې د هر اړونده میټاډاټونه پاک شوي دي او په داسې حال کې د تاریخي پوښتنو بشپړتیا ساتل کیږي چې ممکن هم د قديم ډاټا نسخهونو ته اشاره کوي. Iceberg's schema evolution هم د لنډو نومونه، د لنډو ډولونو بدلون، او د لنډو ترتیب بدلون ملاتړ کوي، ټول په اغیزمنه میټایټایټ یوازې عملیاتو له لارې. دا بدلونونه د ډاټا فایبرونو بدلون له الرې ترسره کیږي، چې د لنډو بدلونونه په موخه او د لګښت اغیزمن کړي. دا لارښوونې په ځانګړي ډول په چاپیریالونو کې ګټور دی چې اغیزمن شیشه بدلونونه لري، لکه څنګه چې د AI / ML تجربو، د بریالیتوب د سوداګرۍ منطق، یا پرمختللي مقرراتو اړتیاوو لخوا چلند کیږي. Partition Evolution د تبادلې پرمختګ Iceberg د پارتیشن پرمختګ ملاتړ کوي چې کولی شي د ټابلیټ کې د رنګونو لپاره د پارتیشن ارزښتونو تولید کولو لګښتونو او غلطیونو سره مرسته وکړي. کاروونکي د پوښتنو ته فلټرونه اضافه کولو ته تمرکز کوي چې د سوداګرۍ ستونزو حل کړي او د ټابلیټ د پارتیشن کولو په اړه فکر نه کوي. Iceberg په اتوماتيک ډول د غیر ضروری پارتیشنونو څخه لیږدونه مخنیوی کوي. Iceberg ستاسو لپاره د ټابلیټ د برخه کولو او د برخه کولو سیسټم بدلولو پیچیدو کاروي، د پایلو کاروونکو لپاره د پروسس ډیر ساده کوي. تاسو کولی شئ د برخه کولو تعریف کړئ یا Iceberg به ستاسو لپاره د دې لپاره کار واخلئ. Iceberg د وخت په توګه د وخت په توګه د برخه کولو څخه خوښوي. Partitions په manifests کې snapshots لخوا څارل کیږي. پوښتنې اوس د ټابلیټ د فیزیکی جوړښت پورې اړه نلري. د فیزیکی او منطقي ټابلیټونو تر منځ د دې تفریح له امله، Iceberg ټابلیټونه کولی شي د وخت په اوږدو کې Partitions پرمختګ کړي ځکه چې نور ډاټا اضافه کیږي. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; موږ اوس د ورته جدول لپاره د دوو برخه کولو سیسټمونه لري. اوس مهال، پوښتنې پلانونه تقسیم شوي دي، د قديم برخه کولو سیسټم کارولو لپاره د قديم معلوماتو پوښتنې لپاره، او د نوي برخه کولو سیسټم ته د نوي معلوماتو پوښتنې لپاره. Iceberg ستاسو لپاره دا کار کوي - د جدول پوښتنې خلکو ته اړتیا نلري چې ډاټا د دوو برخه کولو سیسټمونو په کارولو سره ذخیره شوي دي. Iceberg دا کار کوي د پیښو پیژندنې په ګډه کې د WHERE شرطونه او برخه فلټرونه چې د ډاټا فایلونه په لټه کې نلري. Time Travel and Rollback د وخت سفر او Rollback هر په Iceberg جدولونو کې لیکل کې نوي snapshots جوړوي. snapshots د نسخهونو په څیر دي او د وخت سفر او rollback کارول کیدی شي لکه څنګه چې موږ د AIStor نسخه کولو وړتیاوو سره کار کوو. د snapshots مدیریت کولو لاره د expireSnapshot تنظیم کول دی نو د سیسټم په ښه توګه ساتل کیږي. د وخت سفر کولی شي reproducable پوښتنو ته اجازه ورکوي چې دقیقا ورته جدول snapshot کاروي، یا کاروونکو ته اجازه ورکوي چې په اسانۍ سره بدلونونه وګورئ. نسخه rollback کاروونکو ته اجازه ورکوي چې د ستونزو په چټکۍ سره د جدولونو ته د ښه حالت ته ورسیږي. لکه څنګه چې جدولونه بدل کیږي، Iceberg د هر نسخه په توګه د snapshot څارنه کوي او بیا د ټابلیټ په پوښتنې کې د هر snapshot ته د وخت سفر کولو وړتیا وړاندې کوي. دا کولی شي ډیر ګټور شي که تاسو غواړئ تاریخي پوښتنو چلولو یا د مخکښ پوښتنو پایلې تکرار کړئ، په ځانګړې توګه د راپور ورکولو لپاره. د وخت سفر هم کولی شي د نوي کوډ بدلونونو ازموینه کې مرسته وکړي ځکه چې تاسو کولی شئ د معلوماتو پایلو سره نوي کوډ ازموینه کړئ. د ټابلیټ لپاره ذخیره شوي snapshots وګورئ د لاندې پوښتنې کارولو لپاره: SELECT * FROM my_catalog.my_table.snapshots; ستاسو د محصول باید څنګه وي: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) ځینې مثالونه: -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; تاسو کولی شئ د snapshots په کارولو سره اضافي لوستلئ، مګر تاسو باید Spark، نه Spark-SQL کارئ. د مثال په توګه scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) تاسو کولی شئ د جدول په وخت کې د ځینې وختونو کې یا د ځانګړي snapshot ته راټول کړئ، لکه په دې دوو مثالونو کې CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); د Expressive SQL Iceberg د ټولو Expressive SQL فرمانونو لکه لړ کچه د پاکولو، فوم، او تازه کولو ملاتړ کوي، او ترټولو لوی څه ته وده ورکړي دا دی چې Iceberg د Eager او لوښی ستراتیژۍ هم ملاتړ کوي. موږ کولی شو ټول هغه شیانو کوډ کړئ چې موږ اړتیا لرو (د مثال په توګه، د GDPR یا CCPA،) خو د دې ډاټا ډاټا ډاټا ډاټا په هر وخت کې نه ورسوي، موږ کولی شو په اړتیا سره د سپما د جمع کول او دا د Iceberg ملاتړ شوي لوی جدولونو په اغیزمنۍ کې مرسته کوي. د مثال په توګه، تاسو کولی شئ په یوه جدول کې د ټولو ریکارډونو د پاکولو چې د ځانګړي predicate سره مطابقت لري. لاندې به د ویډیو کټګوریو څخه د ټولو ریکارډونو د پاکولو. DELETE FROM my_catalog.my_table WHERE category = 'video'; یا، تاسو کولی شئ د CREATE TABLE AS SELECT یا د CREATE TABLE AS SELECT کارولو سره کار واخلئ: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; تاسو کولی شئ په اسانۍ سره د دوو جدولونو په ګډه شي: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; د معلوماتو انجنیري Iceberg د Open Analytic Table معياري بنسټ دی او د SQL چلند کاروي او د معلوماتو ذخیره بنسټیزونه کاروي ترڅو د ستونزو حل کړي مخکې چې موږ پوه شو چې موږ یې لرو. د deklarative معلوماتو انجنيرۍ سره موږ کولی شو جدولونه ترتیب کړئ او د هر موتور بدلون لپاره د معلوماتو اړتیاوو لپاره فکر نه وکړئ. دا د اتوماتیک ګټور کولو او سپارښتنې تبادله کوي. سره خوندي تعقیبونه، د ډاټا خدمتونه ممکن دي چې د انسانانو د ډاټا د کارولو کچه مخنیوی کې مرسته کوي. دلته د دغو ډولونو د ترتیبونو ځینې مثالونه شتون لري: د ټابلیس تاریخ، snapshot،s او نورو میټاباټاټونو څارنه کولو لپاره، Iceberg د پوښتنې میټاباټونو ملاتړ کوي. میټاباټاټاټاټاټونه په پوښتنې کې د اصل ټابلیس نوم وروسته د میټاباټاټاټاټاټاټاټاټاټ نوم (د مثال په توګه تاریخ) اضافه کړئ. د ټابلیټ د معلوماتو فایلونو ښودلو لپاره: SELECT * FROM my_catalog.my_table.files; د نندارتونونو ښودلو لپاره: SELECT * FROM my_catalog.my_table.manifests; د جدول تاریخ وګورئ SELECT * FROM my_catalog.my_table.history; د snapshots نندارې SELECT * FROM my_catalog.my_table.snapshots; تاسو کولی شئ د snapshots او جدول تاریخ سره یوځای کړئ ترڅو د غوښتنلیک وګورئ چې هر snapshot لیکلي select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; اوس چې تاسو د بنسټیزو زده کړې، ځینې ستاسو د معلوماتو په Iceberg لوستل، بيا له دې څخه نور زده کړئ . Iceberg سندونه د انټرنېټ د مختلفو پوښتنو او execution انجنونه Iceberg کنیکټرونه جوړ شوي دي، چې د Iceberg جدولونو جوړولو او مدیریت آسانه کوي. د Iceberg ملاتړ انجنونه شامل دي د د د د د او د لیست د ودې. سپارښتنه ښکلي په تیله کې تریون د خواب د Snowflake دا پراخه انټرنېټ پردې تضمین کوي چې سازمانونه کولی شي Apache Iceberg پرته د یو واحد پروسس انجن ته محدود نه وي، د انعطاف او په خپل ډاټا انټرنېټ کې. تعاملات تعاملات کټګورۍ دا به په هر بشپړ لارښود کې د کټګورۍ په نږدې اشاره نلري. Iceberg کټګورۍ د ټابلیټ میټاباډونو مدیریت او د ډاټاټاټونو او پوښتنې انجنونو تر منځ د اړیکو تسهیل کولو لپاره مرکز دي. دا کټګورۍ د ټابلیټ سیسټمونو، snapshots، او پارټینټ لګښتونو لکه مهمو معلوماتو ساتل کیږي، چې د Iceberg پرمختللي ځانګړتیاوې لکه د وخت سفر، سیسټم پرمختګ، او اتوماتيک اپلوزونه اجازه ورکوي. څو کټګورۍ اپلوزونه شتون لري چې د فعالیت اړتیاوو پوره کړي. د مثال په توګه، Polaris د مدرن ډاټا انټرنېټونو لپاره د کټګورۍ حل د Iceberg او AIStor سره د ډاټا جالونو جوړولو ښه دی Apache Iceberg د ډاټا لیګونو لپاره د ټابلیټ فارمټ په توګه ډیری توجه ترلاسه کوي. د پرانیستې سرچینه ټولنه او د ډیرو ډاټا سپلائرز او غوښتنلیکون فریم ورکشاپ څخه د انټرنټونو زیاتوالی معنی لري چې دا وخت دی چې Iceberg په عمده توګه ونیسئ، او د تجربو، زده کړې او د دې په موجوده ډاټا لیګ آرکټیکټیک کې د انټرنټ کولو په اړه پلان وکړي. د ډیرو ډاټا لیګونه او تحلیل لپاره د AIStor سره د Iceberg سره شریک کړئ. لکه څنګه چې تاسو د Iceberg او AIStor سره پیل کړئ، مهرباني وکړئ له دې سره اړیکه ونیسئ او ستاسو تجربه یا د پوښتنو له لارې شریک کړئ. . زموږ Slack چینل