Si Iceberg + AIStor Power Modern Multi-Engine Data Lakehouse

duket se ka marrë botën e të dhënave nga një stuhi (zjarri). fillimisht inkubuar në Netflix nga Ryan Blue (edhe nga , tani Databricks famë), ajo u transmetua përfundimisht në Fondacionin e Softuerit Apache ku aktualisht banon. Në thelbin e saj, ajo është një format tabelë e hapur për grupet e të dhënave në shkallë (mendoni qindra TBs në qindra PBs). Me AI mbushur në sasi të mëdha të të dhënave për krijimin e modeleve, tuning, dhe inferencë në kohë reale, nevoja për këtë teknologji është rritur vetëm që nga zhvillimi i saj fillestar. Apache akullnajë Tabelë Apache akullnajë Tabelë Iceberg është një format i përputhshëm me shumë motorë. Kjo do të thotë se Spark, Trino, Flink, Presto, Snowflake dhe Dremio mund të punojnë të gjithë në mënyrë të pavarur dhe në të njëjtën kohë në të njëjtin grup të të dhënave. Iceberg mbështet SQL, gjuha universale e analizës së të dhënave, dhe ofron karakteristika të avancuara si transaksionet atomike, evolucioni i skemës, evolucioni i ndarjes, udhëtimi në kohë, rollback, dhe degëzimi me zero kopje. Ky post shqyrton se si tiparet dhe dizajni i Iceberg, kur shoqërohet me shtresën e ruajtjes me performancë të lartë të AIStor, ofron fleksibilitetin dhe besueshmërinë e nevojshme për të ndërtuar të lidhura: Zgjidhjet e Data Lakehouse nga Minio Zgjidhjet e Data Lakehouse nga Minio Qëllimet për një tryezë të hapur moderne Premtimi i një liqene qëndron në aftësinë e saj për të unifikuar më të mirën e liqeneve të të dhënave dhe depo. liqene të të dhënave të ruajtura në ruajtjen e objekteve janë projektuar për të ruajtur sasi të mëdha të të dhënave të papërpunuara në formatin e saj të lindur, duke ofruar shkallëzueshmëri, lehtësi të përdorimit dhe kosto-efektivitet. megjithatë, liqene të të dhënave në vetvete luftuan me çështje të tilla si qeverisja e të dhënave, dhe aftësia për të pyetur në mënyrë efikase të dhënat e ruajtura në to. Iceberg dhe formatet e tjera të tabelës së hapur si Apache Hudi dhe Delta Lake përfaqësojnë një hap përpara. Këto formate bëjnë që liqenet e të dhënave të sillen si depo të gjitha duke ruajtur fleksibilitetin fillestar dhe shkallëzueshmërinë e ruajtjes së objektit. Ky grumbull i ri i formateve të tabelës së hapur dhe ruajtjes së hapur mund të mbështesë ngarkesa të ndryshme të punës si AI, mësimi i makinës, analitika e avancuar dhe vizualizimi në kohë reale. Këtu është një vështrim se si mund të funksionojë kjo infrastrukturë. motorët e pyetjeve mund të ulen direkt në krye të ruajtjes së objektit në grumbullin tuaj dhe të kërkojnë të dhënat brenda tij pa migrim. Paradigma e vjetër e migrimit të të dhënave në ruajtjen e një baze të të dhënave d nuk është më relevante. Analytics tools and Visualizations can often connect directly to your storage where your Iceberg tables are stored, but more typically interface with your query engine for a more streamlined user experience. Së fundi, AI / ML ka të njëjtin parimin e projektimit si motorët e pyetjeve. Këto mjete AI / ML do të përdorin tabelat Iceberg direkt në ruajtjen e objekteve pa migrim. , veçanërisht për aftësinë e tyre për të ruajtur versione të shumëfishta të modeleve dhe grupeve të të dhënave pa vështirësi. ML punëtorë ML punëtorë Çfarë është e veçantë në Iceberg Apache Iceberg distinguishes itself from the through a combination of features and design principles that set it apart from alternatives like Apache Hudi and Delta Lake. Iceberg ofron mbështetje gjithëpërfshirëse për evolucionin e skemave, duke lejuar përdoruesit të shtojnë, ulin, përditësojnë ose riemërtojnë kolonat pa pasur nevojë për një rishkrim të plotë të të dhënave ekzistuese. Schema Evolution Iceberg mbështet evolucionin e ndarjes, duke lejuar modifikime në skemat e ndarjes me kalimin e kohës pa kërkuar rishkrime të të dhënave.Kjo aftësi lejon optimizimin dinamik të vendosjes së të dhënave si modelet e qasjes ndryshojnë. Partition Evolution Iceberg përdor një strukturë hierarkike të metadata, duke përfshirë skedarët manifestime, listat manifestime dhe skedarët metadata.Ky dizajn përmirëson planifikimin dhe optimizimin e pyetjeve duke siguruar informacion të detajuar për skedarët e të dhënave, duke lehtësuar qasjen dhe menaxhimin efikas të të dhënave. Metadata Management Projektuar me hapjen në mendje, Iceberg është në përputhje me motorë të ndryshëm të përpunimit si Apache Spark, Flink, Trino dhe Presto. Kjo ndërveprueshmëri u jep organizatave fleksibilitetin për të zgjedhur mjetet që i përshtaten më mirë nevojave të tyre dhe në mënyrë efikase uljen e çmimeve dhe nxitjen e inovacionit në këto produkte. Multi-Engine Compatibility Motorët e kërkimit Motorët e kërkimit Si me të gjitha formatet e tavolinave të hapura, Iceberg përfiton nga një komunitet i ndryshëm dhe aktiv, duke kontribuar në qëndrueshmërinë e tij dhe përmirësimin e vazhdueshëm. " Open Source Community Objekti i ruajtjes dhe akullnaja Ruajtja e objektit është themeli i arkitekturave moderne të liqeneve, duke siguruar shkallëzueshmërinë, qëndrueshmërinë dhe kosto-efektivitetin e nevojshëm për të menaxhuar grupe të mëdha të të dhënave në shumë mjedise.Në një arkitekturë të liqeneve, shtresa e ruajtjes luan një rol kritik në sigurimin e qëndrueshmërisë dhe disponueshmërisë së të dhënave, ndërsa një format i hapur i tabelës si Iceberg menaxhon metadata. is particularly well-suited for these requirements. For example, for high-throughput workloads like model training, AIStor’s support for S3 over RDMA ensures low-latency access to data. This feature makes the combination of the two technologies a very effective solution, particularly for large-scale AI and analytics pipelines. High performance is critical for the success of lakehouse initiatives - It doesn’t matter how cool your table format is if it can’t serve up queries as fast as your users require. Aistë Aistë Provoni vetë: Kushtet paraprake Ju do të duhet të instaloni Docker dhe Docker Compose. kur të dyja janë të nevojshme, shpesh është më e lehtë për të instaluar Shkarkoni dhe instaloni Docker Desktop nga faqja zyrtare e Docker. Ndiqni udhëzimet e instalimit të ofruara në installer për sistemin tuaj operativ. Përdorues: Docker Desktop Përdorues: Docker Desktop Nëse preferoni, gjithashtu mund të verifikoni instalimin e Docker dhe Docker Compose duke hapur një terminal dhe duke drejtuar: docker --version docker-compose --version Iceberg Tutorial Përshkrimi Kjo seksion tregon se si të integrohen Iceberg dhe AIStor për një arkitekturë të qëndrueshme të liqenit. për të krijuar mjedisin tonë fillestar: Fjalë kyçe Apache Iceberg Spark Fjalë kyçe Apache Iceberg Spark Step 1: Setup with Docker Compose Hapi 1: Konfigurimi me Docker Compose Ndiqni të për të nisur një mjedis të kontejnerizuar me Spark dhe Iceberg para-konfiguruar. Hapi i parë në udhëzues është që të kopjoni informacionin e mëposhtëm në një skedar dhe të ruani si një skedar të quajtur docker-compose.yml: Apache Iceberg Spark Quickstart udhëzues Apache Iceberg Spark Quickstart udhëzues version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Next, in a terminal window navigate to the place where you saved the .yml file and start up the docker containers with this command: docker-compose up Pastaj mund të ekzekutoni komandat e mëposhtme për të filluar një sesion Spark-SQL. docker exec -it spark-iceberg spark-sql në linjë Step 2: Create a Table Hapi 2: Krijoni një tavolinë Hapni një shell Spark dhe krijoni një tabelë: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); Kontrolloni konsolën tuaj MinIO duke lundruar në dhe të hyni me kredencialet nga .yml: AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=password http://127.0.0.1:9001 http://127.0.0.1:9001 Here, observe the iceberg/my_table/metadata path created for the table. Initially, no data files exist—only metadata that defines the schema and partitions. Step 3: Insert Data Step 3: Insert Data Futni disa të dhëna mock: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); This operation creates data files in the appropriate partitions (my_table/data/category=...) and updates the metadata. Step 4: Query the Data Hapi 4: Kërkoni të dhënat Run a basic query to validate: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; Produkti juaj duhet të duket si më poshtë: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Testing Key Iceberg Features Tani që keni krijuar një liqenin bazë të të dhënave me të dhëna që mund të manipuloni.Le të shohim tiparet që e bëjnë Iceberg unik: Schema Evolution, dhe Partition Evolution. Schema Evolution Programi i evolucionit Evolucioni i skemës është një nga tiparet më të fuqishme dhe më të përcaktuara të Apache Iceberg, duke adresuar një pikë dhimbje të konsiderueshme në sistemet tradicionale të depove.Ju lejon të modifikoni skemën e një tabele pa kërkuar rishkrime të dhënash të shtrenjta dhe kohore, e cila është veçanërisht e dobishme për grupet e të dhënave në shkallë të gjerë.Kjo aftësi lejon organizatat të përshtaten me modelet e tyre të të dhënave si nevojat e biznesit evoluojnë pa ndërprerë pyetjet ose operacionet e vazhdueshme. Në Iceberg, ndryshimet e skemës trajtohen thjesht në nivelin e metadatave. Çdo kolonë në një tabelë i jepet një ID unike, duke siguruar që ndryshimet në skemë nuk ndikojnë në skedarët e të dhënave themelore. Për shembull, nëse shtohet një kolonë e re, Iceberg i cakton një ID të ri pa riinterpretuar ose rishkruar të dhënat ekzistuese. Here’s an example of how schema evolution works in practice. Suppose you need to add a new column, buyer, to store additional information about transactions. You can execute the following SQL command: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Kjo operacion përditëson metadat e tabelës, duke lejuar skedarët e të dhënave të reja të përfshijnë kolonën e blerësit. skedarët e të dhënave të vjetra mbeten të paprekur, dhe pyetjet mund të shkruhen për të trajtuar të dhënat e reja dhe të vjetra pa probleme. Similarly, if a column is no longer required, you can remove it without affecting the stored data: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; Kjo veprim përditëson skemën për të përjashtuar kolonën e kategorisë. Iceberg siguron që të gjitha metadat e lidhura janë pastruar duke ruajtur integritetin e pyetjeve historike që ende mund të referohen versionet e vjetra të të dhënave. Evolucioni i skemës i Iceberg gjithashtu mbështet riemërtimin e kolonave, ndryshimin e llojeve të kolonave dhe riorganizimin e rendit të kolonave, të gjitha përmes operacioneve efikase të metadata-vetëm. Kjo qasje është veçanërisht e dobishme në mjedise me ndryshime të shpeshta të skemës, të tilla si ato të drejtuara nga eksperimentet e AI / ML, logjika dinamike e biznesit, ose kërkesat në zhvillim rregullatore. Partition Evolution Evolucioni i ndarjes Iceberg mbështet evolucionin e ndarjes që mund të trajtojë detyrat e mërzitshme dhe të prirura për gabime të prodhimit të vlerave të ndarjes për rreshtat në një tabelë. Përdoruesit përqendrohen në shtimin e filtrave në pyetjet që zgjidhin problemet e biznesit dhe nuk shqetësohen për mënyrën se si tabela është ndarë. Iceberg merret me kompleksitetin e ndarjes dhe ndryshimit të skemës së ndarjes së një tabele për ju, duke thjeshtuar shumë procesin për përdoruesit e fundit. Ju mund të përkufizoni ndarjen ose të lejoni Iceberg të kujdeset për të për ju. Iceberg pëlqen të ndarë në një timestamp, të tilla si koha e ngjarjes. Pjesëmarrjet gjurmohen nga snapshots në manifeste. Pyetjet nuk varen më nga vendosja fizike e një tabele. Për shkak të kësaj ndarjeje midis tabelave fizike dhe logjike, tabelat e Iceberg mund të evoluojnë ndarjet me kalimin e kohës si më shumë të dhëna shtohen. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; We now have two partitioning schemes for the same table. From now on, query plans are split, using the old partition scheme to query old data, and the new partition scheme to query new data. Iceberg takes care of this for you — people querying the table don’t need to know that data is stored using two partition schemes. Iceberg does this through a combination of behind-the-scenes WHERE clauses and partition filters that prune out data files without matches. Time Travel and Rollback Udhëtimi në kohë dhe rollback Çdo shkrim në tabelat e Iceberg krijon snapshots të reja. Snapshots janë si versionet dhe mund të përdoren për të udhëtuar në kohë dhe rollback ashtu si ne e bëjmë me aftësitë e versionimit AIStor. Mënyra se si snapshots menaxhohen është duke vendosur expireSnapshot në mënyrë që sistemi të mbahet mirë. Time travel mundëson pyetje të riprodhueshme që përdorin pikërisht të njëjtin snapshot të tabelës, ose lejon përdoruesit të shqyrtojnë lehtësisht ndryshimet. Version rollback lejon përdoruesit të korrigjojnë shpejt problemet duke rivendosur tabelat në një gjendje të mirë. Ndërsa tabelat ndryshojnë, Iceberg gjurmon çdo version si një imazh të menjëhershëm dhe pastaj ofron aftësinë për të udhëtuar në kohë në çdo imazh të menjëhershëm kur kërkoni tabelën.Kjo mund të jetë shumë e dobishme nëse dëshironi të ekzekutoni pyetje historike ose të riprodhoni rezultatet e pyetjeve të mëparshme, veçanërisht për raporte.Udhëtimi në kohë gjithashtu mund të jetë i dobishëm kur testoni ndryshime të reja të kodit sepse mund të testoni kodin e ri me një pyetje të rezultateve të njohura. Për të parë imazhet që janë ruajtur për një tabelë, ekzekutoni pyetjen e mëposhtme: SELECT * FROM my_catalog.my_table.snapshots; Produkti juaj duhet të duket diçka si kjo: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Disa shembuj të -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Ju mund të bëni lexime incrementale duke përdorur snapshots, por ju duhet të përdorni Spark, jo Spark-SQL. scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) Ju gjithashtu mund të rrokullisni tavolinën përsëri në një pikë në kohë ose në një snapshot të veçantë, si në këto dy shembuj CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Shprehje SQL Iceberg mbështet të gjitha komandat ekspresive SQL si fshij nivelin e rreshtit, bashkohet dhe përditësohet, dhe gjëja më e madhe për të theksuar është se Iceberg mbështet të dyja strategjitë Eager dhe të çmendur.Ne mund të kodojmë të gjitha gjërat që duhet të fshijmë (p.sh., GDPR ose CCPA), por jo të rishkruajmë të gjitha ato skedarë të të dhënave menjëherë, ne mund të mbledhim plehrat si të nevojshme dhe kjo ndihmon në efikasitet në tabelat e mëdha të mbështetura nga Iceberg. Për shembull, mund të fshini të gjitha rekordet në një tabelë që përputhen me një predikat të veçantë. DELETE FROM my_catalog.my_table WHERE category = 'video'; Alternatively, you could use CREATE TABLE AS SELECT or REPLACE TABLE AS SELECT to accomplish this: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; Ju mund të kombinoni dy tavolina shumë lehtë: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; Inxhinieria e të dhënave Iceberg është themeli i standardit të tabelës së hapur analitike dhe përdor sjelljen SQL dhe zbaton themelet e magazinës së të dhënave për të rregulluar problemet para se të dimë se kemi. Me inxhinierinë e të dhënave deklarative ne mund të konfigurojmë tabelat dhe të mos shqetësohemi për ndryshimin e çdo motori për t'iu përshtatur nevojave të të dhënave. Kjo hap optimizimin automatik dhe rekomandimet. Me kompromise të sigurta, shërbimet e të dhënave janë të mundshme që ndihmojnë në shmangien e ngarkesave të punës së të dhënave të fëmijëve. Këtu janë disa shembuj të këtyre llojeve të konfigurimeve: To inspect a table’s history, snapshot,s and other metadata, Iceberg supports querying metadata. Metadata tables are identified by adding the metadata table name (for example, history) after the original table name in your query. Për të shfaqur dosjet e të dhënave të një tabele: SELECT * FROM my_catalog.my_table.files; Për të shfaqur manifestimet: SELECT * FROM my_catalog.my_table.manifests; To display table history SELECT * FROM my_catalog.my_table.history; Për të shfaqur snapshots SELECT * FROM my_catalog.my_table.snapshots; You can also join snapshots and table history to see the application that wrote each snapshot select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Now that you’ve learned the basics, load some of your data into Iceberg, then learn more from the . Dokumentacioni Iceberg Integrimi Motorët e ndryshme të pyetjeve dhe ekzekutimeve kanë implementuar lidhësit Iceberg, duke e bërë të lehtë krijimin dhe menaxhimin e tabelave Iceberg. të të , të të and the list is growing. Spark Flink Presto Trino Ëndërr Snowflake Ky peizazh i gjerë i integrimit siguron që organizatat të mund të miratojnë Apache Iceberg pa u kufizuar në një motor të vetëm të përpunimit, duke promovuar fleksibilitetin dhe në infrastrukturën e tyre të të dhënave. ndërveprimit ndërveprimit Catalogs Do të ishte një referencë në çdo udhëzues përfundimtar për të mos përmendur katalogët. Katalogët e Iceberg janë thelbësore për menaxhimin e metadatave të tabelës dhe lehtësimin e lidhjeve midis grupeve të të dhënave dhe motorëve të pyetjeve. Këto katalogë mbajnë informacione kritike të tilla si skemat e tabelës, snapshots dhe vendosjet e ndarjeve, duke mundësuar karakteristikat e përparuara të Iceberg si udhëtimi në kohë, evolucioni i skemës dhe përditësimet atomike. Zbatime të ndryshme të katalogëve janë në dispozicion për të përmbushur nevojat e ndryshme operacionale. Për shembull, Polaris ofron një zgjidhje të shkallëzuar, katalogimi cloud-native të përshtatur për infrastrukturatjen moderne të të dhënave, ndërsa D Është cool për të ndërtuar liqenet e të dhënave me Iceberg dhe AIStor Apache Iceberg merr shumë vëmendje si një format tabelë për liqenet e të dhënave. komuniteti në rritje me burim të hapur dhe numri në rritje i integrimeve nga ofruesit e shumta të cloud dhe kornizat e aplikacioneve do të thotë se është koha për të marrë Iceberg seriozisht, dhe të fillojnë të eksperimentojnë, të mësojnë, dhe të planifikojnë në integrimin e saj në arkitekturën ekzistuese të liqenit të të dhënave. Ndërsa filloni me Iceberg dhe AIStor, ju lutemi të kontaktoni dhe të ndani përvojën tuaj ose të bëni pyetje nëpërmjet . our Slack channel