Hogyan Iceberg + AIStor Power a modern Multi-Engine Data Lakehouse

Úgy tűnik, hogy az adatvilágot egy (hó)vihar fogta el. Kezdetben a Netflix-en inkubálta Ryan Blue (más néven , most Databricks hírnév), végül továbbították az Apache Software Foundation, ahol jelenleg lakik. A magjában, ez egy nyílt táblázat formátum a skálázott adatkészletek (gondoljon több száz TB-tól több száz PB-ig). Miután a mesterséges intelligencia hatalmas mennyiségű adatot gyűjt a modellalkotáshoz, a hangoláshoz és a valós idejű következtetéshez, ennek a technológiának az igénye csak növekedett a kezdeti fejlesztése óta. Apache jéghegy táblázat Apache jéghegy táblázat Az Iceberg egy többmotoros kompatibilis formátum. Ez azt jelenti, hogy a Spark, a Trino, a Flink, a Presto, a Snowflake és a Dremio mindegyike önállóan és egyidejűleg működhet ugyanazon az adatkészleten. Az Iceberg támogatja az SQL-t, az adatelemzés univerzális nyelvét, és olyan fejlett funkciókat kínál, mint az atomügyletek, a rendszer evolúciója, a partíció evolúciója, az időutazás, a rollback és a nulla másolás. Összefüggő : Adatgyűjtő megoldások Minio Adatgyűjtő megoldások Minio Célok egy modern nyitott asztal formátum A tóház ígérete abban rejlik, hogy képes a legjobb adatmezőket és raktárakat egyesíteni. Az objektumtárolóban tárolt adatmezőket úgy tervezték, hogy hatalmas mennyiségű nyers adatot tároljanak natív formátumban, skálázhatóságot, könnyű használatot és költséghatékonyságot kínálva. Azonban az adatmezők önmagukban olyan problémákkal küzdöttek, mint az adatirányítás, és a bennük tárolt adatok hatékony lekérdezésének képessége. Az Iceberg és más nyílt táblázati formátumok, mint például az Apache Hudi és a Delta Lake előrelépést jelentenek. Ezek a formátumok lehetővé teszik, hogy az adatgyűjtők úgy viselkedjenek, mint a raktárak, miközben megtartják az objektum tárolás kezdeti rugalmasságát és skálázhatóságát. Ez az új nyílt táblázati formátumok és a nyílt tárolás sokféle munkaterhelést támogathat, mint például az AI, a gépi tanulás, a fejlett elemzés és a valós idejű vizualizáció. Íme egy pillantás arra, hogyan működhet ez az infrastruktúra. A lekérdezésmotorok közvetlenül a halom objektumtárának tetején ülhetnek, és migráció nélkül lekérdezik a benne lévő adatokat. A d adatbázisok tárolására való áttérés régi paradigmája már nem releváns. Ehelyett bárhonnan lekérdezheted az Iceberg táblákat. Az analitikai eszközök és a vizualizációk gyakran közvetlenül csatlakozhatnak a tárhelyhez, ahol az Iceberg táblázatait tárolják, de általában interfész a lekérdezésmotorral a hatékonyabb felhasználói élmény érdekében. Végül, az AI/ML ugyanazokkal a tervezési elvekkel rendelkezik, mint a lekérdezésmotorok.Ezek az AI/ML eszközök közvetlenül az objektumtárban használják az Iceberg táblázatokat anélkül, hogy migrációt igényelnének.Bár jelenleg nem minden AI/ML eszköz használja az Iceberget, egyre nagyobb érdeklődés mutatkozik az Iceberg AI/ML használata iránt. , különösen azért, mert képesek a modellek és adatkészletek több verziójának problémamentes fenntartására. ML munkaterhelés ML munkaterhelés Mi a különleges az Icebergben Az Apache Iceberg megkülönbözteti magát a funkciók és a tervezési elvek kombinációjától, amelyek megkülönböztetik az olyan alternatíváktól, mint az Apache Hudi és a Delta Lake. Az Iceberg átfogó támogatást nyújt a rendszer evolúciójához, lehetővé téve a felhasználók számára oszlopok hozzáadását, leadását, frissítését vagy átnevezését anélkül, hogy szükség lenne a meglévő adatok teljes átírására. Schema Evolution Az Iceberg támogatja a partíciós evolúciót, lehetővé téve a partíciós rendszerek idővel történő módosítását anélkül, hogy az adatok újraírására lenne szükség. Partition Evolution Az Iceberg hierarchikus metaadatstruktúrát alkalmaz, beleértve a manifeszt fájlokat, a manifeszt listákat és a metaadatfájlokat. Ez a kialakítás javítja a lekérdezések tervezését és optimalizálását azáltal, hogy részletes információkat nyújt az adatfájlokról, megkönnyítve az adatok hatékony hozzáférését és kezelését. Metadata Management : A nyitottság szem előtt tartásával tervezett Iceberg kompatibilis a különböző feldolgozó motorokkal, mint például az Apache Spark, a Flink, a Trino és a Presto. csökkenti az árat és ösztönzi az innovációt ezekben a termékekben. Multi-Engine Compatibility keresőmotorok keresőmotorok keresőmotorok keresőmotorok Mint minden nyitott asztali formátum esetében, az Iceberg is kihasználja a sokszínű és aktív közösség előnyeit, hozzájárulva annak robusztusságához és folyamatos fejlesztéséhez.” Open Source Community Objektum tárolás és jéghegy Az objektumtárolás képezi a modern tóépület-architektúrák alapját, biztosítva a nagyméretű adatkészletek számos környezetben történő kezeléséhez szükséges skálázhatóságot, tartósságot és költséghatékonyságot.A tóépület-architektúrában a tároló réteg kritikus szerepet játszik az adatok tartósságának és rendelkezésre állásának biztosításában, míg egy nyílt táblázatformátum, például az Iceberg kezeli a metaadatokat. Ez a funkció különösen alkalmas ezekre a követelményekre. Például a nagy teljesítményű munkaterhelésekhez, mint például a modellképzéshez az AIStor S3 és RDMA támogatása alacsony késleltetésű hozzáférést biztosít az adatokhoz. Ez a funkció a két technológia kombinációját nagyon hatékony megoldássá teszi, különösen a nagyméretű mesterséges intelligencia és analitikai csővezetékek esetében. A nagy teljesítmény kritikus fontosságú a tavaképző kezdeményezések sikeréhez - nem számít, mennyire hűvös a táblázati formátum, ha nem tudja kiszolgálni a lekérdezéseket a felhasználók igényeinek megfelelően. Aisztor Aisztor Próbáld ki magad: előfeltételek A Docker és a Docker Compose telepítése szükséges. ha mindkettőre szükség van, gyakran könnyebb telepíteni A Docker Desktop letöltése és telepítése a Docker hivatalos weboldaláról. Kövesse az operációs rendszer telepítőjében megadott telepítési utasításokat. Nyissa meg a Docker Desktopot, hogy megbizonyosodjon arról, hogy fut. Docker Desktop használata Docker Desktop használata Ha szeretné, ellenőrizheti a Docker és a Docker Compose telepítését egy terminál megnyitásával és futtatásával: docker --version docker-compose --version Iceberg útmutató Ez a szakasz bemutatja, hogyan lehet integrálni az Iceberg és az AIStor egy robusztus tóépület architektúrájához. Kezdőlap » Környezetünk kialakítása: Apache Iceberg Spark gyorsindítás Apache Iceberg Spark gyorsindítás Step 1: Setup with Docker Compose 1. lépés: A Docker Compose beállítása Kövesse a Az első lépés az útmutatóban az, hogy másolja az alábbi információkat egy fájlba, és mentse a docker-compose.yml nevű fájlként: Apache Iceberg Spark Quickstart útmutató Apache Iceberg Spark Quickstart útmutató version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Ezután egy terminál ablakban navigáljon arra a helyre, ahol mentette az .yml fájlt, és indítsa el a docker konténereket ezzel a parancsgal: docker-compose up Ezután futtathatja az alábbi parancsokat, hogy elindítsa a Spark-SQL munkamenetet. docker exec -it spark-iceberg spark-sql alkalmazás Step 2: Create a Table 2. lépés: Készítsen asztalt Nyissa meg a Spark héjat, és hozzon létre egy táblázatot: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); Ellenőrizze a MinIO konzolt a Az AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=jelszó http://127.0.0.1:9001 http://127.0.0.1:9001 Itt figyelje meg a táblázathoz létrehozott iceberg/my_table/metadata ösvényt. Kezdetben nem léteznek adatfájlok – csak metaadatok, amelyek meghatározzák a sémát és a partíciókat. Step 3: Insert Data 3. lépés: Adatok beillesztése Adjon meg néhány mock adatot: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); Ez a művelet létrehozza az adatfájlokat a megfelelő partíciókban (my_table/data/category=...) és frissíti a metaadatokat. Step 4: Query the Data 4. lépés: Keresse meg az adatokat Végezzen el egy alapvető lekérdezést az érvényesítéshez: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; A kimenetnek a következőnek kell lennie: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Iceberg jellemzők tesztelése Most, hogy létrehoztál egy alapvető adatlapot, amelyben manipulálhatod az adatokat, nézzük meg azokat a funkciókat, amelyek egyedivé teszik az Iceberget: Schema Evolution és Partition Evolution. Schema Evolution Evolúciós terv A Schema evolution az Apache Iceberg egyik legerősebb és legmeghatározóbb funkciója, amely a hagyományos raktárrendszerek jelentős fájdalompontját oldja meg. Lehetővé teszi, hogy módosítsa a táblázatot anélkül, hogy költséges és időigényes adatátírásokat igényelne, ami különösen előnyös a nagyméretű adatkészletek számára. Ez a képesség lehetővé teszi a szervezetek számára, hogy adatmodelleket alkalmazzanak az üzleti igények alakulásával anélkül, hogy megzavarnák a folyamatban lévő lekérdezéseket vagy műveleteket. Az Icebergben a sémamódosításokat pusztán a metaadatok szintjén kezelik. A táblázat minden oszlopához egy egyedi azonosítót rendelnek, amely biztosítja, hogy a sémamódosítások ne befolyásolják a mögöttes adatfájlokat. Például, ha új oszlopot adnak hozzá, az Iceberg új azonosítót rendel hozzá a meglévő adatok újbóli értelmezése vagy átírása nélkül. Íme egy példa arra, hogy a rendszer evolúciója hogyan működik a gyakorlatban. Tegyük fel, hogy új oszlopot kell hozzáadnia a tranzakciók további adatainak tárolásához. Végezheti el a következő SQL-parancsot: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Ez a művelet frissíti a táblázat metaadatait, lehetővé téve, hogy az új adatfájlok tartalmazzák a vevő oszlopot. A régebbi adatfájlok érintetlenek maradnak, és a lekérdezéseket az új és a régi adatok zökkenőmentesen kezelhetők. Hasonlóképpen, ha egy oszlop már nem szükséges, eltávolíthatja anélkül, hogy befolyásolná a tárolt adatokat: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; This action updates the schema to exclude the category column. Iceberg ensures that any associated metadata is cleaned up while maintaining the integrity of historical queries that might still reference older data versions. Az Iceberg schema evolúciója szintén támogatja az oszlopok átnevezését, az oszloptípusok megváltoztatását és az oszlopok sorrendjének átszervezését, mindezt hatékony metadatokon alapuló műveletekkel. Ez a megközelítés különösen előnyös olyan környezetekben, ahol gyakoriak a rendszerváltozások, mint például az AI/ML kísérletek, a dinamikus üzleti logika vagy a változó szabályozási követelmények. Partition Evolution Partíció evolúció Az Iceberg támogatja a partíciós evolúciót, amely képes kezelni a táblázat soraihoz tartozó partíciós értékek termelésének fárasztó és hibás feladatát.A felhasználók arra koncentrálnak, hogy szűrőket adjanak a lekérdezésekhez, amelyek megoldják az üzleti problémákat, és nem aggódnak a táblázat felosztásának módjáról. Az Iceberg az Ön számára a felosztás és a táblázat felosztási rendszerének megváltoztatásának bonyolultságával foglalkozik, ami nagymértékben leegyszerűsíti a folyamatot a végfelhasználók számára. Meghatározhatja a felosztást, vagy hagyhatja, hogy az Iceberg gondoskodjon róla. Az Iceberg szeret időbélyegre osztani, például eseményidőre. A felosztásokat a manifesztumokban lévő pillanatfelvételek követik. A lekérdezések már nem függnek a táblázat fizikai elrendezésétől. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; Most már két partíciós rendszerünk van ugyanarra a táblára. Mostantól a lekérdezési tervek megoszlanak, a régi partíciós rendszert használva a régi adatok lekérdezésére, és az új partíciós rendszert az új adatok lekérdezésére. Iceberg gondoskodik erről az Ön számára – a táblát lekérdező embereknek nem kell tudniuk, hogy az adatokat két partíciós rendszer segítségével tárolják. Time Travel and Rollback Időutazás és Rollback Minden írást az Iceberg táblák új pillanatfelvételeket hoz létre. A pillanatfelvételek hasonlóak a verziókhoz, és használhatók az időutazáshoz és a visszafordításhoz, ugyanúgy, mint az AIStor verziószerkesztési képességeivel. A pillanatfelvételek kezelése azáltal történik, hogy beállítja a Snapshot lejáratát, így a rendszert jól karbantartják. Az időutazás lehetővé teszi a pontosan ugyanazt a táblázatot használó reprodukálható lekérdezéseket, vagy lehetővé teszi a felhasználók számára a változások könnyű megvizsgálását. A táblázatok megváltoztatásakor az Iceberg minden verziót pillanatfelvételként követi nyomon, majd a táblázat lekérdezésekor lehetővé teszi az időutazást bármely pillanatfelvételre. Ez nagyon hasznos lehet, ha történelmi lekérdezéseket szeretne futtatni, vagy a korábbi lekérdezések eredményeit szeretné megismételni, különösen jelentéstétel céljából. A táblázathoz mentett pillanatfelvételek megtekintéséhez futtassa a következő lekérdezést: SELECT * FROM my_catalog.my_table.snapshots; A kimenetnek valami ilyesminek kell lennie: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Néhány példa: -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Rövid felvételek használatával fokozatos olvasásokat végezhet, de a Spark-SQL helyett a Spark-SQL-t kell használnia. scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) Az asztalt egy adott pontra vagy egy adott pillanatképre is visszaforgathatja, mint ez a két példa. CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Expresszív SQL Az Iceberg támogatja az összes kifejező SQL parancsot, mint például a sorszintű törlés, egyesítés és frissítés, és a legnagyobb dolog, amit ki kell emelni, hogy az Iceberg támogatja mind az Eager, mind a lusta stratégiákat. kódolhatjuk az összes dolgot, amit törölnünk kell (például a GDPR vagy a CCPA), de nem írhatjuk újra az összes adatfájlt azonnal, lustaan gyűjthetjük a szemetet, ha szükséges, és ez segít a hatékonyságban az Iceberg által támogatott hatalmas táblákon. Például törölheti egy táblázatban az összes olyan rekordot, amely egy adott predikatumnak felel meg. Az alábbiakban az összes sor eltávolításra kerül a videó kategóriából. DELETE FROM my_catalog.my_table WHERE category = 'video'; Alternatív megoldásként használhatja a CREATE TABLE AS SELECT vagy a REPLACE TABLE AS SELECT funkciót: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; Két táblát nagyon könnyen összekapcsolhat: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; adatmérnöki Az Iceberg az alapja a nyílt analitikai táblázati szabványnak, és az SQL viselkedést használja, és az adattár alapelveit alkalmazza a problémák megoldására, mielőtt tudnánk, hogy van. A deklaratív adatfejlesztéssel táblázatokat konfigurálhatunk, és nem aggódhatunk az egyes motorok az adatok igényeinek megfelelő módosításáról. Ez automatikus optimalizálást és ajánlásokat nyit meg. Biztonságos megbízásokkal adatszolgáltatások lehetségesek, amelyek segítenek elkerülni az emberi babysitting adatmunkaterheléseket. Íme néhány példa az ilyen típusú konfigurációkra: A táblázat előzményeinek, pillanatfelvételeinek és egyéb metaadatainak ellenőrzéséhez az Iceberg támogatja a lekérdezéseket.A metaadatok táblázatait a lekérdezésben az eredeti táblázat után a metaadatok táblázatának (például a történelem) nevének hozzáadásával határozzák meg. Egy táblázat adatfájljainak megjelenítése: SELECT * FROM my_catalog.my_table.files; A manifesztációk bemutatása: SELECT * FROM my_catalog.my_table.manifests; Az asztal történetének bemutatása SELECT * FROM my_catalog.my_table.history; Snapshots megjelenítése SELECT * FROM my_catalog.my_table.snapshots; A pillanatfelvételekhez és a táblázat történetéhez is csatlakozhat, hogy megtekinthesse az egyes pillanatfelvételeket írt alkalmazást. select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Most, hogy megtanulta az alapokat, töltse fel az adatait az Icebergbe, majd tudjon meg többet a . Iceberg dokumentáció Integrációk Különböző lekérdezési és végrehajtási motorok vezettek be Iceberg csatlakozókat, így könnyű létrehozni és kezelni az Iceberg táblákat. az , az , az , az , az , És a lista növekszik. Spárta Szép Hamarosan trino álmodozás Hófehérke Ez a kiterjedt integrációs környezet biztosítja, hogy a szervezetek elfogadják az Apache Iceberg-et anélkül, hogy egyetlen feldolgozómotorra korlátozódnának, elősegítve a rugalmasságot és a az adatinfrastruktúrájukban. interoperabilitás interoperabilitás katalógusok Az Iceberg-katalógusok központi szerepet játszanak a táblázati metaadatok kezelésében és az adatkészletek és a lekérdezésmotorok közötti kapcsolatok megkönnyítésében. Ezek a katalógusok olyan kritikus információkat tartanak fenn, mint a táblázati vázlatok, a pillanatfelvételek és a felosztási elrendezések, amelyek lehetővé teszik Iceberg olyan fejlett funkcióit, mint az időutazás, a vázlat evolúciója és az atomfrissítések. Számos katalógus-implementáció áll rendelkezésre a különböző működési igények kielégítésére. Például a Polaris skálázható, felhőalapú katalógus-megoldást kínál a modern adatinfrastruktúrákhoz, míg a Dremio Nessie a Git-szerű sz Hűvös az adat tavak építése az Iceberg és az AIStor segítségével Az egyre növekvő nyílt forráskódú közösség és a több felhőszolgáltatótól és alkalmazási keretrendszertől származó integrációk növekvő száma azt jelenti, hogy itt az ideje, hogy komolyan vegyük az Iceberget, és elkezdjük kísérletezni, tanulni és tervezni a meglévő adatgyűjtő architektúrába való integrálását. Ahogy elkezdesz az Iceberg és az AIStor használatával, kérjük, érjen el és ossza meg tapasztalatait, vagy tegyen fel kérdéseket . A Slack csatorna