Шинэ өгөгдлийн системийн архитектур нь фундаменталтай өөрчлөгдөж байна. Өнөөдөр өгөгдлийн системийг хэрхэн үүсгэхийн тулд хөгжүүлэгчидтэй асуултад: Postgres нь хэрэглээний хувьд, аналитик, өгөгдлийн шинжлэх ухааны газар юм. Postgres, давтамж транзакцийн ажлын ачаалалтай, өргөн хэрэгцээтэй үйл ажиллагаатай мэдээллийн сан юм. Энэ нь найдвартай, гүнзгий, гүнзгий өргөтгөлтэй бөгөөд хэрэглэгчийн транзакцийн болон CRUD апп-ийн бүх зүйлийг эрчим хүчтэй, жинхэнэ цаг ачаалал болон AI-ийн дэмжлэгтэй бүтээгдэхүүний шинж чанартай байдаг. Энэ нь эрчим хүчний систем нь жинхэнэ цаг анализ дэмждэг ( ), geospatial data (PostGIS), вектор, бүрэн текст хайлт (pgvector болон pgvectorscale), гэх мэт. цаг агаарын Үүнээс гадна, open lakehouse технологийг шинэчлэгдсэн, аж ахуйн нэгжийн өгөгдлийн түвшинд удирдах, шинжилгээ хийх талаар. Disaggregated storage, open table formats like Iceberg, structured data catalogues, and composable query engines have made it possible to analyze petabyte-scale data with precision and control. This architecture can offer governance, avoid vendor lock-in, and still provide data teams flexibility in their choice of tools. Эдгээр технологийн нэг удаагийн амжилт нь гайхамшигтай биш юм, Харин ихэвчлэн тэд одоо нэгтгэсэн байна. Үйлчилгээний ажлын ачаалал (DataBase-ийн ачаалал) болон ачаалалгүй ажлын ачаалал (Lakehouses-ийн ачаалал), ихэвчлэн нэг эх сурвалжаас өгөгдлийг ашигладаг - хүн, машин, дижитал систем, эсвэл агент. Гэсэн хэдий ч эдгээр системүүд хэдий ч тусгаарлагддаг, ихэвчлэн янз бүрийн багтаагддаг, ихэвчлэн ихэвчлэн хамтран ажилладаг. Үнэндээ, бид шинэ, илүү нарийвчлалтай архитектур үзэж байна гэж бодож байна: Postgres болон ойрхины хавтан нь өөр өөр дэлхийд биш, харин нэг модуль системийн тусгай давхарга, үйл ажиллагааны, аналитик шаардлагад бүрэн спектрийг хангах зорилготой. OLTP vs OLAP Dichotomy-ийн хязгаарлалт Өнгөрсөн хэлбэрийн өгөгдлийн сан нь хялбар байсан: Transactions нь OLTP, Analysis нь OLAP. You used Postgres to power your app, and sent nightly ETL jobs to a data warehouse for internal reports and dashboards. This traditional distinction served us well when applications were simpler, and internal reporting could live on a much slower cadence. But that’s no longer the case. Сүүлийн үеийн програмууд нь өгөгдөлтэй, хэрэглэгчдэд зориулсан, дизайн гэхэд rea-time байдаг. Тэд транзакцийн, аналитик хооронд шууданг хамардаг. 
 
 
 
 Арилжааны апп нь үйлчлүүлэгчний портфель руу милисекунд хандах хэрэгцээтэй худалдааны хөдөлгүүр ажиллуулах боломжтой бөгөөд тогтмол цаг хугацааны ризик өгөгдөл, дотоодын таслагч дээр харьцуулахад. SaaS-ийн апп нь зүгээр л даралт хадгалах биш юм - энэ нь хэрэглээний метрикуудыг тооцох, мэдрэгчдэд идэвхжүүлэх, өөрчлөн загварууд хандах юм. Аж үйлдвэрийн хяналтын систем нь цаг хугацаанд сая сансрын унтраах авч, аномалийн олборлолт, хязгаарлалт логик дэмжих, урт хугацааны анализ, AI загвар сургалтыг зориулсан жилийн телеметрийн архивууд хийх боломжтой. Эдгээр хэрэглээний тохиолдолд хязгааргүй биш юм - тэд хурдан нормуудыг болж байна. We increasingly see a more useful split: operational databases that power products, and lakehouses that power organizations. Гэсэн хэдий ч энэ төрлийн системүүдний эзэмшигч - бүтээгдэхүүний инженерийн баг нь тэдний бүтээгдэхүүнийг эрчимтэй үйл ажиллагаа явуулж байгаа үйл ажиллагаатай системийг ажиллуулж байгаа бөгөөд системүүд нь аж ахуйн нэгжийн үйлчилгээ гэж удирдах мэдээллийн баг нь - аль аль аль аль аль нь өөрсдийн талаар ярьж байх ёстой. Тэд нэг данс дээр ажиллах хэрэгтэй бөгөөд ихэвчлэн үндсэн схемуудыг хуваалцах хэрэгтэй. Тэд илүү сайн нэгтгэх, синхрончтой байлгах, систем нь илүү эрчимтэй, чадвартай байх болно. Ажлын Medallion архитектура нэг загвар бид тракторийг олж үздэг гэж нэрлэдэг юм Энэ загвар нь өгөгдлийн инженерийн дэлхийд алдартай медальон загваруудтай, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэрдэггүй, зэвэр үйл ажиллагаатай Medallion архитектура Энд үүнийг харуулж байна: 
 
 
 
 Bronze Layer: Bronze Layer: AWS S3 эсвэл харьцангуй хязгаарлагдмал хадгалах системд Parquet эсвэл Iceberg файлуудыг хадгалах. Эдгээр өгөгдөл нь ихэвчлэн байнгын, зөвхөн нэмэлт, ямар ч зүйлээр хайж болно: AWS Athena, DuckDB, Trino, ClickHouse, эсвэл Polars гэх мэт асуултын хөдөлгүүр, эсвэл Postgres гэх мэт үйл ажиллагааны мэдээллийн санд шууд. Ажлын Silver Layer: Зөвлөгдсэн, шүүлтүүр, баталгаажуулсан, дедуплицированд өгөгдөл Postgres-д хэрэглэгчийн зориулалттай бүтээгдэхүүний rea-time analytics, dashboards, эсвэл хэрэглээний логик дэмждэг. Үйлчилгээний Gold Layer: Тавтай морилно уу, Тавтай морилно уу, Тавтай морилно уу, Тавтай морилно уу, Тавтай морилно уу, Тавтай морилно уу Хамгийн чухал нь, бүр давхаргыг хайж болно, энэ өгөгдлийн дамжуулалт нь хоёр тусламжтай байдаг. Та S3-аас зэвэрдэггүй эсвэл өөрчлөгдсөн өгөгдлийг Postgres руу шууд утасны болно (тооцооны ETL-ийг тохиромжтой). Та Iceberg-аас Iceberg-ийг Postgres-ийг хавтгай (Postgres-ийн Iceberg файлуудтай нэг удаагийн эсвэл тогтмол утасны дамжуулан) тоноглогдсон болно. Та бүх схемуу, эсвэл нэг хавтгай дөрвөн баглаа боодол баглаа боодол баглаа боодол. Бронзойн ( эсвэл трансформирован) өгөгдөл S3 дээрх усны хадгалах давхарга нь мэдээллийн санд унших болно шиг, мэдээллийн санд сав баглаа боодол нь эдгээр усны хадгалах формат руу бичж болно. Энэ нь хоёр системд ижил хоолойг шинэчлэхэд хэрэглэнэ. Шинэ өгөгдлийг шаарддаг хэрэглээнд бид үзсэн нэг нийтлэг загвар нь Kafka эсвэл Kinesis гэх мэт дээрх streaming системээс бичдэг. S3 (хүргэлтийн хувьд, өөрчилсөн бронзыйн өгөгдөл) болон Postgres (базарын схемууд, өгөгдлийн баталгаажуулалт нь хязгаарлалт дээр суурилсан). Дараа нь базар дахь эдгээр барааны ширхэг болон дараагийн зоолоо aggregates S3-ийг экспортлогдсон байна, Тиймээс өгөгдлийн баг нь одоо хэрэглэгчдэд зориулагдсан "хуудангийн өгөгдөл" хандах болно. Параллел Одоо бүр системийн асуултууд нь тэдний тусгаарлагдмал байлгах болно. Аж үйлдлийн мэдээллийн сан - хэрэглэгчийн болон хязгаарлагдмал асуултууд нь аль хэдий ч хэрэглэгчийн хэрэгцээтэй байх болно. Хэрэв та одоо юу вэ? Техникийн эрчим хүчний дамжуулалт Олон хөгжил нь үйл ажиллагаатай өгөгдлийн бааз, ойрхины хавтан нь шиллоид болгон интегрирован болгон дамжуулан энэ өөрчлөлтийг дэмждэг. Эхлээд, Iceberg нь ширхэг хөгжил, ACID трансакцийг дэмждэг тогтвортой, гялалзгий ширхэг хэлбэрээр олддог. Энэ нь хэд хэдэн тооцооллын хөдөлгүүрийн нэг өгөгдлийн цуврал дээр унших, хуваалцах боломжийг олгодог. Каталог цуврал нь метадантаас дагаж, өгөгдлийн баазын хоорондоо удирдах боломжийг олгодог. Хоёр дахь, Postgres нь платформыг боловсруулсан байна. Колонны хадгалах, цаг хугацааны цуврал өгөгдөл, вектор, гибрид хайлтын тоног төхөөрөмжтай - бид жилийн турш Timescale-д бий болгож байна - Postgres одоо тавтай морилно уу тавтай морилно уу, агенттын ажлын үйл явцыг шууд нэгтгэсэн олон бүтээгдэхүүнийг хангах болно. Тэгээд Postgres-ийн дотор шууд S3 болон Iceberg өгөгдлийн хайлтын дэмжлэгтэй Postgres-ийн дотор S3-ийн хостын өгөгдлийг шууд нэгтгэсэн болно. Тиймээс Postgres нь одоо зүгээр л транзакцийн өгөгдлийн хувьд биш юм - нэгтгэлийн ETL / CDC нь lakehouse - гэхдээ Энэ нь pre-computed өгөгдлийн хувьд зөвхөн өгөгдлийн хашаа түвшин биш, хашаа цаг хугацааны дараагийн багц, тоног төхөөрөмж, эсвэл JOINs нь бүрэн SQL мэдээллийн сан юм.This is not just a data caching layer for pre-computed data, but a full-fledged SQL database for further aggregations, enrichment, or JOINs at query time. now acts as the serving layer for products incorporating both transactional and analytical data Өнгөрсөн, хөгжүүлэгчид компостийг хүсэж байна. Загвартай монолит өгөгдлийн платформтай зарим компаниуд тавтай морилно уу, гэхдээ ихэнх хөгжүүлэгчид, өгөгдлийн шинжлэх ухааны оюутнуудад тэдний хэрэглээний хэрэгцээг харьцуулахад мэдэгддэг арга хэрэгслүүдийг нэгтгэх, өөрсдийн багцуулах флексибилностыг хүсч байна. Ажлын формат, хуваалцсан хадгалах нь энэ мэдрэмжийг тохиромжтой байдаг. Put differently: the market is moving toward modular, open, developer-friendly architectures. Дараа нь Бид өгөгдлийн инфраструктурны амралтын систем нь үйл ажиллагаа, аналитик давхаргыг илүү гүнзгий нэгтгэсэн системийг хэлбэлзэж болно - Postgres болон ойрхины хавтгай дөрвөн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн систем. Энэ нь өөр нэг монолит дамжуулан хийж чадахгүй. Энэ нь нарийвчлалтай интерфэйс - нарийвчлалтай синхрониз, хуваалцсан каталог, нэгтгэсэн асуултын хавхлага - болон хэт авианы бодож байна. Бид энэ талбайд шинэ зүйл дээр ажилладаг. Postgres болон Iceberg-ийн хүчтэй дээр суурилсан зүйл, одоогийн хавтгай системд хатуу интеграцийг бий болгох, үйл ажиллагаа, аналитик найдвартай бүрэн өгөгдлийн системг үүсгэх нь маш их хялбар болгодог. Энэ нь ETL-ийг хэрэглэхэд шинэ системд өгөгдлийг дамжуулах тухай юм. Энэ нь үйл ажиллагаатай болон үйл ажиллагаатай бус хэрэглээний тохиолдолд хамарсан хатуу орчин үеийн өгөгдлийн архитектур бий болгох тухай юм. Түлхүүр үг

Stop database overprovisioning with Dynamic PostgreSQL. Try it out for free

Stop database overprovisioning with Dynamic PostgreSQL Try it out for free

Энэхүү аудио нь түүхийн эх хэлээр хийгдсэн болно!

Хэтэрхий урт; Унших

Make resilience your competitive advantage

Postgres болон Lakehouse нь нэг систем болж байна - Энд дараагийн зүйл юм

About Author

Сэтгэгдлүүд

TAG ҮҮ

ЭНЭ ӨГҮҮЛЛИЙГ ТОЛГОЙЛУУЛСАН

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps