Arhitektura modernih podatkovnih sustava prolazi kroz temeljnu promjenu. Pitajte programera kako danas grade sustave podataka, a odgovor sve više izgleda ovako: Postgres za aplikaciju, jezero za analizu i znanost podataka. Postgres, dugo favoriziran za transakcijska radna opterećenja, razvio se u opću operativnu bazu podataka. To je pouzdano, fleksibilno i duboko proširivo, pokrećući sve od transakcija klijenata i CRUD aplikacija, do instrumentalnih ploča u realnom vremenu i AI-podržanih funkcija proizvoda. ), geospatialni podaci (PostGIS), vektor i potraga punog teksta (pgvector i pgvectorscale), i još mnogo toga. TimescaleDB Istodobno, porast tehnologija otvorenog jezera redefinirao je način na koji organizacije upravljaju i analiziraju podatke na skali. Disagregirano skladištenje, formati otvorenih tablica kao što su Iceberg, strukturirani katalozi podataka i kompostabilni motori upita omogućili su preciznu i kontrolnu analizu petabajtnih podataka. Ono što je iznenađujuće nije samo uspjeh tih tehnologija pojedinačno, već koliko često se one sada razmjenjuju zajedno.Organizacije sve više trebaju podržavati i operativna radna opterećenja (napajana bazama podataka) i neoperativna radna opterećenja (napajana jezerima), često koristeći podatke iz istih izvora - ljudi, strojevi, digitalni sustavi ili agenti. U stvari, mislimo da se pojavljuje nova, koherentnija arhitektura: ona koja tretira Postgres i jezero ne kao zasebne svjetove, već kao zasebne slojeve jednog modularnog sustava, dizajniranog da zadovolji cijeli spektar operativnih i analitičkih potreba. Ograničenja OLTP vs OLAP Dichotomy Stari način razmišljanja o bazama podataka bio je jednostavan: OLTP za transakcije, OLAP za analizu. Koristili ste Postgres za napajanje vaše aplikacije i poslali noćne ETL poslove u skladište podataka za unutarnja izvješća i nadzorne ploče. Moderne aplikacije su teške za podatke, usmjerene prema kupcu i u stvarnom vremenu po dizajnu. 
 
 
 
 Financijska aplikacija može pokrenuti trgovinski motor koji zahtijeva milisekundni pristup portfeljima klijenata, dok istodobno hrani izvješća o riziku u stvarnom vremenu i unutarnje nadzorne ploče. SaaS aplikacija nije samo pohranjivanje klikova – ona izračunava metriku korištenja, pokreće alarme i pruža personalizirane modele. Industrijski sustav praćenja mogao bi unijeti desetke milijuna čitanja senzora po satu, pokrenuti detekciju anomalija i logiku upozorenja te arhivirati godine telemetrije za dugoročnu analitičku i AI modelsku obuku. Ovi slučajevi korištenja nisu iznimke – brzo postaju norma. We increasingly see a more useful split: operational databases that power products, and lakehouses that power organizations. Ipak, iako su vlasništva ovih vrsta sustava podijeljena – timovi za proizvodno inženjerstvo odgovorni za operativne sustave koji pokreću njihove proizvode i timovi za podatke odgovorni za upravljanje sustavima jezera kao organizacijskim uslugama – njih dvojica još uvijek trebaju razgovarati jedni s drugima. Operacijska arhitektura medalja Jedan uzorak koji vidimo kako dobiva privlačnost je ono što nazivamo Inspiriran modela medaljona populariziranih u svijetu inženjeringa podataka, ovaj uzorak također uključuje brončane, srebrne i zlatne slojeve - ne samo za unutarnju analizu, već i za napajanje sustava u stvarnom vremenu koji su usmjereni prema korisniku. Operacijska arhitektura medalje Evo kako to izgleda: 
 
 
 
 Brončani sloj: Sirovi podaci žive u Parquet ili Iceberg datotekama na AWS S3 ili sličnim sustavima skladištenja bez dna s niskim troškovima. Ti podaci su obično nepromjenjivi, samo u prilozima i mogu se pretraživati od strane bilo čega: motora upita kao što su AWS Athena, DuckDB, Trino, ClickHouse ili Polars, ili čak izravno iz operativne baze podataka poput Postgres. Operativni srebrni sloj: Pročišćeni, filtrirani, validirani i deduplicirani podaci se pišu u Postgres kako bi se omogućila analiza u realnom vremenu, kontrolne ploče ili aplikacijska logika proizvoda usmjerenih na korisnike. Operativni zlatni sloj: Preagregirani podaci o srebrnim podacima (kao što su Postgresovi materijalizirani pogledi ili kontinuirani agregati TimescaleDB-a) služe iskustvima proizvoda s niskom latencijom i visokom konkurentnošću. Bitno je da je svaki sloj upitljiv, a to kretanje podataka je dvosmjerno. Možete povući sirove ili transformirane podatke iz S3 izravno u Postgres (također u usko integriranu obrnutu ETL). Možete uklopiti agregate iz Iceberg u Postgres tablice (jednom ili stajaćim upitima protiv Iceberg datoteka iz Postgres). Možete kontinuirano sinhronizirati cijelu shemu ili jednu tablicu iz baze podataka u jezero. Kao što se brončani (ili transformirani) podaci mogu čitati iz sloja skladištenja jezera na S3 u bazu podataka, srebro i zlato u bazi podataka mogu se napisati u ove formate skladištenja jezera. Jedan uobičajeni uzorak koji smo promatrali u aplikacijama koje zahtijevaju svježe podatke je pisanje iz upstream sustava kao što su Kafka ili Kinesis. S3 (za red, nepromijenjeni brončani podaci) i Postgres (oslanjajući se na sheme baze podataka i ograničenja za validaciju podataka).Tada se te srebrne tablice i naknadni zlati agregati u bazi podataka ponovno izvoze u S3, tako da timovi podataka sada imaju pristup "područnim podacima istine" koji su služili kupcima. Paralelno Operativna baza podataka može se pokrenuti zaključana - kako za korisnike tako i za neprijateljske upite - dok se podaci i dalje stavljaju na raspolaganje kao dio otvorenog jezera gdje god je to potrebno u org. Zašto sada? tehničke snage koje pokreću promjenu Nekoliko razvoja pokreće ovaj prijelaz od operativnih baza podataka i jezera od siloada do integriranog. Prvo, Iceberg je sazreo u stabilan i fleksibilan format tablice koji podržava evoluciju sheme, ACID transakcije i učinkovito kompaktiranje. Omogućuje višestrukim računalnim motorima da čitaju i pišu na isti skup podataka - s slojevima kataloga koji prate metapodatke i primjenjuju upravljanje preko stakla. Drugo, Postgres se nastavlja razvijati kao platforma. Uz proširenja za spajanje kolona, podatke o vremenskim serijama i vektorsko i hibridno pretraživanje – ono što smo izgradili na Timescale-u godinama – Postgres sada služi mnogim proizvodima koji uključuju analizu u realnom vremenu i agencijske radne tokove izravno. Ovo nije samo sloj za pohranu podataka za prethodno izračunane podatke, već kompletna SQL baza podataka za daljnje agregiranje, obogaćivanje ili JOIN-ove u vrijeme upita. now acts as the serving layer for products incorporating both transactional and analytical data Treće, programeri očekuju kompozibilnost.Neke organizacije mogu biti zaglavljene u svojim nasljednim monolitnim podatkovnim platformama, ali većina programera i znanstvenika o podacima želi fleksibilnost za sastavljanje vlastitih kupova, integrirajući poznate alate na načine koji odražavaju potrebe njihove aplikacije. Put differently: the market is moving toward modular, open, developer-friendly architectures. Što dolazi sljedeće Vjerujemo da će budućnost podatkovne infrastrukture oblikovati sustavi koji integriraju operativne i analitičke slojeve dublje – sustavi koji Postgres i jezero tretiraju kao dvije strane istog novčića. To se neće dogoditi kroz još jedan monolit.Doći će od pažljivih sučelja - povećane sinhronizacije, zajedničkih kataloga, ujedinjenih površina upita - i iz arhitektonske filozofije koja prihvaća heterogenost umjesto da se bori protiv nje. Radimo na nečemu novom u ovom prostoru. nešto što se temelji na prednostima Postgres i Iceberg, čvrsto se integrira s postojećim sustavima jezera i čini dramatično lakšim izgradnju punih podatkovnih sustava s operativnom i analitičkom vjerodostojnošću. Ne radi se o korištenju ETL-a za pomicanje podataka iz nasljednih sustava u nove sustave – radi se o izgradnji koherentne moderne podatkovne arhitekture koja služi operativnim i neoperativnim slučajevima korištenja. Ostanite u tonu.

Stop database overprovisioning with Dynamic PostgreSQL. Try it out for free

Stop database overprovisioning with Dynamic PostgreSQL Try it out for free

Ovaj zvuk je proizveden na izvornom jeziku priče!

Predugo; Čitati

Make resilience your competitive advantage

Postgres i Lakehouse postaju jedan sustav - Evo što dolazi sljedeće

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps