Modern veri sistemlerinin mimarisi temel bir değişim geçiriyor. Geliştiriciye günümüzde veri sistemlerini nasıl oluşturduğunu sorun ve cevap giderek daha fazla şu şekilde görünüyor: Uygulama için Postgres, analitik ve veri bilimi için bir göl evi. İşlemci iş yükü için uzun süredir tercih edilen Postgres, genel amaçlı bir operasyonel veritabanı haline geldi. Güvenilir, esnek ve derinlemesine genişletilebilir, müşteri işlemlerinden ve CRUD uygulamalarından, gerçek zamanlı kontrol panolarına ve AI desteklenen ürün özelliklerine kadar her şeyi güçlendiriyor. ), coğrafi veriler (PostGIS), vektor ve tam metin arama (pgvector ve pgvectorscale), ve daha fazlası. Zamanlama Aynı zamanda, açık gölge teknolojilerinin yükselişi, organizasyonların verileri büyüklükte nasıl yönettiğini ve analiz ettiğini yeniden tanımlamıştır. Bölünmüş depolama, Iceberg gibi açık tablo formatları, yapılandırılmış veri kataloğu ve kompozitif sorgulama motorları, petabyte ölçekli verileri hassasiyetle ve kontrolle analiz etmeyi mümkün kıldı. Şaşırtıcı olan sadece bu teknolojilerin bireysel olarak ne kadar başarılı oldukları değil, şimdi birlikte ne sıklıkla dağıtıldıklarıdır.Organizasyonların giderek daha fazla hem operasyonel çalışma yüklerini (veritabanı tarafından desteklenir) hem de operasyonel olmayan çalışma yüklerini (gölcükler tarafından desteklenir), genellikle aynı kaynaklardan – insanlar, makineler, dijital sistemler veya ajanlar – gelen verileri kullanmalarıdır. Aslında, yeni, daha tutarlı bir mimari ortaya çıktığını düşünüyoruz: Postgres ve göl binasını ayrı dünyalar olarak değil, tüm operasyonel ve analitik ihtiyaçlarını karşılamak için tasarlanmış tek modüler sistemin ayrı katmanları olarak değerlendiren bir mimari. OLTP vs. OLAP Dichotominin Sınırları Veritabanları düşünmenin eski yolu basitti: işlemler için OLTP, analiz için OLAP. Uygulamanızı güçlendirmek için Postgres'i kullandınız ve gece ETL işlerini iç raporlar ve panolar için bir veri deposuna gönderdiniz. Bu geleneksel ayrım, uygulamaların daha basit olduğu zaman bize iyi hizmet etti ve iç raporlama çok daha yavaş bir şekilde yaşanabilirdi. Modern uygulamalar veri ağır, müşteriye yönelik ve tasarımla gerçek zamanlıdır. 
 
 
 
 Finansal bir uygulama, müşteri portföylerine millisekundelik erişim gerektiren bir ticaret motoru çalıştırabilir, aynı zamanda gerçek zamanlı risk raporları ve iç denetim panoları besler. SaaS uygulaması sadece tıklamaları saklamaz - kullanım ölçütlerini hesaplar, uyarıları tetikler ve kişiselleştirilmiş modeller sunar. Endüstriyel bir izleme sistemi saatte on milyonlarca sensör okuma alabilir, anomalileri tespit etmeyi ve uyarı mantığını güçlendirebilir ve uzun vadeli analiz ve AI model eğitimi için yıllarca telemetri arşivleyebilir. Bu kullanım durumları aşırı değildir - hızla norm haline geliyorlar. We increasingly see a more useful split: operational databases that power products, and lakehouses that power organizations. Bununla birlikte, bu tür sistemlerin sahipliği bölünmesine rağmen – ürünlerini güçlendiren işletim sistemlerinden sorumlu ürün mühendisliği ekipleri ve göl sistemlerini kuruluş hizmetleri olarak yönetme sorumlusu veri ekipleri – ikisinin de birbirleriyle konuşması gerekir. Operasyonel Medallion Mimarisi Çekim kazanmayı gördüğümüz bir model, bir Veri mühendisliği dünyasında popüler olan madalyon modellerinden ilham alan bu model ayrıca, sadece iç analitik için değil, aynı zamanda gerçek zamanlı, kullanıcı odaklı sistemleri güçlendirmek için de bronz, gümüş ve altın katmanları içerir. Operasyonel Medallion Mimarisi İşte bu nasıl görünüyor: 
 
 
 
 Bronz katman: Parquet veya Iceberg dosyalarında AWS S3 veya benzer düşük maliyetli yeraltısız depolama sistemlerinde kaydedilen ham veriler genellikle değişmez, yalnızca ekler ve AWS Athena, DuckDB, Trino, ClickHouse veya Polars gibi arama motorları ya da hatta doğrudan Postgres gibi bir operasyonel veritabanından arama yapabilir. Operasyonel Gümüş Katman: Temizlenmiş, filtrelenmiş, doğrulanmış ve deduplik edilen veriler, kullanıcı odaklı ürünlerin gerçek zamanlı analizlerini, panolarını veya uygulama mantığını güçlendirmek için Postgres'e yazılır. Operasyonel Altın Katman: Gümüş veriler üzerinde önceden toplanan veriler (Postgres'in materyalized views veya TimescaleDB'nin sürekli toplama gibi) düşük gecikme, yüksek rekabetçi ürün deneyimleri sunar. Önemli olan, her katman arama yapabiliyor ve bu veri hareketleri iki yönlüdür. S3'ten hammadde veya dönüştürülmüş verileri doğrudan Postgres'e çekebilirsiniz (aşırı derecede entegre ters ETL'ye benzer). Iceberg'den toplamları Postgres tablolarına yuvarlayabilirsiniz (Postgres'ten Iceberg dosyalarına karşı tek taraflı veya ayakta sorgular). Tam bir şemayı veya tek bir tabloyu veritabanından gölet binasına sürekli olarak senkronize edebilirsiniz. Bronz (veya dönüştürülmüş) veriler S3'teki gölge depolama katmanından veritabanına okuyabildiği gibi, veritabanındaki gümüş ve altın da bu gölge depolama formatlarına yazılabilir. Yeni verileri gerektiren uygulamalarda gözlemlediğimiz ortak bir model, Kafka veya Kinesis gibi bir akışa aktarma sisteminden yazmaktır. S3 (sıralı, değiştirilmemiş bronz veriler için) ve Postgres (database şemalarına ve veri doğrulaması için kısıtlamalara dayanarak).Sonra bu gümüş tablolar ve databasadaki sonraki altın agregatları tekrar S3'e ihraç edilir, böylece veri ekipleri artık müşterilere sunulan "toprak gerçekliği verilerine" erişebilir. paralel olarak İşletme veritabanı hem kullanıcılar hem de dost olmayan sorgular için kilitlenmiş olarak çalışabilirken, veriler org'da ihtiyaç duyulan her yerde açık göl binasının bir parçası olarak hala kullanılabilir hale getirilir. Neden şimdi? değişikliği yönlendiren teknik kuvvetler Birkaç gelişme, operasyonel veritabanlarından ve göl binalarından silo yapısından entegreye geçişini güçlendiriyor. İlk olarak, Iceberg, şemaların evrimi, ACID işlemlerini ve verimli sıkıştırmayı destekleyen istikrarlı ve esnek bir tablo biçimine gelişmiştir. Birden fazla bilgisayar makinelerinin aynı veritabanına okumalarını ve yazmalarını sağlar - metadataları izleyen kataloğa katılarak metadata dayatmalarını sağlar. İkincisi, Postgres bir platform olarak gelişmeye devam etmiştir. sütun depolama, zaman serisi verileri ve vektor ve hibrit arama için uzantılar ile - yıllardır Timescale'de oluşturduğumuz şey - Postgres artık doğrudan gerçek zamanlı analiz ve ajan iş akışlarını içeren birçok ürünü sunuyor. ve doğrudan Postgres içinden S3 ve Iceberg verilerini sorgulama için ortaya çıkan desteği ile, doğrudan S3 barındırılan verileri entegre etmek giderek daha mümkün hale geliyor. Bu, önceden hesaplanan veriler için sadece bir veri kaydetme katmanı değil, sorgu zamanında daha fazla birleştirme, zenginleştirme veya JOIN için tam bir SQL veritabanı. now acts as the serving layer for products incorporating both transactional and analytical data Üçüncü olarak, geliştiriciler kompozibiliteyi beklemektedir. Bazı kuruluşlar eski monolitik veri platformlarıyla sıkışmış olabilir, ancak çoğu geliştiriciler ve veri bilimcileri, uygulamalarının gereksinimlerini yansıtacak şekilde tanıdık araçları entegre ederek kendi yığınlarını oluşturmak için esneklik istiyorlar. açık formatlara ve ayrılmış depolama yönelimi bu zihniyetle uyumludur. Put differently: the market is moving toward modular, open, developer-friendly architectures. Ne Geliyor Sonraki Veri altyapısının geleceği, operasyonel ve analitik katmanları daha derin bir şekilde entegre eden sistemler tarafından şekillendirilecek – Postgres ve göl binasını aynı madenin iki tarafı olarak gören sistemler. Bu, dikkatli arayüzlerden - artan senkronizasyon, paylaşılan kataloglar, birleşik sorgulama yüzeylerinden - ve heterojenliğe karşı savaşmak yerine kucaklayan bir mimari felsefesinden gelecektir. Bu alanda yeni bir şey üzerinde çalışıyoruz. Postgres ve Iceberg'in güçlü yönlerine dayanarak, mevcut göl sistemleriyle sıkı bir şekilde entegrasyon yapar ve operasyonel ve analitik güvenilirliğe sahip tam paketli veri sistemlerini inşa etmeyi dramatik bir şekilde kolaylaştırır. Bu, eski sistemlerden verileri yeni sistemlere taşımak için ETL'yi kullanmakla ilgili değil, hem operasyonel hem de operasyonel olmayan kullanım durumlarına hizmet veren tutarlı bir modern veri mimarisi oluşturmakla ilgili. Tünel kalın

Stop database overprovisioning with Dynamic PostgreSQL. Try it out for free

Stop database overprovisioning with Dynamic PostgreSQL Try it out for free

Bu ses hikayenin orijinal dilinde üretilmiştir!

Postgres ve Lakehouse Bir Sisteme Dönüyor - İşte Sonraki Ne Geliyor

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

HackerNoon Kendi Ana Dilinizde 🆕 ‼️ Teknoloji Blog Yazıları için 77 Dil Ana Sayfası

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

HackerNoon Kendi Ana Dilinizde 🆕 ‼️ Teknoloji Blog Yazıları için 77 Dil Ana Sayfası

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps