Modern veri ortamı, yapılandırılmış ve yapılandırılmamış verileri sorunsuz bir şekilde entegre eden, zahmetsizce ölçeklenen ve verimli AI/ML iş yüklerini güçlendiren yeni bir altyapı türü gerektirir. burası  tüm veri ihtiyaçlarınız için merkezi bir merkez sağlayarak devreye girin. Ancak etkili bir veri gölü oluşturmak ve yönetmek karmaşık olabilir.   modern veri gölleri  Bu blog gönderisinde mevcut yaklaşımınızı optimize edebilecek üç güçlü araç derinlemesine inceleniyor:  ,  ve MinIO. Aşağıdaki adımlar, AI/ML iş yükleri için özel olarak optimize edilmiş sağlam, bulutta yerel bir veri gölü mimarisi oluşturmak için bu hizmetlerin sorunsuz bir şekilde nasıl birleştiği konusunda size yol gösterecektir.   Apaçi Buzdağı   Tablo şeklinde,  Tabular nedir?  Tabular, Apache Iceberg'in orijinal yaratıcıları tarafından oluşturulan bir veri platformudur. Herhangi bir bilgi işlem katmanına bağlanan bağımsız, evrensel bir depolama platformu sağlamak ve veri sağlayıcısına bağlılığı ortadan kaldırmak üzere tasarlanmıştır. Bu özellik, modern veri yığını için kritik öneme sahiptir; kullanıcıların, belirli bir satıcının eskimiş ve/veya uyumsuz araç setine mecbur kalmadan, sınıfının en iyisi bilgi işlem ve depolama araçlarını seçmelerine olanak tanır.  bir  MinIO ve Iceberg'in ve Tabular tarafından geliştirilebilir. Tabular, MinIO'da depolanan Iceberg verilerini yönetmek ve sorgulamak için kullanılabilir; bu da yapılandırılmış verilerin ölçeklenebilir, yüksek performanslı ve bulutta yerel bir şekilde depolanmasına ve yönetilmesine olanak tanır. Bu Kubernetes yerel bileşenleri, çok az sürtünmeyle sorunsuz bir şekilde birlikte çalışır ve birbirlerinin uygun ölçekte performans gösterme yeteneklerini geliştirir.   mimari  Neden Hadoop'un file-io'su yerine S3FileIO?  Bu uygulama Iceberg'in S3FileIO'sundan yararlanır. S3FileIO, çeşitli nedenlerden dolayı Hadoop'un file-io'sundan daha iyi kabul edilir. Bunlardan bazılarını daha önce tartıştık  :   başka yerde    : Iceberg'in S3FileIO'su bulutta yerel depolamayla çalışacak şekilde tasarlanmıştır. Bulut Depolama için Optimize Edildi    Iceberg,  dosyaları bir MinIO kümesinde birden çok önek boyunca dağıtmak için, bu da S3 ile ilgili IO işlemleri için kısıtlamayı en aza indirmeye ve verimi en üst düzeye çıkarmaya yardımcı olur. Geliştirilmiş Verim ve En Aza İndirilmiş Kısıtlama:   ObjectStoreLocationProvider    Buzdağı  Performansı etkileyebilecek gereksiz tutarlılık kontrollerini ortadan kaldırarak sıkı tutarlılıktan tam olarak yararlanmak. Sıkı Tutarlılık:   güncellenmiş    Iceberg'in S3FileIO'su,  Her parça hazır olur olmaz veri dosyası parçalarını paralel olarak yükleyen algoritma, yerel disk kullanımını azaltır ve yükleme hızını artırır. Aşamalı Çok Parçalı Yükleme:   aşamalı çok parçalı yükleme    Iceberg şunları sağlar:  S3 API'si için, yüklenen nesnelerin bütünlüğünü sağlamak üzere yazma işlemi yapılır ve bu, uygun katalog özelliğinin ayarlanmasıyla etkinleştirilebilir. Sağlama Toplamı Doğrulaması:   sağlama toplamı doğrulamaları    Iceberg eklemeyi destekliyor  Maliyet takibi ve yönetimi açısından faydalı olabilecek S3 API ile yazma ve silme işlemleri sırasında nesnelere. Özel Etiketler:   özel etiketler    Iceberg'deki FileIO arayüzü, Hadoop uyumlu FileSystem kadar katı garantiler gerektirmez;  aksi takdirde performansı düşürebilir. Negatif Önbelleğe Almadan Kaçınma:   negatif önbelleğe almayı önleme  Buna karşılık, S3FileIO'dan önce kullanılan Hadoop'un S3A Dosya Sistemi, bulut depolama için aynı seviyede optimizasyon sunmuyor. Bütün bunlar şunu söylüyor: Geleceğe yönelik veri gölü altyapınızı geçmişin tuzaklarıyla aksatmayın.  Önkoşullar  Başlamadan önce sisteminizin aşağıdaki gereksinimleri karşıladığından emin olun:   Liman işçisi   Docker Oluşturma  Sıfırdan başlıyorsanız, her ikisini de kullanarak yükleyebilirsiniz.  özel platformunuz için yükleyici. Genellikle Docker ve Docker Compose'u ayrı ayrı indirmekten daha kolaydır. Aşağıdaki komutu çalıştırarak Docker'ın kurulu olup olmadığını doğrulayın:   Docker Masaüstü   docker-compose --version  Başlarken  Başlamak için YAML dosyasını Tabular'a kopyalayın veya kopyalayın.  . Bu eğitim için yalnızca YAML'ye ihtiyacınız var. Deponun geri kalanını daha sonra keşfetmekten çekinmeyin.   git deposu  Onu Kırmak  Sağlanan YAML dosyası bir Docker Compose yapılandırma dosyasıdır. Çok kapsayıcılı bir Docker uygulaması için bir dizi hizmeti ve bunların yapılandırmalarını tanımlar. Bu durumda iki hizmet vardır: Spark-Iceberg ve MinIO. Her bölümü parçalayalım:   1. Kıvılcım-Buzdağı Hizmeti:   spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: tabulario/iceberg-rest container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000    Kıvılcım buzdağı hizmeti için kullanılacak Docker görüntüsünü belirtir. Bu durumda tabulario/spark-iceberg:en son görüntüyü kullanır. image:    Spark-iceberg hizmetinin dinlenme ve minio hizmetlerine bağlı olduğunu belirtir. Depend_on:    Konteynere belirli bir isim (kıvılcım-buzdağı) atar. Container_name:    Spark ve AWS kimlik bilgileri de dahil olmak üzere konteyner için ortam değişkenlerini ayarlar. ortam:    Yerel dizinleri (./warehouse ve ./notebooks) konteynerin içine birimler olarak bağlar. hacimler:    Spark kullanıcı arayüzüne ve diğer hizmetlere erişim için konteyner bağlantı noktalarını ana bilgisayar bağlantı noktalarına eşler. portlar:   2. Minio Hizmeti:   minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"]    MinIO hizmeti için Docker görüntüsünü belirtir. image:    Container'a belirli bir isim (MinIO) atar. Container_name:    Kök kullanıcı kimlik bilgileri de dahil olmak üzere MinIO'yu yapılandırmak için ortam değişkenlerini ayarlar. ortam:    MinIO kullanıcı arayüzüne erişim için konteyner bağlantı noktalarını ana bilgisayar bağlantı noktalarına eşler. bağlantı noktaları:    MinIO sunucusunu belirli parametrelerle başlatma komutunu belirtir. komut:  MinIO hizmetinin bir başka yönü de  , MinIO'nun komut satırı aracı.   mc  mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null "    mc hizmetinin MinIO hizmetine bağlı olduğunu belirtir. Depend_on:    mc hizmeti için Docker görüntüsünü belirtir. image:    Konteynere belirli bir ad (mc) atar. konteyner_adı:    MinIO istemcisini yapılandırmak için ortam değişkenlerini ayarlar. ortam:    MinIO istemcisi için kurulum adımları da dahil olmak üzere konteyner için giriş noktası komutunu tanımlar. giriş noktası:  /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null "  Bu komut dizisi esas olarak aşağıdaki görevleri yerine getirir:  Mevcut depo dizinini ve içeriğini MinIO sunucusundan kaldırır.  Ambar adında yeni bir paket oluşturur.  Ambar paketinin erişim ilkesini genel olarak ayarlar.  Bu Docker Compose dosyası, Spark, PostgreSQL, MinIO hizmetleriyle çok kapsayıcılı bir ortamı düzenler. Hizmetlerin birlikte çalıştırılması için gerekli bağımlılıkları, ortam değişkenlerini ve komutları ayarlar. Hizmetler, Spark ve Iceberg'i kullanarak nesne depolama arka ucu olarak MinIO'yu kullanarak veri işleme için bir geliştirme ortamı oluşturmak üzere birlikte çalışır.  Başlatılıyor  Bir terminal penceresinde, depodaki tabular-spark-setup dizinine cd yazın ve aşağıdaki komutu çalıştırın:   docker-compose up  Depo paketinin oluşturulduğunu görmek için   adresinden   kimlik bilgileriyle MinIO'da oturum açın.  http://127.0.0.1:9001 admin:password  Tüm kapsayıcılar çalışır duruma geldiğinde,   adresine giderek Jupyter Notebook sunucunuza erişebilirsiniz.  http://localhost:8888  Örnek not defterlerinden birini çalıştırın ve deponuzun verilerle dolu olduğunu görmek için   adresinden MinIO'ya dönün.  http://127.0.0.1:9001  Modern Datalake'inizi Oluşturma  Iceberg, Tabular ve MinIO ile modern bir datalake oluşturmaya yönelik bu eğitim yalnızca başlangıçtır. Bu güçlü üçlü, olasılıklar dünyasının kapılarını açıyor. Bu araçlarla, gizli kalıpları ortaya çıkarmak ve yeniliği teşvik eden veri odaklı kararları desteklemek için yapılandırılmış ve yapılandırılmamış tüm verilerinizi sorunsuz bir şekilde entegre edebilir ve analiz edebilirsiniz. AI/ML girişimlerinizi hızlandırmak ve makine öğrenimi modellerinizin gerçek potansiyelini ortaya çıkarmak için üretimde bu mimarinin verimliliğinden ve esnekliğinden yararlanın ve çığır açan keşiflere giden yolunuzu hızlandırın. Bize ulaşın  veya bizim  Oluştururken herhangi bir sorunuz olursa kanala bakın.   merhaba@min.io   Gevşek

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Iceberg, Tabular ve MinIO ile Etkili Modern Veri Mimarileri Oluşturma

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps