HDFS'den MinIO gibi modern nesne depolamaya geçiş yapmak isteyen bize gelen müşterilerin sayısı bizi hâlâ şaşırtıyor. Şu ana kadar herkesin geçiş yaptığını düşünüyorduk, ancak her hafta geçiş yapmaya karar veren büyük, son derece teknik bir kuruluşla görüşüyoruz.  Çoğu zaman bu tartışmalarda, geçişten sonra da altyapılarının korunmasını istedikleri unsurlar vardır. HDFS ekosisteminden çıkan, birçok geliştiricinin katılımına sahip olan ve modern veri yığınında hala yeri olan çerçeveler ve yazılımlar var. Aslında HDFS ekosisteminden pek çok iyi şeyin çıktığını sık sık söylüyoruz. Temel sorun, Büyük Veri çağından gelen araç ve hizmetlerle yakından bağlantılı olan depolama ve bilgi işlemdir.  Bu blog yazısı, değeri olan araç ve hizmetleri söküp değiştirmeden bu geçişi nasıl gerçekleştirebileceğinize odaklanacaktır. Gerçek şu ki, altyapınızı modernleştirmezseniz, kuruluşunuzun ihtiyaç duyduğu AI/ML'deki ilerlemeleri sağlayamazsınız, ancak oraya ulaşmak için her şeyi bir kenara atmanız da gerekmez.  Spark ve Hive ile Depolama ve Bilgi İşlemin Ayrıştırılması  Zaten bazı aşamalardan geçtik  , bu bazı durumlarda ileriye giden yoldur. Ancak bir HDFS uygulamasını modernleştirmenin başka bir yoluna bakalım.   tam bir söküp değiştirmeye yönelik stratejiler  mimari Kubernetes yönetimini içerir  ve veri işlemeye yönelik Apache Hive kapsayıcıları; Spark, MinIO ile yerel olarak bütünleşirken Hive, YARN'ı kullanır. MinIO, durum bilgisi olan kaplarda nesne depolamayı yönetir ve bu mimaride veri yalıtımı için çok kiracılı yapılandırmalara dayanır.    Bu   Apache Kıvılcımı  Mimari Genel Bakış:    Kubernetes, işlem düğümlerindeki durum bilgisi olmayan Apache Spark ve Apache Hive kapsayıcılarını verimli bir şekilde yöneterek optimum kaynak kullanımı ve dinamik ölçeklendirme sağlar. İşlem Düğümleri:    MinIO  ve BitRot Koruması, Hadoop'un gerektirdiği her veri bloğunun üç kopyasını saklamanıza gerek kalmadan, sürücü sayısının yarısına kadarını kaybedebileceğiniz ve yine de kurtarabileceğiniz anlamına gelir. Depolama Katmanı:   Silme Kodlaması    MinIO nesne depolamasına tüm erişim, S3 API aracılığıyla birleştirilir ve depolanan verilerle etkileşim için kusursuz bir arayüz sağlanır. Erişim Katmanı:    Veri güvenliği çok önemlidir. MinIO, tüm verileri nesne başına anahtarlar kullanarak şifreleyerek yetkisiz erişime karşı güçlü koruma sağlar. Güvenlik Katmanı:    MinIO Enterprise, uygulamaların veya kullanıcıların kimlik doğrulamasına izin vermek için WSO2, Keycloak, Okta, Ping Identity gibi kimlik sağlayıcılarla tamamen entegre olur. Kimlik Yönetimi:  Kuruluşunuzun Hive, YARN ve modern veri yığınındaki hemen hemen her şey olan nesne depolamayla entegre olabilen diğer tüm Hadoop ekosistemi veri ürünlerini saklamasına olanak tanıyan, Hadoop'un tamamen modernize edilmiş bir alternatifi.  Erişim Katmanında Birlikte Çalışabilirlik  S3a, Hadoop ekosistemindeki çok çeşitli uygulamalarla uyumluluk sunan, Hadoop'tan uzaklaşmak isteyen uygulamalar için önemli bir uç noktadır. 2006 yılından bu yana, S3 uyumlu nesne depolama arka uçları, varsayılan bir özellik olarak Hadoop ekosistemindeki çok sayıda veri platformuna sorunsuz bir şekilde entegre edilmiştir. Bu entegrasyonun kökeni, S3 istemci uygulamasının gelişen teknolojilere dahil edilmesine kadar uzanıyor.  Hadoop ile ilgili tüm platformlarda   modülünün ve   benimsenmesi standart bir uygulamadır ve S3 API için güçlü destek sağlar. Bu standartlaştırılmış yaklaşım, uygulamaların HDFS ve S3 depolama arka uçlarından sorunsuz geçişini kolaylaştırır. Geliştiriciler, yalnızca uygun protokolü belirleyerek uygulamaları Hadoop'tan modern nesne depolamaya zahmetsizce geçirebilirler. S3 için protokol şeması s3a:// ile gösterilirken HDFS için hdfs:// olarak gösterilir. hadoop-aws aws-java-sdk-bundle  Göçün Faydaları  Hadoop'tan modern nesne depolamaya geçişin faydalarından uzun uzun bahsetmek mümkün. Bunu okuyorsanız, Hadoop gibi eski platformlardan geçiş yapılmadığı takdirde yapay zeka ve diğer modern veri ürünlerindeki gelişmelerin muhtemelen masadan kalkacağının büyük ölçüde farkındasınızdır. Bunun nedeni performansa ve ölçeğe indirgeniyor.  Modern iş yüklerinin, işlenen veri hacmi ve artık gerekli olan görevlerin karmaşıklığıyla rekabet edebilmek için olağanüstü performans gerektirdiğine kesinlikle şüphe yoktur. Performans sadece gösterişli kıyaslamayla ilgili olmayıp zorlu bir gereklilik olduğunda, Hadoop'un değiştirilmesi için yarışanların alanı ortaya çıkar.  .   dramatik bir şekilde düşüyor  Geçişleri ileriye taşıyan diğer unsur ise bulutta yerel ölçektir. Bulut kavramı fiziksel bir konumdan ziyade bir  tek bir .yaml dosyasından tüm veri yığınını dakikalar içinde dağıtmak gibi şeyleri yapmak mümkün hale geliyor. Her Hadoop mühendisinin sandalyeden düşmesine neden olacak kadar hızlı bir uygulama.   işletim modeli  Bu konseptin önemli bir kısmı, bir kuruluşun belirli iş yükleri için sınıfının en iyisi seçenekleri seçmesine olanak tanıyan satıcı bağımlılığının serbest bırakılmasından kaynaklanan ekonomik faydalardır. Ayrıca, verileri korumak için üç ayrı veri kopyasının tutulmasının artık geçmişte kaldığından bahsetmiyorum bile.  ve silme kodlaması. Geleceğe yönelik teknolojiye yatırım yapmak genellikle altyapınız üzerinde çalışacak yetenekli profesyonelleri bulmanın ve işe almanın daha kolay olduğu anlamına da gelir. İnsanlar bir işi ileriye taşıyacak şeyler üzerinde çalışmak isterler ve bunu ondan daha iyi yapan neredeyse hiçbir şey yoktur.  . Bu faktörler birlikte, yalnızca daha hızlı ve daha ucuz değil, aynı zamanda bugünün ve yarının veriye dayalı ihtiyaçlarına daha uygun bir veri yığınına katkıda bulunur.   aktif-aktif çoğaltma   veri  Başlarken  Mimarimizin ayrıntılarına dalmadan önce birkaç bileşeni çalışır duruma getirmeniz gerekecek. Hadoop'tan geçiş yapmak için, başlangıçta onu kurmuş olmanız gerekir. Bu deneyimi simüle etmek istiyorsanız Hadoop'un Hortonworks Dağıtımını   ayarlayarak bu eğitime başlayabilirsiniz. buradan  Aksi takdirde aşağıdaki kurulum adımlarıyla başlayabilirsiniz:    Sonraki,  YARN'ı sizin için otomatik olarak yapılandırarak hizmetlerinizin yönetimini kolaylaştıracak. Ambari, Hadoop ekosistemindeki hizmetleri yönetmek ve her şeyin sorunsuz çalışmasını sağlamak için kullanıcı dostu bir kontrol paneli sağlar. Ambari'yi Ayarlama:   Ambari'yi yükle    Spark, büyük ölçekli verilerin işlenmesi için gereklidir. Takip et  Spark'ın çalışır duruma getirilmesi için prosedürler. Apache Spark'ı yükleyin:   Standart kurulum    : Ortamınıza bağlı olarak iki kurulum yaklaşımı arasında seçim yapabilirsiniz:  veya  . MinIO'yu yükleyin   Kubernet'ler   Dümen Tablosu  Bu öğeleri başarıyla yükledikten sonra Spark ve Hive'ı HDFS yerine MinIO kullanacak şekilde yapılandırabilirsiniz. Ambari kullanıcı arayüzüne   gidin ve varsayılan kimlik bilgilerini kullanarak oturum açın:   ,  http://<ambari-server>:8080/ username: admin, password: admin  Ambari'de aşağıdaki ekran görüntüsündeki gibi hizmetlere, ardından HDFS'ye ve ardından Yapılandırmalar paneline gidin. Bu bölümde Ambari'yi HDFS yerine MinIO ile S3a kullanacak şekilde yapılandırıyorsunuz.   Aşağı kaydırın ve   gidin. Burası S3a'yı yapılandıracağınız yerdir.  Custom core-site   sudo pip install yq alias kv-pairify='yq ".configuration[]" | jq ".[]" | jq -r ".name + \"=\" + .value"'  Buradan itibaren yapılandırmanız altyapınıza bağlı olacaktır. Ancak aşağıdakiler   dosyasının S3a'yı 12 düğümde ve 1.2TiB bellekte çalışan MinIO ile yapılandırmasının bir yolunu temsil edebilir. core-site.xml   cat ${HADOOP_CONF_DIR}/core-site.xml | kv-pairify | grep "mapred" mapred.maxthreads.generate.mapoutput=2 # Num threads to write map outputs mapred.maxthreads.partition.closer=0 # Asynchronous map flushers mapreduce.fileoutputcommitter.algorithm.version=2 # Use the latest committer version mapreduce.job.reduce.slowstart.completedmaps=0.99 # 99% map, then reduce mapreduce.reduce.shuffle.input.buffer.percent=0.9 # Min % buffer in RAM mapreduce.reduce.shuffle.merge.percent=0.9 # Minimum % merges in RAM mapreduce.reduce.speculative=false # Disable speculation for reducing mapreduce.task.io.sort.factor=999 # Threshold before writing to drive mapreduce.task.sort.spill.percent=0.9 # Minimum % before spilling to drive  Bu geçiş modeliyle ilgili belgelere göz atarak keşfedilebilecek pek çok optimizasyon var  ve ayrıca Hadoop'un S3 belgelerinde  Ve  .   Burada   Burada   Burada  Yapılandırmadan memnun olduğunuzda Tümünü yeniden başlatın.   Ayrıca Spark2 yapılandırma paneline gitmeniz gerekecektir.     ilerleyin ve MinIO ile yapılandırmak için aşağıdaki Özelliği ekleyin:  Custom spark-defaults   spark.hadoop.fs.s3a.access.key minio spark.hadoop.fs.s3a.secret.key minio123 spark.hadoop.fs.s3a.path.style.access true spark.hadoop.fs.s3a.block.size 512M spark.hadoop.fs.s3a.buffer.dir ${hadoop.tmp.dir}/s3a spark.hadoop.fs.s3a.committer.magic.enabled false spark.hadoop.fs.s3a.committer.name directory spark.hadoop.fs.s3a.committer.staging.abort.pending.uploads true spark.hadoop.fs.s3a.committer.staging.conflict-mode append spark.hadoop.fs.s3a.committer.staging.tmp.path /tmp/staging spark.hadoop.fs.s3a.committer.staging.unique-filenames true spark.hadoop.fs.s3a.committer.threads 2048 # number of threads writing to MinIO spark.hadoop.fs.s3a.connection.establish.timeout 5000 spark.hadoop.fs.s3a.connection.maximum 8192 # maximum number of concurrent conns spark.hadoop.fs.s3a.connection.ssl.enabled false spark.hadoop.fs.s3a.connection.timeout 200000 spark.hadoop.fs.s3a.endpoint http://minio:9000 spark.hadoop.fs.s3a.fast.upload.active.blocks 2048 # number of parallel uploads spark.hadoop.fs.s3a.fast.upload.buffer disk # use disk as the buffer for uploads spark.hadoop.fs.s3a.fast.upload true # turn on fast upload mode spark.hadoop.fs.s3a.impl org.apache.hadoop.spark.hadoop.fs.s3a.S3AFileSystem spark.hadoop.fs.s3a.max.total.tasks 2048 # maximum number of parallel tasks spark.hadoop.fs.s3a.multipart.size 512M # size of each multipart chunk spark.hadoop.fs.s3a.multipart.threshold 512M # size before using multipart uploads spark.hadoop.fs.s3a.socket.recv.buffer 65536 # read socket buffer hint spark.hadoop.fs.s3a.socket.send.buffer 65536 # write socket buffer hint spark.hadoop.fs.s3a.threads.max 2048 # maximum number of threads for S3A  Yapılandırma değişiklikleri uygulandıktan sonra hepsini yeniden başlatın.   Yapılandırmayı tamamlamak için Hive paneline gidin.     ilerleyin ve aşağıdaki Özelliği ekleyin:  Custom hive-site   hive.blobstore.use.blobstore.as.scratchdir=true hive.exec.input.listing.max.threads=50 hive.load.dynamic.partitions.thread=25 hive.metastore.fshandler.threads=50 hive.mv.files.threads=40 mapreduce.input.fileinputformat.list-status.num-threads=50  Daha fazla ince ayar yapılandırma bilgisi bulabilirsiniz  . Yapılandırma değişiklikleri yapıldıktan sonra Tümünü Yeniden Başlatın.    Burada  İşte bu kadar, artık entegrasyonunuzu test edebilirsiniz.  Kendi Başınıza Keşfedin  Bu blog gönderisi, mevcut sistemlerinizi tamamen elden geçirmenize gerek kalmadan Hadoop'tan geçişe yönelik modern bir yaklaşımın ana hatlarını çizdi. Kuruluşlar, Apache Spark ve Apache Hive'ı yönetmek için Kubernetes'ten yararlanarak ve durum bilgisi olan nesne depolama için MinIO'yu entegre ederek, dinamik ölçeklendirmeyi ve verimli kaynak kullanımını destekleyen dengeli bir mimari elde edebilir. Bu kurulum, veri işleme ortamlarınızın yeteneklerini yalnızca korumakla kalmaz, aynı zamanda geliştirerek onları daha sağlam ve geleceğe hazır hale getirir.  MinIO ile, ticari donanımlarda yüksek performans sunan, silme kodlaması yoluyla maliyetleri azaltan (Hadoop'un veri çoğaltmasındaki yedekliliği ortadan kaldıran) ve satıcıya bağlı kalma ve Cassandra tabanlı meta veri depolarına duyulan ihtiyaç gibi sınırlamaları aşan bir depolama çözümünden yararlanırsınız. Bu avantajlar, mevcut veri sistemlerinin temel öğelerini atmadan gelişmiş AI/ML iş yüklerinden yararlanmak isteyen kuruluşlar için çok önemlidir.  Bu geçiş stratejisini kuruluşunuzun benzersiz ihtiyaçlarını karşılayacak şekilde nasıl uyarlayabileceğiniz konusunda daha ayrıntılı tartışmalar veya özel rehberlik için bizimle iletişime geçmekten çekinmeyin. İster hello@min.io adresine e-posta yoluyla, ister topluluğumuz üzerinden  kanalıyla veri altyapısı yatırımlarınızdan en iyi şekilde yararlanmanıza yardımcı olmak için buradayız.   Gevşek

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Bu ses hikayenin orijinal dilinde üretilmiştir!

Hadoop'tan Rip ve Değiştirme Olmadan Geçiş Yapmak Mümkün - İşte Nasıl Yapılacağı

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps