Equinix Metal'de AWS S3'ten MinIO'ya Nasıl Geçilir?

MinIO'nun güçlü kullanım durumlarından biri, her yerde ve her şeyde çalışabilmesidir. Sektör yavaş yavaş verileri bir sunucuya veya veri merkezine geri göndermeye yönelirken, gittikçe daha fazla şirket, altyapı üzerinde tam kontrole sahip olarak bulutta sahip oldukları nesne depolama yeteneklerinin aynısını istiyor. Verilerin neden evinize daha yakın olmasını istiyorsunuz? Bunun birçok nedeni var ama en önemlisi maliyet. Genel bulut çok pahalı hale geldi. Örneğin, bir süre önce AWS'de çalışan ElasticSearch tarafından yönetilen bir kümem vardı. Bu yeni yönetilen hizmeti denemek için sabırsızlanıyordum, ancak 30 bin dolarlık sürpriz faturamı patronumla tartışmak konusunda istekli değildim. Bu acı verici ama tanıdık bir uyandırma çağrısıydı çünkü o anda, kendi ayarlayabileceğim bir şeyi yapmak için AWS'ye altı aylık bulut bütçesini ödediğimi fark ettim. Hikayenin ana fikri şu ki, çok dikkatli olmazsanız ve bulut harcamalarınızı yakından takip etmezseniz bulut çok hızlı bir şekilde kontrolden çıkabilir. Bir de güvenlik meselesi var. Verileriniz genel bulutta nerede bulunursa bulunsun, neredeyse her zaman sizinle tamamen ilgisiz biri tarafından paylaşılan bir düğümde veya depolama havuzunda bulunur; bulutun doğası budur çünkü sanallaştırma bu şekilde çalışır. Bulut sıcak bir rahatlık hissi veriyor çünkü artık bir başkasının güvenlik sorunlarıyla başa çıkması gerekiyor, ancak güvenlikle ilgili herhangi bir sorun varsa, soruna (eğer birisi bunu tespit edebildiyse bile) ve bunun nasıl çözüleceğine dair hiçbir bilgi olmayacak. . Verilerinizi korumak için başka birinin altyapısını güvence altına almak zorunda kaldığınızda rahatlık hissi hızla buharlaşır. Pek çok kuruluş, yönettikleri donanımları MinIO'ya geri getirerek sağlanan tam kontrole dönüşün keyfini çıkardı. Ülkeye geri gönderme çalışmalarınızdan en iyi şekilde yararlanmak için MinIO, veri bütünlüğünü sağlamak için , verileri soğuk bir depolama katmanına aktarmak için , nesneleri bir veri koleksiyonu olarak kaydeden gibi kurumsal kullanıma hazır bir dizi özellik ile birlikte gelir. eşlik blokları ve bunları herhangi bir ek donanım veya yazılıma gerek kalmadan anında yeniden yapılandırır. Bunlara ek olarak MinIO hem hem de sırasında destekler. Bu, çağrının yapıldığı andan nesnenin IAM S3 tarzı politikalar ve yerleşik veya harici bir IDP ile korunduğu pakete yerleştirilmesine kadar verilerin işlemin tüm yönlerinde şifrelenmesini sağlar, bkz. . Bitrot Koruması Katmanlama Silme Kodlaması beklemede aktarım Şifrelemeyi MinIO En İyi Uygulamalar - Daha fazla bilgi için Güvenlik ve Erişim Kontrolü Ülkeye geri dönüş ayrıntılı ve dikkatli bir şekilde planlanmalıdır. Petabaytlarca veriyle uğraşıyorsanız, genellikle kendi altyapınıza ve üzerinde çalışabileceğiniz sunuculara sahip olmak daha uygun maliyetlidir; hatta kendi (veya kiraladığınız) donanımınızla özel bir bulut bile oluşturabilirsiniz. Ayrıca bu, diğer bileşenlerin yanı sıra gayrimenkulün (colo alanı), güç/UPS, soğutma/HVAC yönetimini de içerir. Bunlar sizi yıldırmasın, size nasıl geçiş yapabileceğinizi göstereceğiz ancak genel yatırım getirisi yine de genel buluttan daha iyidir. Özel bulut bir apartman dairesine benzer (CEO'muz AB Periasamy'nin de söylediği gibi). Bununla ilgili maliyet ve giderlerin tam kontrolü sizdedir; bir gecede çalışan bazı özyinelemeli döngü işlevlerinin neden olduğu sürpriz bir fatura uyarısıyla asla uyanmazsınız. Elbette, işleri daha iyi hale getirmeye çalıştığınızda hareket etmenin bazı sürtünmeleri vardır; örneğin, bir otoyolu genişletmeye çalıştığınızda, inşaatın güvenli bir şekilde ilerleyebilmesi için kaçınılmaz olarak bazı şeritleri kapatmak zorunda kalırsınız, ancak bir kez bittiğinde, Sadece orijinal şeritlerde değil, aynı zamanda kapasiteyi karşılamak için yeni inşa edilen şeritlerde de sürüş mümkün olacak. Genel bulutta dikkate almamız gereken en önemli maliyet değerlendirmelerinden ikisi, ihtiyaç duyduğunuz depolama alanı miktarı ve bu verilere erişirken/taşırken çıkış maliyetleridir; bunlar kendi donanımınıza kıyasla sırasıyla yaklaşık %39 ve %42 daha yüksek olabilir veri merkezinizde veya ortak yerleşim tesisinizde. Buna ek olarak, dikkate alınması gereken diğer maliyet faktörlerinden bazıları yazılım, donanım, ağ iletişimi/anahtarlar, gayrimenkul/raf alanı/ortak yerleşim kiralama, S3-API çağrıları - aklınıza gelebilecek her şey ve daha fazlasıdır. kendi özel bulutunuza geçmenin sonucunda elde edilebilecek olası tasarruflar hakkında daha fazla bilgi edinin. Bulutun Yaşam Döngüsü'nden Genel bulut ile veri merkeziniz arasında, yüksek başlangıç yatırım maliyeti olmadan altyapı donanımı üzerinde tam kontrole sahip olabileceğiniz bir orta yol bulunur. , adından da anlaşılacağı gibi, müşteri tarafından tam olarak talep edilen özelliklere sahip yalın donanım sunucular sunmaktadır. NVMe SSD'leri kullanmak istiyorsanız bu diskleri yalın donanım sunucusuna ekleyebilirsiniz. Equinix, donanım dağıtımını ve işlemlerini basitleştirmek için bir yönetim API'si sağlar. Geliştirici/son kullanıcı için bu, bulutta bir örneği başlatmak kadar kolaydır. Aslında Equinix Metal için bir Terraform sağlayıcısı bile var (bunu size daha sonra göstereceğiz). Equinix Metal Başlayalım! Altyapıyı Dağıtın Kaynakları manuel olarak dağıtabilsek de içimdeki DevOps, özellikle diğer şeylerin yanı sıra siteden siteye çoğaltma yapmak istediğimizde, zamandan ve emekten tasarruf etmek için bu sürecin en azından tekrar eden bazı kısımlarını otomatikleştirmek istiyor. Equinix Metal Terraform'u Kurun Equinix, altyapı yönetimi sürecini tamamen otomatikleştirecek bir API'ye sahip birkaç yalın donanım sağlayıcısından biridir. kullanarak, fiziksel sunucuların dağıtımını, onları kapatmayı ve hatta sonlandırmayı otomatikleştirebilirsiniz. Tüm bunları kendi donanımınızı, anahtarlarınızı, yönlendiricilerinizi ve diğer kaynaklarınızı kullanmadan yapabilirsiniz. Bu, donanımınızı başka kimsenin paylaşmayacağını garanti ederken genel bulut düzeyinde otomasyona ulaşabileceğiniz en yakın noktadır. Çünkü Equinix Metal, çeşitli boyutlarda SAS veya SATA ve SSD, NVMe SSD veya HDD gibi çok sayıda bulut sunucusu tipini ve depolama seçeneğini ve ara bağlantıyı destekler. Ayrıca MinIO'nun üzerinde çalıştığı donanımı, tam olarak MinIO bölümlerini barındıran sürücü türüne kadar tam spesifikasyonlarınıza göre yapılandırabilirsiniz. API'lerini Hiç kimse sizden Metal API ile konuşmak için Python komut dosyaları yazmanızı beklemiyor; Equinix Metal, ona bağlanmamıza ve küme kaynaklarını dağıtmak için gereken üst düzey bilgileri sağlamamıza olanak tanıyan ve aynı zamanda ağ oluşturma, donanım, MinIO ve diğer uygulamaların kurulması için gereken dahili hokkabazlığı soyutlamamıza olanak tanıyan bir Terraform Sağlayıcısına sahiptir. provider "metal" { auth_token = var.auth_token } Henüz Terraform'u kurmadıysanız sayfasından indirebilirsiniz. indirme GitHub deposu yerel iş istasyonunuza kopyalayın. equinix/terraform-metal-distributed-minio git clone https://github.com/equinix/terraform-metal-distributed-minio.git Depoya gidin ve gerekli tüm modülleri ve eklentileri yukarı akıştan indirebilmesi için Terraform'u başlatın. $ cd terraform-metal-distributed-minio $ terraform init Bu, gerekli tüm modüllerin otomatik olarak indirilmesini sağlayacaktır. Şimdi birkaç zorunlu değişkenin ayarlandığından emin olalım. Bunları olarak ayarlayabilirsiniz veya yukarıda kopyalanan depoda adında, olarak kopyalayabileceğiniz bir dosya vardır. ortam değişkenleri vars.template cp vars.template terraform.tfvars Sonuçta hangi yöntemi seçerseniz seçin, aşağıdaki iki değişkeni ayarlamanız gerekir. auth_token proje_id Bunlar hakkında daha fazla bilgiyi belgelerinde bulabilirsiniz. API dosyasında değiştirebileceğiniz başka değişkenler de vardır ve daha sonra siteden siteye çoğaltma yaptığımızda aşağıdakileri değiştireceğiz. terraform.tfvars tesis: https://deploy.equinix.com/developers/docs/metal/locations/metros/ minio_region_name: MinIO kümesinin dağıtıldığı bölge. Tercih ettiğiniz konfigürasyon setini aldıktan sonra Terraform planını uygulayın. Plan uygun görünüyorsa komutunu çalıştırın. approve $ terraform plan $ terraform apply --auto-approve Kaynaklar doğru konfigürasyonla düzgün bir şekilde uygulandıysa ortaya çıkan çıktı şöyle görünmelidir Apply complete! Resources: 10 added, 0 changed, 0 destroyed. Outputs: minio_access_key = Xe245QheQ7Nwi20dxsuF minio_access_secret = 9g4LKJlXqpe7Us4MIwTPluNyTUJv4A5T9xVwwcZh minio_endpoints = [ "minio-storage-node1 minio endpoint is http://147.75.65.29:9000", "minio-storage-node2 minio endpoint is http://147.75.39.227:9000", "minio-storage-node3 minio endpoint is http://147.75.66.53:9000", "minio-storage-node4 minio endpoint is http://147.75.194.101:9000", ] minio_region_name = us-east-1 Bütün mesele bu. Bu çıktıyı gördüğünüzde, yalnızca fiziksel sunucularınızın provizyonu yapılmamış, aynı zamanda MinIO bu düğümlere dağıtılmış ve düğümler bir dağıtılmış depolama kümesi olarak yapılandırılmıştır. MinIO Kümesine Erişim Sürecin çoğunu otomatikleştirmek için Terraform'u kullandık, artık geriye kalan tek şey MinIO kümesine erişmek. Önerilen aracımız kullanmaktır. İkili dosyayı indirmek için aşağıdaki komutu kullanın mc curl https://dl.min.io/client/mc/release/linux-amd64/mc \ --create-dirs \ -o $HOME/minio-binaries/mc chmod +x $HOME/minio-binaries/mc export PATH=$PATH:$HOME/minio-binaries/ Dağıttığımız MinIO kümesine işaret eden bir takma ad oluşturun mc config host add minio1 $MINIO_ENDPOINT $MINIO_ACCESS_KEY $MINIO_SECRET_KEY Yukarıdaki değişkenleri Terraform aracılığıyla MinIO kümesini başlatırken ayarladığınız değerlerle değiştirebilirsiniz ancak takma adı olarak ayarladığınızdan emin olun. Bu daha sonra size siteden siteye kopyalamanın nasıl yapılacağını gösterdiğimizde anlamlı olacaktır. minio1 Kümeden bazı meta verileri alarak başarılı bir şekilde bağlanıp bağlanamadığınızı kontrol edin $ mc admin info minio1 --json | jq .info.backend { "backendType": "Erasure", "onlineDisks": 48, "rrSCData": 6, "rrSCParity": 2, "standardSCData": 6, "standardSCParity": 2 } Yukarıdakine benzer bir çıktı görürseniz, MinIO kümesine komutu aracılığıyla başarılı bir şekilde erişebilirsiniz. Sırada ne var? Verileri S3'ten ne zaman taşımalıyız? mc MinIO Kümesinin Yük Dengelemesi Verileri S3'ten taşıyabilir, hatta kendi verilerimizden bazılarını ekleyip kümeyi kullanmaya başlayabiliriz. Ama hadi bir adım daha ileri gidelim. AWS S3 ile aynı düzeyde yedeklilik elde etmek istiyoruz; yani bir site çökerse verilerimizin başka bir siteden erişilebilir olmasını sağlamak istiyoruz. AWS bunu bölgelerle başardı ama bunu MinIO ile nasıl başaracağız? Artık Terraform ile daha önce yaptığımız küçük otomasyonun güzelliğini görebiliyoruz. Size Equinix Metal'de başka bir MinIO bölgesi oluşturmanın ne kadar basit olduğunu göstereyim. izin verin, ancak bu sefer yeni bir dizinde git clone terraform-metal-distributed-minio-site-2 git clone https://github.com/equinix/terraform-metal-distributed-minio.git terraform-metal-distributed-minio-site-2 deposuna gidin ve Terraform'u başlatın, böylece gerekli tüm modülleri ve eklentileri orijinal MinIO dağıtımına benzer şekilde yukarı akıştan indirebilir. terraform-metal-distributed-minio-site-2 $ cd terraform-metal-distributed-minio-site-2 $ terraform init Tüm modüller indirildikten sonra değişkenler dosyasını kopyalayın ve iki değişkeni ayarlayın cp vars.template terraform.tfvars auth_token proje_id Şu ana kadar süreç, ilk kümeyi nasıl başlattığımıza çok benzer görünmelidir, ancak işlerin farklı olacağı yer burasıdır. İkinci siteyi birinci siteden ayıran değişkenleri ayarlayalım. Öncelikle ayarlayalım veya bu listesinden bir tane seçelim. Daha sonra değerini olarak veya onu diğer kümeden ayıran herhangi bir şeye ayarlayın. facility sv16 tesis minio_region_name us-west-1 Yaptığınız değişikliklerin çıktıya yansımasını sağlamak için planı çalıştırın. $ terraform plan $ terraform apply --auto-approve Kaynaklar doğru konfigürasyonla düzgün bir şekilde uygulandıysa, ortaya çıkan çıktı şu şekilde görünmelidir: Apply complete! Resources: 10 added, 0 changed, 0 destroyed. Outputs: minio_access_key = Xe245QheQ7Nwi20dxsuF minio_access_secret = 9g4LKJlXqpe7Us4MIwTPluNyTUJv4A5T9xVwwcZh minio_endpoints = [ "minio-storage-node1 minio endpoint is http://144.45.65.29:9000", "minio-storage-node2 minio endpoint is http://144.45.39.227:9000", "minio-storage-node3 minio endpoint is http://144.45.66.53:9000", "minio-storage-node4 minio endpoint is http://144.45.194.101:9000", ] minio_region_name = us-west-1 olarak görüyorsanız ikinci kümeyi başarıyla başlatmışsınız demektir. Bunu ekleyelim. minio_region_name us-west-1 mc mc config host add minio2 $MINIO_ENDPOINT $MINIO_ACCESS_KEY $MINIO_SECRET_KEY Takma adı olarak ayarlayın ve kümeden bazı meta veriler alarak başarılı bir şekilde bağlanıp bağlanamadığınızı kontrol edin. minio2 $ mc admin info minio2 --json | jq .info.backend { "backendType": "Erasure", "onlineDisks": 48, "rrSCData": 6, "rrSCParity": 2, "standardSCData": 6, "standardSCParity": 2 } Bu noktada 2 siteniz olmalıdır: ve . minio1 minio2 Her iki kümede de çoğaltmayı ayarlayalım $ mc admin replicate add minio1 minio2 Requested sites were configured for replication successfully. Her iki sitenin de doğru şekilde yapılandırıldığını doğrulayın mc admin replicate info minio1 SiteReplication enabled for: Deployment ID | Site Name | Endpoint f96a6675-ddc3-4c6e-907d-edccd9eae7a4 | minio1 | http:// 0dfce53f-e85b-48d0-91de-4d7564d5456f | minio2 | http:// Çoğaltmanın düzgün çalıştığından emin olmak için kontrol edin mc admin replicate status minio1 Bucket replication status: No Buckets present Policy replication status: ● 5/5 Policies in sync User replication status: No Users present Group replication status: No Groups present bir kova oluşturarak test edin minio1 /opt/minio-binaries/mc mb minio1/testbucket Pakete herhangi bir nesne ekleyin /opt/minio-binaries/mc cp my_object minio1/testbucket Diğer sitelerdeki nesneleri listeleyin, bu durumda minio2 /opt/minio-binaries/mc ls minio2/testbucket [2023-07-20 18:52:09 UTC] 3.0KiB STANDARD my_object Gördüğünüz gibi, coğrafi olarak farklı olsalar bile verileri diğer MinIO dağıtımlarına kopyalamak neredeyse anında gerçekleşir. Bunun gerçekten göründüğü kadar basit olup olmadığını görmek için hızlı bir test yapalım. MinIO'nun AWS S3'ün yerine geçecek bir ürün olduğunu unutmayın; dolayısıyla S3 ile çalışması gereken her şey MinIO ile de çalışacaktır. Bu durumda bir nesneyi MinIO klasörüne yüklemek için Terraform kullanacağız. Terraform'da bu, AWS ekosisteminde çeşitli işlemleri gerçekleştirmek için esasen AWS API'sine bağlanan bir modül olan AWS sağlayıcısı aracılığıyla yapılır, ancak bu durumda MinIO klasörüne erişmek için Terraform AWS S3 kaynağını kullanacağız. Terraform'da aşağıdaki gibi bir AWS sağlayıcısı oluşturun. Ayrıntıları yeni dağıttığımız Equinix Metal kümesiyle eşleşecek şekilde güncellediğinizden emin olun. minio1 provider "aws" { region = "us-east-1" access_key = "Xe245QheQ7Nwi20dxsuF" secret_key = "9g4LKJlXqpe7Us4MIwTPluNyTUJv4A5T9xVwwcZh" skip_credentials_validation = true skip_metadata_api_check = true skip_requesting_account_id = true s3_force_path_style = true endpoints { s3 = "http://147.75.65.29:9000" } } Terraform kaynağını kullanarak bir dosya yükleyin aws_s3_bucket_object resource "aws_s3_bucket_object" "object" { bucket = "public" key = "my_file_name.txt" source = "path/to/my_file_name.txt" etag = filemd5("path/to/my_file_name.txt") } Yukarıda görebileceğiniz gibi MinIO'ya özel herhangi bir Terraform kaynağı kullanmadık, AWS sağlayıcısı kaynağını kullanıyoruz. Mevcut AWS S3 Terraform kaynağını kullanıyor olsak da nesne deposu tamamen üretim düzeyindeki kurumsal sınıf MinIO tarafından desteklenmektedir. aws_s3_bucket_object AWS S3'ten Veri Taşıma Artık üretim düzeyinde nesne depolamaya ve tüm altyapı üzerinde tam kontrole sahip olmanız için tüm yapı taşlarını kullanıma hazır hale getirdik. Daha sonra, halihazırda S3'te bulunan verileri taşıyacağız. Verilerinizi AWS S3'ten MinIO'ya taşımanın çeşitli yolları vardır ancak bizim önerdiğimiz yol kullanmaktır. mc veri senkronizasyonunda bir İsviçre çakısı. S3 veya S3-API uyumlu nesne depolarından nesneleri kopyalayabilir ve bunları MinIO'ya yansıtabilir. Bunun en popüler kullanım örneklerinden biri, verileri AWS dışı uygulamalara ve hizmetlere sunmak için bir Amazon S3 klasörünü MinIO'ya yansıtmaktır. mc mirror Yalnızca bizim grubumuza erişime izin veren, erişim anahtarı ve gizli anahtar içeren yeni bir oluşturun. Oluşturulan kimlik bilgilerini bir sonraki adım için kaydedin. IAM politikası /opt/minio-binaries/mc alias set s3 https://s3.amazonaws.com BKIKJAA5BMMU2RHO6IBB V7f1CwQqAcwo80UEIJEjc5gVQUSSx5ohQ9GSrr12 --api S3v4 Verileri S3'ten MinIO'ya kopyalamak için kullanın mc aynasını mc mirror s3/mybucket minio1/testbucket Veri miktarına, ağ hızlarına ve paket verilerinin depolandığı bölgeye olan fiziksel mesafeye bağlı olarak tüm verileri yansıtmanız birkaç dakika veya daha uzun sürebilir. tüm nesneleri kopyalaması bittiğinde bir mesaj göreceksiniz. mc Veriler kopyalandıktan sonra veya veriler kopyalanırken, paketin içeriğini sitesinde listeleyin. Bazı verilerin zaten bulunduğunu fark edeceksiniz. minio2 minio1 /opt/minio-binaries/mc ls minio2/testbucket [2022-12-19 18:52:09 UTC] 3.0KiB STANDARD all_object s Sonuçta çalıştırdığınız dizüstü bilgisayar bir darboğazdır çünkü verilerin komutunun yürütüldüğü sistem üzerinden geçmesi gerekir. Bu, ağ hızına bağlı olarak taşınması haftalar olmasa da günler alabilen birkaç petabaytlık veri olabilir. Verileri S3'ten MinIO'ya taşımak için Toplu Çoğaltma adı verilen daha etkili bir yöntem vardır. Toplu Çoğaltma ve diğer en iyi geçiş uygulamaları hakkında daha fazla bilgi edinmek için lütfen bakın. mc mirror mc mirror AWS S3'ten MinIO'ya Nasıl Geri Gönderilir bölümüne Pedalı Metale Yerleştirin Bu blog yazısı, Equinix Metal NVMe SSD'ler üzerinde siteden siteye replikasyon yapılandırmasında çalışan MinIO'nun, S3 maliyetinin çok altında bir maliyetle size daha fazla olmasa da aynı düzeyde performans, veri dayanıklılığı ve esneklik sağlayacağını gösterdi. Bulutunuz üzerinde tam kontrole sahip olun. Tüm altyapının kontrolü %100 sizde mi? Pek değil. Anahtarlar, yönlendiriciler ve diğer ağ donanımları Equinix tarafından yönetilir, ancak onların ağlarında olmanın avantajları dezavantajlarının ötesindedir. Başka herhangi bir sağlayıcıya sanal olarak bağlanmak için noktadan noktaya, WAN veya diğer özel devreleri alabilirsiniz. Temelde, doğrudan AWS'ye (Equinix Connect aracılığıyla) bağlanan özel bir devreye sahip olabilirsiniz ve ardından verilerinizi 10 kat daha hızlı taşıyabilirsiniz; bu arada, halka açık açık interneti geçmediği ve yalnızca verileriniz geçtiği için güvende olursunuz. o devre. Ayrıca, MinIO şifreleme açıkken sürekli olarak çok az (<%1) verim performansı düşüşü gösteriyor; bu nedenle, tüm MinIO dağıtımlarının kullanımda olmayan şifrelemeyi kullanmasını ve tüm MinIO dağıtımlarının aynı zamanda TLS kullanarak alması gerektiğini öneriyoruz. Tebrikler, artık verileriniz tam kontrole ve sorumluluğa sahip olduğunuz daha güvenli ancak şeffaf bir sistemde. kıyaslamaları, ağ iletişimini güvence altına Equinix Metal'de AWS S3'ten MinIO'ya geçiş konusunda sorularınız varsa bize üzerinden ulaşmayı unutmayın! Slack da yayınlandı. Burada