Equinix Metal'de AWS S3'ten MinIO'ya Nasıl Geçilir?

MinIO'nun güçlü kullanım durumlarından biri, her yerde ve her şeyde çalışabilmesidir. Sektör yavaş yavaş verileri bir sunucuya veya veri merkezine geri göndermeye yönelirken, gittikçe daha fazla şirket, altyapı üzerinde tam kontrole sahip olarak bulutta sahip oldukları nesne depolama yeteneklerinin aynısını istiyor.

Verilerin neden evinize daha yakın olmasını istiyorsunuz? Bunun birçok nedeni var ama en önemlisi maliyet. Genel bulut çok pahalı hale geldi. Örneğin, bir süre önce AWS'de çalışan ElasticSearch tarafından yönetilen bir kümem vardı. Bu yeni yönetilen hizmeti denemek için sabırsızlanıyordum, ancak 30 bin dolarlık sürpriz faturamı patronumla tartışmak konusunda istekli değildim. Bu acı verici ama tanıdık bir uyandırma çağrısıydı çünkü o anda, kendi ayarlayabileceğim bir şeyi yapmak için AWS'ye altı aylık bulut bütçesini ödediğimi fark ettim. Hikayenin ana fikri şu ki, çok dikkatli olmazsanız ve bulut harcamalarınızı yakından takip etmezseniz bulut çok hızlı bir şekilde kontrolden çıkabilir.

Bir de güvenlik meselesi var. Verileriniz genel bulutta nerede bulunursa bulunsun, neredeyse her zaman sizinle tamamen ilgisiz biri tarafından paylaşılan bir düğümde veya depolama havuzunda bulunur; bulutun doğası budur çünkü sanallaştırma bu şekilde çalışır. Bulut sıcak bir rahatlık hissi veriyor çünkü artık bir başkasının güvenlik sorunlarıyla başa çıkması gerekiyor, ancak güvenlikle ilgili herhangi bir sorun varsa, soruna (eğer birisi bunu tespit edebildiyse bile) ve bunun nasıl çözüleceğine dair hiçbir bilgi olmayacak. . Verilerinizi korumak için başka birinin altyapısını güvence altına almak zorunda kaldığınızda rahatlık hissi hızla buharlaşır. Pek çok kuruluş, yönettikleri donanımları MinIO'ya geri getirerek sağlanan tam kontrole dönüşün keyfini çıkardı.

Ülkeye geri gönderme çalışmalarınızdan en iyi şekilde yararlanmak için MinIO, veri bütünlüğünü sağlamak için Bitrot Koruması , verileri soğuk bir depolama katmanına aktarmak için Katmanlama , nesneleri bir veri koleksiyonu olarak kaydeden Silme Kodlaması gibi kurumsal kullanıma hazır bir dizi özellik ile birlikte gelir. eşlik blokları ve bunları herhangi bir ek donanım veya yazılıma gerek kalmadan anında yeniden yapılandırır. Bunlara ek olarak MinIO hem beklemede hem de aktarım sırasında Şifrelemeyi destekler. Bu, çağrının yapıldığı andan nesnenin IAM S3 tarzı politikalar ve yerleşik veya harici bir IDP ile korunduğu pakete yerleştirilmesine kadar verilerin işlemin tüm yönlerinde şifrelenmesini sağlar, bkz. MinIO En İyi Uygulamalar - Daha fazla bilgi için Güvenlik ve Erişim Kontrolü .

Ülkeye geri dönüş ayrıntılı ve dikkatli bir şekilde planlanmalıdır. Petabaytlarca veriyle uğraşıyorsanız, genellikle kendi altyapınıza ve üzerinde çalışabileceğiniz sunuculara sahip olmak daha uygun maliyetlidir; hatta kendi (veya kiraladığınız) donanımınızla özel bir bulut bile oluşturabilirsiniz. Ayrıca bu, diğer bileşenlerin yanı sıra gayrimenkulün (colo alanı), güç/UPS, soğutma/HVAC yönetimini de içerir. Bunlar sizi yıldırmasın, size nasıl geçiş yapabileceğinizi göstereceğiz ancak genel yatırım getirisi yine de genel buluttan daha iyidir.

Özel bulut bir apartman dairesine benzer (CEO'muz AB Periasamy'nin de söylediği gibi). Bununla ilgili maliyet ve giderlerin tam kontrolü sizdedir; bir gecede çalışan bazı özyinelemeli döngü işlevlerinin neden olduğu sürpriz bir fatura uyarısıyla asla uyanmazsınız. Elbette, işleri daha iyi hale getirmeye çalıştığınızda hareket etmenin bazı sürtünmeleri vardır; örneğin, bir otoyolu genişletmeye çalıştığınızda, inşaatın güvenli bir şekilde ilerleyebilmesi için kaçınılmaz olarak bazı şeritleri kapatmak zorunda kalırsınız, ancak bir kez bittiğinde, Sadece orijinal şeritlerde değil, aynı zamanda kapasiteyi karşılamak için yeni inşa edilen şeritlerde de sürüş mümkün olacak.

Genel bulutta dikkate almamız gereken en önemli maliyet değerlendirmelerinden ikisi, ihtiyaç duyduğunuz depolama alanı miktarı ve bu verilere erişirken/taşırken çıkış maliyetleridir; bunlar kendi donanımınıza kıyasla sırasıyla yaklaşık %39 ve %42 daha yüksek olabilir veri merkezinizde veya ortak yerleşim tesisinizde. Buna ek olarak, dikkate alınması gereken diğer maliyet faktörlerinden bazıları yazılım, donanım, ağ iletişimi/anahtarlar, gayrimenkul/raf alanı/ortak yerleşim kiralama, S3-API çağrıları - aklınıza gelebilecek her şey ve daha fazlasıdır. Bulutun Yaşam Döngüsü'nden kendi özel bulutunuza geçmenin sonucunda elde edilebilecek olası tasarruflar hakkında daha fazla bilgi edinin.

Genel bulut ile veri merkeziniz arasında, yüksek başlangıç yatırım maliyeti olmadan altyapı donanımı üzerinde tam kontrole sahip olabileceğiniz bir orta yol bulunur. Equinix Metal , adından da anlaşılacağı gibi, müşteri tarafından tam olarak talep edilen özelliklere sahip yalın donanım sunucular sunmaktadır. NVMe SSD'leri kullanmak istiyorsanız bu diskleri yalın donanım sunucusuna ekleyebilirsiniz. Equinix, donanım dağıtımını ve işlemlerini basitleştirmek için bir yönetim API'si sağlar. Geliştirici/son kullanıcı için bu, bulutta bir örneği başlatmak kadar kolaydır. Aslında Equinix Metal için bir Terraform sağlayıcısı bile var (bunu size daha sonra göstereceğiz).

Başlayalım!

Altyapıyı Dağıtın

Kaynakları manuel olarak dağıtabilsek de içimdeki DevOps, özellikle diğer şeylerin yanı sıra siteden siteye çoğaltma yapmak istediğimizde, zamandan ve emekten tasarruf etmek için bu sürecin en azından tekrar eden bazı kısımlarını otomatikleştirmek istiyor.

Equinix Metal Terraform'u Kurun

Equinix, altyapı yönetimi sürecini tamamen otomatikleştirecek bir API'ye sahip birkaç yalın donanım sağlayıcısından biridir. API'lerini kullanarak, fiziksel sunucuların dağıtımını, onları kapatmayı ve hatta sonlandırmayı otomatikleştirebilirsiniz. Tüm bunları kendi donanımınızı, anahtarlarınızı, yönlendiricilerinizi ve diğer kaynaklarınızı kullanmadan yapabilirsiniz. Bu, donanımınızı başka kimsenin paylaşmayacağını garanti ederken genel bulut düzeyinde otomasyona ulaşabileceğiniz en yakın noktadır. Çünkü Equinix Metal, çeşitli boyutlarda SAS veya SATA ve SSD, NVMe SSD veya HDD gibi çok sayıda bulut sunucusu tipini ve depolama seçeneğini ve ara bağlantıyı destekler. Ayrıca MinIO'nun üzerinde çalıştığı donanımı, tam olarak MinIO bölümlerini barındıran sürücü türüne kadar tam spesifikasyonlarınıza göre yapılandırabilirsiniz.

Hiç kimse sizden Metal API ile konuşmak için Python komut dosyaları yazmanızı beklemiyor; Equinix Metal, ona bağlanmamıza ve küme kaynaklarını dağıtmak için gereken üst düzey bilgileri sağlamamıza olanak tanıyan ve aynı zamanda ağ oluşturma, donanım, MinIO ve diğer uygulamaların kurulması için gereken dahili hokkabazlığı soyutlamamıza olanak tanıyan bir Terraform Sağlayıcısına sahiptir.

 provider "metal" { auth_token = var.auth_token }

Henüz Terraform'u kurmadıysanız indirme sayfasından indirebilirsiniz.

GitHub deposu equinix/terraform-metal-distributed-minio yerel iş istasyonunuza kopyalayın.

git clone https://github.com/equinix/terraform-metal-distributed-minio.git

Depoya gidin ve gerekli tüm modülleri ve eklentileri yukarı akıştan indirebilmesi için Terraform'u başlatın.

 $ cd terraform-metal-distributed-minio $ terraform init

Bu, gerekli tüm modüllerin otomatik olarak indirilmesini sağlayacaktır. Şimdi birkaç zorunlu değişkenin ayarlandığından emin olalım. Bunları ortam değişkenleri olarak ayarlayabilirsiniz veya yukarıda kopyalanan depoda vars.template adında, cp vars.template terraform.tfvars olarak kopyalayabileceğiniz bir dosya vardır.

Sonuçta hangi yöntemi seçerseniz seçin, aşağıdaki iki değişkeni ayarlamanız gerekir.

• auth_token
• proje_id

Bunlar hakkında daha fazla bilgiyi API belgelerinde bulabilirsiniz.

terraform.tfvars dosyasında değiştirebileceğiniz başka değişkenler de vardır ve daha sonra siteden siteye çoğaltma yaptığımızda aşağıdakileri değiştireceğiz.

• tesis: https://deploy.equinix.com/developers/docs/metal/locations/metros/
• minio_region_name: MinIO kümesinin dağıtıldığı bölge.

Tercih ettiğiniz konfigürasyon setini aldıktan sonra Terraform planını uygulayın. Plan uygun görünüyorsa approve komutunu çalıştırın.

 $ terraform plan $ terraform apply --auto-approve

Kaynaklar doğru konfigürasyonla düzgün bir şekilde uygulandıysa ortaya çıkan çıktı şöyle görünmelidir

 Apply complete! Resources: 10 added, 0 changed, 0 destroyed. Outputs: minio_access_key = Xe245QheQ7Nwi20dxsuF minio_access_secret = 9g4LKJlXqpe7Us4MIwTPluNyTUJv4A5T9xVwwcZh minio_endpoints = [ "minio-storage-node1 minio endpoint is http://147.75.65.29:9000", "minio-storage-node2 minio endpoint is http://147.75.39.227:9000", "minio-storage-node3 minio endpoint is http://147.75.66.53:9000", "minio-storage-node4 minio endpoint is http://147.75.194.101:9000", ] minio_region_name = us-east-1

Bütün mesele bu. Bu çıktıyı gördüğünüzde, yalnızca fiziksel sunucularınızın provizyonu yapılmamış, aynı zamanda MinIO bu düğümlere dağıtılmış ve düğümler bir dağıtılmış depolama kümesi olarak yapılandırılmıştır.

MinIO Kümesine Erişim

Sürecin çoğunu otomatikleştirmek için Terraform'u kullandık, artık geriye kalan tek şey MinIO kümesine erişmek. Önerilen aracımız mc kullanmaktır. İkili dosyayı indirmek için aşağıdaki komutu kullanın

 curl https://dl.min.io/client/mc/release/linux-amd64/mc \ --create-dirs \ -o $HOME/minio-binaries/mc chmod +x $HOME/minio-binaries/mc export PATH=$PATH:$HOME/minio-binaries/

Dağıttığımız MinIO kümesine işaret eden bir takma ad oluşturun

 mc config host add minio1 $MINIO_ENDPOINT $MINIO_ACCESS_KEY $MINIO_SECRET_KEY

Yukarıdaki değişkenleri Terraform aracılığıyla MinIO kümesini başlatırken ayarladığınız değerlerle değiştirebilirsiniz ancak takma adı minio1 olarak ayarladığınızdan emin olun. Bu daha sonra size siteden siteye kopyalamanın nasıl yapılacağını gösterdiğimizde anlamlı olacaktır.

Kümeden bazı meta verileri alarak başarılı bir şekilde bağlanıp bağlanamadığınızı kontrol edin

 $ mc admin info minio1 --json | jq .info.backend { "backendType": "Erasure", "onlineDisks": 48, "rrSCData": 6, "rrSCParity": 2, "standardSCData": 6, "standardSCParity": 2 }

Yukarıdakine benzer bir çıktı görürseniz, MinIO kümesine mc komutu aracılığıyla başarılı bir şekilde erişebilirsiniz. Sırada ne var? Verileri S3'ten ne zaman taşımalıyız?

MinIO Kümesinin Yük Dengelemesi

Verileri S3'ten taşıyabilir, hatta kendi verilerimizden bazılarını ekleyip kümeyi kullanmaya başlayabiliriz. Ama hadi bir adım daha ileri gidelim. AWS S3 ile aynı düzeyde yedeklilik elde etmek istiyoruz; yani bir site çökerse verilerimizin başka bir siteden erişilebilir olmasını sağlamak istiyoruz. AWS bunu bölgelerle başardı ama bunu MinIO ile nasıl başaracağız?

Artık Terraform ile daha önce yaptığımız küçük otomasyonun güzelliğini görebiliyoruz. Size Equinix Metal'de başka bir MinIO bölgesi oluşturmanın ne kadar basit olduğunu göstereyim.

git clone izin verin, ancak bu sefer yeni bir dizinde terraform-metal-distributed-minio-site-2

git clone https://github.com/equinix/terraform-metal-distributed-minio.git terraform-metal-distributed-minio-site-2

terraform-metal-distributed-minio-site-2 deposuna gidin ve Terraform'u başlatın, böylece gerekli tüm modülleri ve eklentileri orijinal MinIO dağıtımına benzer şekilde yukarı akıştan indirebilir.

 $ cd terraform-metal-distributed-minio-site-2 $ terraform init

Tüm modüller indirildikten sonra cp vars.template terraform.tfvars değişkenler dosyasını kopyalayın ve iki değişkeni ayarlayın

• auth_token
• proje_id

Şu ana kadar süreç, ilk kümeyi nasıl başlattığımıza çok benzer görünmelidir, ancak işlerin farklı olacağı yer burasıdır.

İkinci siteyi birinci siteden ayıran değişkenleri ayarlayalım.

Öncelikle facility sv16 ayarlayalım veya bu tesis listesinden bir tane seçelim. Daha sonra minio_region_name değerini us-west-1 olarak veya onu diğer kümeden ayıran herhangi bir şeye ayarlayın.

Yaptığınız değişikliklerin çıktıya yansımasını sağlamak için planı çalıştırın.

 $ terraform plan $ terraform apply --auto-approve

Kaynaklar doğru konfigürasyonla düzgün bir şekilde uygulandıysa, ortaya çıkan çıktı şu şekilde görünmelidir:

 Apply complete! Resources: 10 added, 0 changed, 0 destroyed. Outputs: minio_access_key = Xe245QheQ7Nwi20dxsuF minio_access_secret = 9g4LKJlXqpe7Us4MIwTPluNyTUJv4A5T9xVwwcZh minio_endpoints = [ "minio-storage-node1 minio endpoint is http://144.45.65.29:9000", "minio-storage-node2 minio endpoint is http://144.45.39.227:9000", "minio-storage-node3 minio endpoint is http://144.45.66.53:9000", "minio-storage-node4 minio endpoint is http://144.45.194.101:9000", ] minio_region_name = us-west-1

minio_region_name us-west-1 olarak görüyorsanız ikinci kümeyi başarıyla başlatmışsınız demektir. Bunu mc ekleyelim.

 mc config host add minio2 $MINIO_ENDPOINT $MINIO_ACCESS_KEY $MINIO_SECRET_KEY

Takma adı minio2 olarak ayarlayın ve kümeden bazı meta veriler alarak başarılı bir şekilde bağlanıp bağlanamadığınızı kontrol edin.

 $ mc admin info minio2 --json | jq .info.backend { "backendType": "Erasure", "onlineDisks": 48, "rrSCData": 6, "rrSCParity": 2, "standardSCData": 6, "standardSCParity": 2 }

Bu noktada 2 siteniz olmalıdır: minio1 ve minio2 .

Her iki kümede de çoğaltmayı ayarlayalım

 $ mc admin replicate add minio1 minio2 Requested sites were configured for replication successfully.

Her iki sitenin de doğru şekilde yapılandırıldığını doğrulayın

 mc admin replicate info minio1 SiteReplication enabled for: Deployment ID | Site Name | Endpoint f96a6675-ddc3-4c6e-907d-edccd9eae7a4 | minio1 | http://<site1_public_ip> 0dfce53f-e85b-48d0-91de-4d7564d5456f | minio2 | http://<site2_public_ip>

Çoğaltmanın düzgün çalıştığından emin olmak için kontrol edin

 mc admin replicate status minio1 Bucket replication status: No Buckets present Policy replication status: ● 5/5 Policies in sync User replication status: No Users present Group replication status: No Groups present

minio1 bir kova oluşturarak test edin

/opt/minio-binaries/mc mb minio1/testbucket

Pakete herhangi bir nesne ekleyin

/opt/minio-binaries/mc cp my_object minio1/testbucket

Diğer sitelerdeki nesneleri listeleyin, bu durumda minio2

 /opt/minio-binaries/mc ls minio2/testbucket [2023-07-20 18:52:09 UTC] 3.0KiB STANDARD my_object

Gördüğünüz gibi, coğrafi olarak farklı olsalar bile verileri diğer MinIO dağıtımlarına kopyalamak neredeyse anında gerçekleşir.

Bunun gerçekten göründüğü kadar basit olup olmadığını görmek için hızlı bir test yapalım. MinIO'nun AWS S3'ün yerine geçecek bir ürün olduğunu unutmayın; dolayısıyla S3 ile çalışması gereken her şey MinIO ile de çalışacaktır. Bu durumda bir nesneyi MinIO klasörüne yüklemek için Terraform kullanacağız. Terraform'da bu, AWS ekosisteminde çeşitli işlemleri gerçekleştirmek için esasen AWS API'sine bağlanan bir modül olan AWS sağlayıcısı aracılığıyla yapılır, ancak bu durumda MinIO klasörüne erişmek için Terraform AWS S3 kaynağını kullanacağız.

Terraform'da aşağıdaki gibi bir AWS sağlayıcısı oluşturun. Ayrıntıları yeni dağıttığımız Equinix Metal minio1 kümesiyle eşleşecek şekilde güncellediğinizden emin olun.

 provider "aws" { region = "us-east-1" access_key = "Xe245QheQ7Nwi20dxsuF" secret_key = "9g4LKJlXqpe7Us4MIwTPluNyTUJv4A5T9xVwwcZh" skip_credentials_validation = true skip_metadata_api_check = true skip_requesting_account_id = true s3_force_path_style = true endpoints { s3 = "http://147.75.65.29:9000" } }

Terraform aws_s3_bucket_object kaynağını kullanarak bir dosya yükleyin

 resource "aws_s3_bucket_object" "object" { bucket = "public" key = "my_file_name.txt" source = "path/to/my_file_name.txt" etag = filemd5("path/to/my_file_name.txt") }

Yukarıda görebileceğiniz gibi MinIO'ya özel herhangi bir Terraform kaynağı kullanmadık, AWS sağlayıcısı aws_s3_bucket_object kaynağını kullanıyoruz. Mevcut AWS S3 Terraform kaynağını kullanıyor olsak da nesne deposu tamamen üretim düzeyindeki kurumsal sınıf MinIO tarafından desteklenmektedir.

AWS S3'ten Veri Taşıma

Artık üretim düzeyinde nesne depolamaya ve tüm altyapı üzerinde tam kontrole sahip olmanız için tüm yapı taşlarını kullanıma hazır hale getirdik. Daha sonra, halihazırda S3'te bulunan verileri taşıyacağız.

Verilerinizi AWS S3'ten MinIO'ya taşımanın çeşitli yolları vardır ancak bizim önerdiğimiz yol mc kullanmaktır.

mc mirror veri senkronizasyonunda bir İsviçre çakısı. S3 veya S3-API uyumlu nesne depolarından nesneleri kopyalayabilir ve bunları MinIO'ya yansıtabilir. Bunun en popüler kullanım örneklerinden biri, verileri AWS dışı uygulamalara ve hizmetlere sunmak için bir Amazon S3 klasörünü MinIO'ya yansıtmaktır.

Yalnızca bizim grubumuza erişime izin veren, erişim anahtarı ve gizli anahtar içeren yeni bir IAM politikası oluşturun. Oluşturulan kimlik bilgilerini bir sonraki adım için kaydedin.

 /opt/minio-binaries/mc alias set s3 https://s3.amazonaws.com BKIKJAA5BMMU2RHO6IBB V7f1CwQqAcwo80UEIJEjc5gVQUSSx5ohQ9GSrr12 --api S3v4

Verileri S3'ten MinIO'ya kopyalamak için mc aynasını kullanın

mc mirror s3/mybucket minio1/testbucket

Veri miktarına, ağ hızlarına ve paket verilerinin depolandığı bölgeye olan fiziksel mesafeye bağlı olarak tüm verileri yansıtmanız birkaç dakika veya daha uzun sürebilir. mc tüm nesneleri kopyalaması bittiğinde bir mesaj göreceksiniz.

Veriler kopyalandıktan sonra veya veriler kopyalanırken, paketin içeriğini minio2 sitesinde listeleyin. Bazı verilerin zaten minio1 bulunduğunu fark edeceksiniz.

 /opt/minio-binaries/mc ls minio2/testbucket [2022-12-19 18:52:09 UTC] 3.0KiB STANDARD all_object s

Sonuçta mc mirror çalıştırdığınız dizüstü bilgisayar bir darboğazdır çünkü verilerin mc mirror komutunun yürütüldüğü sistem üzerinden geçmesi gerekir. Bu, ağ hızına bağlı olarak taşınması haftalar olmasa da günler alabilen birkaç petabaytlık veri olabilir. Verileri S3'ten MinIO'ya taşımak için Toplu Çoğaltma adı verilen daha etkili bir yöntem vardır. Toplu Çoğaltma ve diğer en iyi geçiş uygulamaları hakkında daha fazla bilgi edinmek için lütfen AWS S3'ten MinIO'ya Nasıl Geri Gönderilir bölümüne bakın.

Pedalı Metale Yerleştirin

Bu blog yazısı, Equinix Metal NVMe SSD'ler üzerinde siteden siteye replikasyon yapılandırmasında çalışan MinIO'nun, S3 maliyetinin çok altında bir maliyetle size daha fazla olmasa da aynı düzeyde performans, veri dayanıklılığı ve esneklik sağlayacağını gösterdi. Bulutunuz üzerinde tam kontrole sahip olun.

Tüm altyapının kontrolü %100 sizde mi? Pek değil. Anahtarlar, yönlendiriciler ve diğer ağ donanımları Equinix tarafından yönetilir, ancak onların ağlarında olmanın avantajları dezavantajlarının ötesindedir. Başka herhangi bir sağlayıcıya sanal olarak bağlanmak için noktadan noktaya, WAN veya diğer özel devreleri alabilirsiniz. Temelde, doğrudan AWS'ye (Equinix Connect aracılığıyla) bağlanan özel bir devreye sahip olabilirsiniz ve ardından verilerinizi 10 kat daha hızlı taşıyabilirsiniz; bu arada, halka açık açık interneti geçmediği ve yalnızca verileriniz geçtiği için güvende olursunuz. o devre.

Ayrıca, MinIO kıyaslamaları, şifreleme açıkken sürekli olarak çok az (<%1) verim performansı düşüşü gösteriyor; bu nedenle, tüm MinIO dağıtımlarının kullanımda olmayan şifrelemeyi kullanmasını ve tüm MinIO dağıtımlarının aynı zamanda TLS kullanarak ağ iletişimini güvence altına alması gerektiğini öneriyoruz. Tebrikler, artık verileriniz tam kontrole ve sorumluluğa sahip olduğunuz daha güvenli ancak şeffaf bir sistemde.

Equinix Metal'de AWS S3'ten MinIO'ya geçiş konusunda sorularınız varsa bize Slack üzerinden ulaşmayı unutmayın!