Kamu Bulutu Geri Yüklemenin Ekonomisi ve Ölçekte Maliyet Açısından Neden Engelleyici Olduğu

Son birkaç yılda netleşen şey, tüm faydalarına rağmen genel bulutun ölçekte maliyet tasarrufu sağlamadığıdır. Bir noktaya kadar üretkenlik kazanımları sağlar, ancak maliyetlerinizi düşürmez. Genel bulutta, inanılmaz derecede güçlü bir değer teklifi sunduğu için iyilik vardır; işletmenin ihtiyaç duyduğu ölçekte, hemen kullanılabilir altyapı; hem operasyonlarda hem de ekonomide verimliliği artırır. Bulut ayrıca, şirket kaynaklarının yeni ürünlere ve büyümeye odaklanması için serbest bırakılmasıyla inovasyonun geliştirilmesine yardımcı olur. Ancak, verilerinizle etkileşim kurma eylemi bile, aşırı derecede yırtıcı olduğu gösterilen çıkış maliyetleri üretir. Bu, özellikle uygulamalar ve iş yükleri kalıcı, tutarlı ve veri yoğun olduğunda (yüksek hacim/hız/çeşitli okuma ve yazma çağrıları) veya yüksek performanslı analizler içerdiğinde geçerlidir; bunlar, genel bulutta büyüdükçe sürdürülebilir değildir.

"...sektörün bulutla ilgili deneyimi olgunlaştıkça ve bir şirketin ekonomisinde bulut yaşam döngüsünün daha eksiksiz bir resmini gördükçe, bulutun bir şirketin yolculuğunun başlarında açıkça vaadini yerine getirdiği, ancak şirket büyüdükçe ve büyüme yavaşladıkça marjlara uyguladığı baskının faydalarından daha ağır basmaya başladığı ortaya çıkıyor." - Sara Wang ve Martin Casado, Andreessen-Horowitz, 2021

Bu yaklaşım, inanılmaz derecede öngörülü olsa da, 2021'dendi. 2024'te veriler büyüdü (bir araştırmaya göre yılda ortalama %20) IDC'nin 2022 tarihli çalışması ), iş yükleri büyüdü ve ölçek sorun haline geldi. Ölçekleme teknolojisi değil, özellikle genel bulutta ölçeklemenin maliyeti. David Linthicum'a göre, genel bulutun "Kaldırıma Tekmelendi" :

Maliyet - belirli iş yükleri için, bunları bulutta çalıştırmak çok pahalı. Son birkaç yılda emtia donanım fiyatları o kadar düştü ki, donanım eskiden olduğu kadar büyük bir sermaye harcaması değil.

Başarısız Göçler - en iyi şekilde yeniden düzenlenmemiş veya bulut yerel olacak şekilde ayarlanmamış iş yükleri, başlangıçta tahmin edilenin yaklaşık 2,5 katı maliyete sahip oldu. Şirket içi verimsiz uygulamaların bulutta verimsiz olduğu ortaya çıktı. Bunları daha verimli hale getirmek çok pahalıya mal oluyor ve sonunda buna değmez hale geliyor.

Azalan İhtiyaç - Başlangıçta hızlı ve verimli bir şekilde başlatılması ve ölçeklenebilmesi gereken uygulamalar bulutta ölçeklendi ancak artık sadece tekrarlayan görevler ve veri depolama makineleri haline geldi. Bu uygulamalar artık bulutun sağlayabileceği hızlı ölçeklenebilirlikten yararlanmıyor ve artık sadece çok sayıda pahalı depolama alanı kullanıyor. Artık esnek, hızlı ölçeklenebilir bir modele ihtiyaç yok. Donanımın meta haline gelmesi, bu iş yüklerini çalıştırmanın yeni ve maliyet açısından verimli bir yolunu sundu. Yakın tarihli bir Barclay's raporuna göre CIO anketi , birçok CIO da aynı fikirde.

O noktadan itibaren aynı a16z makalesi -

“2017 yılında Dropbox, S-1 "Halka arzdan önceki iki yılda altyapı optimizasyonu yenilemeleri sayesinde toplamda 75 milyon dolarlık tasarruf sağlandı; bu tasarrufun büyük kısmı iş yüklerinin genel buluttan geri getirilmesiyle gerçekleşti."

Bulut maliyetleriniz gelir maliyetinizin %50'si veya daha fazlası civarında seyretmeye başladığında (örneğin Asana , Veri köpeği, Ön işleme.io , ve diğerleri), iş yüklerinizin genel bulutta ne yaptığını incelemeye başlamanın zamanı geldi. Kurumsal ve iş liderlerinin bunun farkında olması gerekir, böylece eksen değiştirebilirler. Veri analitiği küpü, bellek içi veritabanı veya veri analitiği kümesi çalıştırmak gibi belirli iş yükleri şirket içi altyapı için daha uygundur. Ancak bunlar sadece birkaç örnektir.

Bu ölçek sorunundan etkilenecek belirli bir eğilime odaklanmak için AI/ML'ye ve özellikle LLM'lere (Büyük Dil Modelleri) bakalım. Mevcut AI girişiminiz kendi LLM'nizi veya temel modelinizi oluşturmanızı gerektiriyorsa, bunu genel bulutta yapmanın dezavantajlarını düşünün:

1. Yüksek Ölçek Maliyetleri - Ölçekte LLM'leri eğitmek ve çalıştırmak pahalıdır ve LLM büyüdükçe, genel bulutun maliyetleri de artar

   
   

2. Kontrol Kaybı - Uygulama, altyapı ve performans üzerinde daha az kontrol ve görünürlüğe sahipsiniz

   
   

3. Satıcı Kilitlenmesi - Bir bulut platformunda eğitimli LLM'leriniz varsa, farklı bir platforma geçmeniz zor olacaktır. Ayrıca, yalnızca tek bir bulut sağlayıcısına bağlı kalmak, özellikle politika ve fiyat dalgalanmaları ile ilgili olarak içsel riskler içerir.

   
   

4. Veri Gizliliği ve Güvenliği - Burada veri egemenliğinden de bahsederdim. Sonuç olarak verilerinizi dünya çapında bölgelere yayılmış sunucuları olan bir sağlayıcıya emanet ediyorsunuz.

   
   

İşletmeniz petabaytlarla uğraşıyorsa veya bu tür bir ölçeğe doğru gidiyorsa, ekonomi özel bulutu destekler. Evet, bu altyapıyı kurmak (veya Equinix gibi birinden kiralamak) anlamına gelir, gayrimenkul, donanım, güç/soğutma dahil, ancak ekonomi hala oldukça elverişlidir. Genel bulut, bulut yerel yolunu öğrenmek ve bulut yerel uygulama portföyüne erişmek için harika bir yerdir, ancak ölçeklendirmek için harika bir yer değildir.

Ekonominin Bir Örneği

Peki, ekonomi nedir? Örnek olarak, kalıcı ve tutarlı analitik iş yükleri için Apache Spark ve Dremio'yu yönetmek üzere Kubernetes kullanan 10PB'lik modern bir veri gölünü ele alalım. Bu tür iş yükleri, analiz, güncelleme ve yenileme ve sunum için nesne depolamasından sık veri okuma ve yazmaları gerektirir. Bir maliyet yapısı perspektifinden, ana maliyet sürücüleri için bazı varsayımlar kullanacağız:

• Bu veri gölleri ve iş yükleri, verileri kullanamazsak sınırlı bir faydaya sahiptir. Veriler içgörüler sağlar, diğer uygulamalara hizmet eder ve depolama ortamının dışında işlenmesi gerekebilir. Bu, verilerin depolamadan dışarı aktarılmasını gerektirir. Ayda 500 TB'a erişildiğini varsayarsak, bu ayda erişilen verilerin yalnızca %5'ini temsil eder.

  
  

• Veri/Nesne İstekleri (PUT'lar, GET'ler, HEAD'ler, vb.) için, ayda 10 milyardan fazla nesne isteği gören benzer tutarlı ve kalıcı iş yüklerine sahip müşterilerle çalıştık. Bu nedenle, bu tür iş yükleri için muhafazakar bir varsayım olarak 10 milyar kullanabiliriz.

  
  

• Benzer şekilde, aynı müşteriler bu nesneler için yaklaşık aynı sayıda şifreleme isteği görüyor, dolayısıyla örneğimiz için muhafazakar bir varsayım olarak yine 10b'yi kullanıyoruz.

  
  

Bu varsayımlarla, genel bulutun maliyeti aşağıdaki gibi görünebilir:

10PB için Yıllık Genel Bulut Maliyetleri = 7,3 milyon ABD Doları veya GB/ay başına 0,061 ABD Doları

Yukarıdaki varsayımlar sadece bunlardır ve çok sayıda olması, maliyetlerin belirli kullanım ve iş yükü faktörlerine bağlı olarak ne kadar değişken olabileceğini gösterir. Bu, bütçeleme yaparken önemli zorluklar yaratır. Ayrıca, hiçbir katmanlama veya herhangi bir Veri Yaşam Döngüsü etkinliğinin olmaması da oldukça nadirdir, çünkü kuruluşlar genellikle veriler daha az "aktif" hale geldiğinde verileri daha soğuk katmanlara taşırlar. Ancak tüm bunlar yalnızca maliyete eklenir, çünkü farklı katmanların GB/ay başına farklı fiyatları vardır ve nesneleri otomatik olarak bu katmanlara taşımanın bir maliyeti vardır.

MinIO, genel bulutta kullanılan aynı teknolojileri kullanarak özel bulutta (colo veya veri merkezi) ölçeklendirmenize olanak tanır: S3 API uyumlu nesne depolama, yoğun hesaplama, yüksek hızlı ağ, Kubernetes, kapsayıcılar ve mikro hizmetler. En büyük farklardan biri, altyapı desteklediği sürece nesne istekleri (GET'ler, PUT'lar, vb.) için herhangi bir maliyet olmaması ve istek sayısında herhangi bir sınır olmamasıdır. Ayrıca, MinIO Enterprise ve Community sürümlerine şifreleme dahildir ve istenen şifrelenmiş nesne sayısında herhangi bir sınır yoktur.

Bu opsiyonellik, operasyonel maliyetler, esneklik ve kontrolün ideal karışımını sunar. Donanım için CAPEX'i üstleneceğiniz doğrudur, ancak küçükten başlayarak ve temel bulut derslerinden (esneklik, bileşene göre ölçekleme, depolamadan bilgi işlemi ayırma) yararlanarak, işletmeler ilk harcamayı en aza indirebilir ve operasyonel tasarrufları en üst düzeye çıkarabilir.

MinIO, standart donanımlarla eşleştirildiğinde ve bir kolo veya tescilli veri merkezinde çalıştırıldığında, genel bulut maliyetlerini (ve bu bulut maliyetlerini yönetmekle ilişkili maliyetleri) %50 - %70 arasında, hatta bazı durumlarda daha da yüksek oranlarda azaltabilir.

10PB için Yıllık Colo/MinIO Maliyetleri = yılda 1,7 milyon ABD doları veya GB/ay başına 0,014 ABD doları

Bu, genel buluta kıyasla 10PB depolama için depolama maliyetlerinde yaklaşık %77'lik bir azalmaya denk gelir. Daha küçük depolama kapasitesi ihtiyaçları (200TB - 2PB) için bile tasarruflar keşfedilmeye değerdir. Sektörün en iyi depolama performansını, kova düzeyinde güvenlik için yerleşik bir güvenlik duvarını, nesne depolaması için özel olarak tasarlanmış gözlemlenebilirliği ve birçok diğer katma değerli özellik bu, genel bulutta size ekstra maliyet çıkaracaktır.

Kaynak Faktörü

Hızlı bir analize değer bir diğer ek unsur ise kaynaklardır (insan türü). Müşterilerimizden, genel bulut altyapılarını yönetmek için gereken kaynak sayısının bulut altyapısının boyutuna bağlı olarak 5-10 FTE arasında değişebileceğini duyduk. Buna Bulut Mühendisleri, Bulut Ekip Liderleri, DevOps Mühendisleri ve Bulut PM'leri dahildir. Maaş aralıkları ve medyanları kullanarak Cam kapı Bu tam zamanlı eşdeğer maliyetlerin yıllık 700 bin ila 1,5 milyon dolar arasında değişebildiği belirtiliyor.

Müşterilerimizden (yakın zamanda yapılan bir ankete göre %76'sı) MinIO'nun temel değer sürücülerinden birinin kullanım kolaylığı ve yönetilebilirliği olduğunu duyuyoruz. Aynı anket, %60'ının MinIO'nun Gelişmiş Operasyonel Verimlilik sunma becerisine atıfta bulunduğunu buldu.

"MinIO… bizim için destek ve bakım maliyetini azalttı."

• Profesyonel Hizmetler Şirketi

"MinIO bir ürün olarak çok iyi bir depolama çözümüdür, kaynak maliyetini %50'den fazla azaltmıştır."

• Uçtan uca DevOps tekliflerinde uzmanlaşmış önde gelen bir teknoloji çözümü sağlayıcısı

Dahili olarak, MinIO'yu birçok farklı iş yükü, depolama ihtiyacı, test vb. için kullanıyoruz ve tahminlerimize göre MinIO, PB+ altyapıları için 1 FTE - 3 FTE tarafından yönetilebilir. Bu, minimum kaynaklarla büyük ölçekte büyük altyapıya olanak tanır.

Başlarken

Artık ekonominin özel bulut için nasıl ve neden çalıştığını gördüğünüze göre, bu yola girmek için hangi adımların atılması gerektiğini merak ettiğinizden eminim. Meslektaşlarım bu konuda yazdı Burada Ve Burada ve Bulut ekiplerinizin ve DevOps ekiplerinizin genel buluttan geçişle ilgili ayrıntılar için bu bloglara bakmalarını öneririm.

Müşterilerimizin düzinelercesinin verilerini, ticari donanımlar ve kendi veri merkezlerini veya bir barındırma hizmetini kullanarak geri getirdiğini ve MinIO'nun yüksek performanslı, basit nesne depolama çözümünden gerçek tasarruflar ve avantajlar elde ettiğini gördük.

Yukarıdaki analizin gösterdiği gibi, işletmeler verileri bir veri merkezindeki veya bir yerleşim hizmetindeki kendi donanımlarına geri göndererek mevcut örtülü yıllık genel bulut S3 faturalarının %50'sinden fazla önemli maliyet tasarrufları elde edebilirler. Yukarıdaki senaryoda, yalnızca 10PB ile işletmeniz önümüzdeki beş yıl içinde yaklaşık 6,5 milyon dolar tasarruf edebilir.

Gerçek şu ki, genel bulut ölçeklenebilirlik açısından maliyet açısından engelleyicidir. Genel bulutun doğası gereği elastik olması, orada ölçeklemeyi cazip kılsa da ekonomik açıdan neredeyse her zaman yanlış bir seçimdir. Bu, özellikle AI/ML gibi veri yoğun görevler için geçerlidir; genel bulutta maliyetler ve kontrol kaybı önemli olabilir. Veri ölçeklendikçe, MinIO'lu özel bulut çözümleri ekonomik olarak üstün hale gelir ve daha düşük maliyetlerle eşdeğer (tartışmalı olarak daha iyi) teknolojiler sunar. Şirketler, emtia donanımlarından ve özel bulut altyapısından yararlanarak genel buluta kıyasla önemli maliyet tasarrufları ve performans avantajları elde edebilir; bazen %70'e kadar. İş yükleriniz için genel buluttan uzaklaşmayı araştırmanızı ve kritik iş uygulamalarınızı modernize etmek ve ölçeklendirmek için MinIO'yu kullanmanızı öneririz.

Daha fazla bilgi edinmek ve kendi modellerinizi çalıştırmak için değer mühendisliği işlevimizden yararlanmak istiyorsanız lütfen bizimle iletişime geçin: [email protected] ve konuşmaya başlayabiliriz.