Ekonomija repatrijacije javnog oblaka i zašto je skupo na nivou

Ono što je postalo jasno u posljednjih nekoliko godina je da javni oblak, uz sve svoje prednosti, ne donosi uštede troškova u velikom obimu. Do određene točke donosi povećanje produktivnosti, ali neće smanjiti vaše troškove. Postoji dobrota u javnom oblaku jer nudi nevjerovatno moćnu ponudu vrijednosti – infrastrukturu koja je dostupna odmah, u upravo onom obimu koji je potreban za poslovanje – čime se povećava efikasnost i u operacijama i u ekonomiji. Oblak također pomaže u kultiviranju inovacija jer se resursi kompanije oslobađaju kako bi se fokusirali na nove proizvode i rast. Međutim, sam čin interakcije s vašim podacima stvara izlazne troškove, za koje se pokazalo da su izrazito grabežljivi. Ovo je posebno istinito kada su aplikacije i radna opterećenja uporni, konzistentni i intenzivni u podacima (veliki volumen/brzina/raznovrsnost poziva za čitanje i pisanje) ili uključuju analitiku visokih performansi – jednostavno nisu održivi u javnom oblaku kako rastu.

“...kako iskustvo industrije sa oblakom sazrijeva – i vidimo potpuniju sliku životnog ciklusa oblaka na ekonomiju kompanije – postaje evidentno da, iako oblak jasno ispunjava svoje obećanje na početku putovanja kompanije, pritisak koji vrši na margine može početi da nadmašuje koristi, kako se kompanija povećava, a rast usporava.” - Sara Wang i Martin Casado, Andreessen-Horowitz, 2021

Taj izvod, iako je bio nevjerovatno pronicljiv, bio je iz 2021. U 2024. podaci su porasli (prosječno oko 20% godišnje prema IDC studija iz 2022 ), opterećenja su postala veća i obim je postao problem. Ne tehnologija skaliranja, već cijena, konkretno, skaliranja u javnom oblaku. Prema Davidu Linthicumu, postoje 3 glavna razloga zašto postoji javni oblak “Izbačen na ivičnjak” :

Trošak – za određena radna opterećenja, jednostavno je preskupo pokretati ih u oblaku. Cijene robnog hardvera su toliko pale u posljednjih nekoliko godina, taj hardver nije veliki kapital kao što je bio.

Neuspješne migracije - radna opterećenja koja nisu optimalno refaktorirana ili prilagođena da budu izvorna u oblaku na kraju koštaju ~2,5 puta više od one koju su prvobitno predviđali. Pokazalo se da su neefikasne aplikacije na licu mjesta neefikasne u oblaku. Učiniti ih efikasnijim košta previše i na kraju se ne isplati.

Smanjenje potreba – Aplikacije koje je prvobitno trebalo brzo i efikasno da se razvijaju, kao i da se mogu skalirati, povećale su se u oblaku, ali sada su samo mašina za zadatke koji se ponavljaju i skladištenje podataka. Ove aplikacije više nemaju koristi od brze skalabilnosti koju oblak može pružiti, a sada samo koriste puno skupe pohrane. Više ne postoji potreba za fleksibilnim, brzo skalabilnim modelom. Komodizacija hardvera je predstavila nov, isplativ način za obavljanje ovih radnih opterećenja. Prema nedavnom Barclay's CIO anketa , mnogi CIO se slažu.

Od toga isti a16z članak -

“U 2017. Dropbox je detaljno opisao u svom S-1 nevjerovatnih 75 miliona dolara kumulativne uštede tijekom dvije godine prije IPO-a zbog njihove optimizacije infrastrukture, od kojih je većina podrazumijevala vraćanje posla iz javnog oblaka.”

Kada vaši troškovi u oblaku počnu da se kreću oko 50% ili više vaših troškova prihoda (npr Asana , Datadog, Prerender.io , i drugi), vrijeme je da počnete gledati šta vaša radna opterećenja rade u javnom oblaku. Organizaciono i poslovno rukovodstvo treba da bude svjesno toga kako bi se moglo okretati. Određena radna opterećenja, kao što je pokretanje kocke za analizu podataka, baze podataka u memoriji ili klastera za analizu podataka, bolje se uklapaju za on-prem infrastrukturu. Ali ovo je samo nekoliko primjera.

Da bismo se fokusirali na određeni trend na koji će uticati ovaj problem skale, pogledajmo AI/ML, a posebno LLM (velike jezičke modele). Ako vas vaša trenutna AI inicijativa navodi da izgradite vlastiti LLM ili temeljni model, razmislite o nedostacima kada to radite u javnom oblaku:

1. Visoki troškovi obima - Obuka i vođenje LLM-a u velikom obimu je skupo, a kako LLM postaje sve veći, rastu i troškovi javnog oblaka

   
   

2. Gubitak kontrole - Imate manje kontrole i vidljivosti nad implementacijom, infrastrukturom i performansama

   
   

3. Zaključavanje dobavljača – Ako ste obučavali LLM na jednoj platformi u oblaku, biće teško prenijeti na drugu platformu. Nadalje, ovisnost isključivo o jednom provajderu u oblaku povlači inherentne rizike, posebno u pogledu politike i fluktuacija cijena.

   
   

4. Privatnost i sigurnost podataka - ovdje bih pomenuo i suverenitet podataka. Suština je da svoje podatke povjeravate provajderu sa serverima koji su rasprostranjeni u regijama širom svijeta.

   
   

Ako vaše preduzeće radi sa petabajtima ili ima tendenciju do te vrste, ekonomija favorizuje privatni oblak. Da, to znači izgraditi infrastrukturu (ili je iznajmiti od nekoga kao što je Equinix), uključujući nekretnine, HW, struju/hlađenje, ali ekonomija je još uvijek vrlo povoljna. Javni oblak je nevjerovatno mjesto za učenje Cloud izvornog načina i za pristup portfelju aplikacija koje su izvorne u oblaku, ali nije nevjerovatno mjesto za skaliranje.

Primjer ekonomije

Dakle, šta je to ekonomija? Za ilustraciju, uzmimo moderno jezero podataka od 10 PB koje koristi Kubernetes za upravljanje Apache Spark i Dremio za uporna i konzistentna analitička radna opterećenja. Ove vrste opterećenja zahtijevaju često čitanje i pisanje podataka iz skladišta objekata radi analize, ažuriranja i osvježavanja te prezentacije. Iz perspektive strukture troškova, koristićemo neke pretpostavke za glavne pokretače troškova:

• Ova jezera podataka i radna opterećenja imaju ograničenu korisnost ako ne možemo koristiti podatke. Podaci pružaju uvid, služe drugim aplikacijama i možda će biti potrebno da se obrađuju izvan okruženja za skladištenje. Ovo zahtijeva da se podaci prenesu iz skladišta. Ako pretpostavimo da se pristupa 500TB mjesečno, to predstavlja samo 5% podataka kojima se pristupa mjesečno.

  
  

• Za zahtjeve podataka/objekata (PUT-ovi, GET-ovi, HEAD-ovi, itd.), radili smo sa klijentima sličnih dosljednih i upornih radnih opterećenja koji vide preko 10b zahtjeva za objektima mjesečno. Dakle, možemo koristiti 10b kao konzervativnu pretpostavku za ovu vrstu opterećenja.

  
  

• Slično, ti isti korisnici vide približno isti broj zahtjeva za šifriranjem za te objekte, pa opet koristimo 10b kao konzervativnu pretpostavku za naš primjer.

  
  

Uz te pretpostavke, cijena javnog oblaka mogla bi izgledati otprilike ovako:

Godišnji troškovi javnog oblaka za 10PB = 7,3 miliona USD ili 0,061 USD po GB/mjesečno

Pretpostavke iznad su upravo to, a činjenica da ih ima toliko govori vam koliko troškovi mogu biti varijabilni u zavisnosti od određene upotrebe i faktora opterećenja. Ovo stvara značajne izazove u pokušaju budžetiranja. Osim toga, nema više nivoa ili bilo kakve aktivnosti životnog ciklusa podataka je također pomalo rijetko, jer organizacije obično premještaju podatke na hladnije slojeve ako podaci postanu manje „aktivni“. Ali sve to samo povećava troškove, jer različiti nivoi imaju različite cijene po GB/mjesečno, kao i trošak za automatsko premještanje objekata u te slojeve.

MinIO vam omogućava skaliranje u privatnom oblaku (colo ili datacenter), koristeći iste tehnologije koje se koriste u javnom oblaku: S3 API kompatibilna pohrana objekata, gusto računanje, brzo umrežavanje, Kubernetes, kontejneri i mikroservis. Jedna velika razlika je da nema troškova za zahtjeve za objekte (GET, PUT, itd.), niti postoje ograničenja u broju zahtjeva, sve dok to infrastruktura podržava. Osim toga, enkripcija je uključena u verzije MinIO Enterprise i Community i nema ograničenja u broju traženih šifriranih objekata.

Ova opcija nudi idealnu kombinaciju operativnih troškova, fleksibilnosti i kontrole. Istina je da ćete preuzeti CAPEX za hardver, ali tako što ćete početi s malim i iskoristiti ključne lekcije u oblaku (elastičnost, skaliranje po komponentama, razdvajanje računanja od skladišta), preduzeća mogu minimizirati početni izdatak i maksimizirati operativne uštede.

Kada je uparen sa robnim hardverom i radi u colo, ili vlasničkom centru podataka, MinIO može smanjiti te troškove javnog oblaka (kao i troškove povezane s upravljanjem tim troškovima oblaka) za bilo gdje između 50% - 70%, au nekim slučajevima i više.

Godišnji Colo/MiniIO troškovi za 10PB = 1,7 miliona USD godišnje, ili 0,014 USD po GB/mjesečno

To odgovara ~ 77% smanjenja troškova skladištenja za 10 PB skladišta u poređenju sa javnim oblakom. Čak i za potrebe manjeg skladišnog kapaciteta (200TB - 2PB), uštede su vrijedne istraživanja. Da ne spominjemo da dobijate najbolje performanse skladištenja u industriji, ugrađeni zaštitni zid za sigurnost na nivou bucketa, vidljivost koja je posebno dizajnirana za skladištenje objekata i mnoge druge karakteristike s dodanom vrijednošću to bi vas dodatno koštalo u javnom oblaku.

Faktor resursa

Dodatni element koji je vrijedan brze analize su resursi (ljudska vrsta). Od naših klijenata smo čuli da se broj resursa potrebnih za upravljanje infrastrukturama javnog oblaka može kretati od 5-10 FTE-ova u zavisnosti od veličine oblak infrastrukture. To uključuje Cloud inženjere, Cloud timove, DevOps inženjere i Cloud PM-ove. Korištenje raspona plata i medijana od Glassdoor , ti troškovi FTE-a mogu se kretati od 700.000 dolara do 1.5 miliona dolara godišnje, potpuno popunjeni.

Takođe smo čuli od naših kupaca (76% njih, u nedavnoj anketi) da je jedan od ključnih pokretača vrijednosti MinIO-a njegova jednostavnost korištenja i upravljivost. Isto istraživanje je pokazalo da je 60% njih navelo sposobnost MinIO-a da pruži poboljšanu operativnu efikasnost.

"MinIO... je smanjio troškove podrške i održavanja za nas."

• Kompanija za profesionalne usluge

"MinIO kao proizvod je veoma dobro rešenje za skladištenje, [je]...smanjio je troškove resursa [za] više od 50%."

• Vodeći provajder tehnoloških rješenja specijaliziran za end to end DevOps ponude

Interno koristimo MinIO za mnogo različitih radnih opterećenja, potrebe za skladištenjem, testiranje itd., a naše procjene su da se MinIO može upravljati pomoću 1 FTE - 3 FTE za PB+ infrastrukture. To omogućava ogromnu infrastrukturu u razmjeru s minimalnim resursima.

Getting Started

Sada kada ste vidjeli kako i zašto ekonomija funkcionira za privatni oblak, siguran sam da se pitate koji su koraci za početak ovog puta. Moje kolege su pisale o tome ovdje i ovdje , i predlažem da vaši Cloud timovi i DevOps timovi pogledaju ove blogove za detalje o prelasku iz javnog oblaka.

Vidjeli smo kako desetine naših kupaca vraćaju svoje podatke u domovinu koristeći robusni hardver i vlastite podatkovne centre ili colo, i ostvaruju neke stvarne uštede i koristi od MinIO-ovog visokoučinkovitog, jednostavnog rješenja za pohranu objekata.

Kao što gornja analiza pokazuje, preduzeća mogu ostvariti značajne uštede u troškovima, iznad 50% svog postojećeg implicitnog godišnjeg računa za javni oblak S3, repatrijacijom podataka na vlastiti hardver u datacenter ili uslugu kolokacije. U gore navedenom scenariju, sa samo 10PB, vaše poslovanje bi moglo uštedjeti oko 6,5 miliona dolara u narednih pet godina.

Istina je da je javni oblak previsoki u pogledu troškova. Inherentno elastična priroda javnog oblaka čini da skaliranje tamo izgleda privlačno, ali je to gotovo uvijek pogrešan izbor iz ekonomske perspektive. Ovo posebno važi za zadatke koji zahtevaju velike količine podataka kao što je AI/ML, gde troškovi i gubitak kontrole u javnom oblaku mogu biti značajni. Kako se podaci povećavaju, rješenja privatnog oblaka s MinIO postaju ekonomski superiornija, nudeći ekvivalentne (vjerovatno bolje) tehnologije uz smanjene troškove. Koristeći robni hardver i infrastrukturu privatnog oblaka, kompanije mogu postići značajne uštede troškova i bolje performanse u poređenju sa javnim oblakom, ponekad i do 70%. Predlažemo da istražite migraciju dalje od javnog oblaka za svoja radna opterećenja i da koristite MinIO za modernizaciju i skaliranje vaših kritičnih poslovnih aplikacija.

Ako želite saznati više i iskoristiti prednosti naše funkcije inženjeringa vrijednosti za pokretanje vlastitih modela, obratite nam se na [email protected] i možemo započeti razgovor.