Nola irabazi milioi dolar 1 urte batean AWSrekin

Orrialde honekin topo egin bazenuen, aberastu azkar eskema batekin aberastuko zarela pentsatuz, barkatu huts egitea. Artikulu honek zure hodeiko kostuen fakturak milioi dolar batean nola murrizteari buruz hitz egingo du. Hori eginez gero, funtsean, milioi dolar gehigarri bat sortuko duzu diru-sarrerak - AWS-rekin aberasteko moduari buruzko nire lineako ikastaroa erosten gastatu dezakezu ( ikastarorako esteka hemen ).

Hodeiaren kostua sarritan ez da kontuan hartu eta kontutan hartu gabe Enpresen proiektuen hasieran. 2021eko HashiCorp inkestak aurkitu zuen enpresen ia % 40k hodeiko kostuetan gehiegi gastatu zuela 2021ean [ 1 ]. 2023an, ia enpresa guztiek (% 94) onartu zuten hodeian dirua xahutzen ari zirela [ 1 ] eta hodeiaren kostuaren %30 gutxienez alferrik galdu zela [ 2 ]. Hodeiaren gastua ia 500.000 milioi dolar izan zen 2022an; beraz, urtean 150.000 milioi dolar alferrik galtzen ari gara!!

Hau ez da galdutako diru-sarreren kezka, baizik eta iraunkortasun-praktika eskasak ere. 150.000 milioi dolar alferrik galdutako energia!

Aurkikuntza hauek enpresa handiek eta txikiagoek hartzen dute parte, hodei handiko heldutasunetik hodei baxuko heldutasunera. AWS-ri egiten dio erreferentzia, baina printzipio berak aplika daitezke beste edozein hodeiko hornitzaileri. Beraz, zure lanaren zatiren bat hodeian badago, artikulu hau zuretzat da.

Datuen ingeniariaren ikuspegitik ari naiz, baina ikaskuntza berdinak software ingeniaritzako beste praktika batzuetara aplika daitezke.

Murgil gaitezen.

Zer behar da milioi dolar gastatzeko hodeiko kostuetan urtebetean?

Hodeiko faktura mota hau milioika bezerorekin mundu mailan jarduten duten enpresa oso handietara mugatzen da normalean.

Ideia bat emateko, milioi dolar hodeiko faktura bat sor daiteke Spark ETL lan baten prozesamendutik ~1,5 Tb orduko 24x7 urteko 365 egunetan. Beste adibide bat izan daiteke egunean milaka milioi eskaera jasotzen dituen aplikazio bat munduko hainbat kokapenetatik.

Enpresa handi batean, ehunka aplikazio daude tamaina horretakoak, hodeiko hornitzaileekin milaka milioi dolarreko kontratuak sortuz. Esaterako, Airbnb-ek 1.200 milioi dolar gastatzeko konpromisoa hartu zuen hodeiko baliabideetan bost urtean 2019 amaieran [3 ].

Expedia-n urtean 1,1 milioi dolarreko kostua duen datu-prozesatzeko ETL baten kostuak murriztu ditugu urtean 100.000 dolar soiletara optimizazio praktikak ezarriz. Hori %91ko kostua murriztea da!!

Enpresa guztiek ez dituzte hain tamaina handiko aplikazioak, baina imajina ezazu zure hodeiaren kostua % 90 murriztea aplikazio bakar baterako edo zure enpresa osorako.

Nola hasiko gara aurrezten?

1. URRATSA: erronka zure diseinu-suposizioak

Joan eta lortu zure aplikazio garestienen zerrenda eta zalantzan jarri zure diseinu-suposizioak .

• %99,999ko erabilgarritasuna eta milisegundo azpiko latentzia dituen aplikazio bat eraikitzen ari al zara, baina errealistan erabiltzaileak nahikoa izango lirateke %99ko erabilgarritasunarekin eta ehunka milisegundoko latentziarekin?
• Milaka milioi errenkada dituzten datu multzoak sortzen ari al zara, baina erabiltzaileek neurri batzuen agregazioak soilik erabiliko dituzte?
• Datuak denbora errealean lortzen al dituzu baina datuak egunean behin bakarrik aztertzen dira?
• Cachea 10 segundoro freskatzen ari al zara, baina egunetan zehar bakarrik aldatzen ari da?

Galdera hauek guztiak galdera garrantzitsuenera itzultzen dira: nola erabiliko da aplikazioa? Zein da negozioaren balioa existitzeko? Nola laguntzen digu aplikazioak helburu jakin bat lortzen?

Jakina, erantzun horiek guztiak sarritan argi ez daude proiektu baten hasieran; baina horregatik diseinuak prozesu errepikakorra izan behar du beti, aldaketak ahalik eta ondoen gerta daitezen. Ingeniariek eboluzioa eta aldaketa bereganatu beharko lituzkete, aplikazioen garapena eraginarekin lerrokatuz.

2. URRATSA: Egokitu zure azpiegitura-baliabideak zure beharretara

Bigarren urratsa aplikazioari baliabide egokiak ematean eta azpiegitura egokian sintonizatzean datza.

Ingeniari gisa, jakin hodeiko kostuak nola kalkulatzen diren. Esate baterako, AWS-k instantzia puntualak eskaintzen ditu, non klusterraren prezioa eska dezakezun - hau bereziki erabilgarria da akatsak toleranteak eta aplikazio malguak badituzu. Erabili itzazu ahal baduzu - AWS-k kostuen % 90era arte murriztea eskatzen du [ 4 ].

Hauek dira zuzendu nahi dituzun beste gogoeta batzuk:

• Bezeroei zerbitzatzen al diezu mundu osoan edo eremu geografiko batean bakarrik? Benetan behar al duzu zure azpiegitura mundu osoan bizitzeko edo zure bezero-basetik gertuago ezar dezakezu?
• Zure kluster-instantziak gehiegi hornitzen ari al zara? Saiatu alferrikako kosturik gabe gailurrak kudeatzeko gaitasun nahikoa dagoela ziurtatzen. Erabili eskalatze automatikoa baliabideak dinamikoki doitzeko benetako eskariaren arabera, baliabide inaktiboengatik gehiegizko ordainketa saihestuz.
• Datuekin eta Sparkekin lan egiten ari bazara, ziurtatu Spark kontzeptuak eta sintonizazioa ulertzen dituzula! Ez baduzu, begiratu honako baliabide hauei [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

3. URRATSA: Erabili AWS Graviton instantziak

AWS Graviton instantziak erabiltzean eragozpen gutxi daude. AWS-k asko inbertitu ditu prozesadore errentagarrienak sortzeko. Hodeiko gastuaren % 40 murriztea lortu dezakezu Intel-en oinarritutako prozesadoretik ARM-eko prozesadore batera aldatuz [ 10 ].

Honen ohar bakarra zure aplikazioak Gravitonek exekutatzen dituen ARM-en oinarritutako prozesadoreekin bateragarria izan behar duela da. RDS edo OpenSearch bezalako zerbitzu kudeatu batekin ari bazara, ez dago inolako konplikaziorik aldatzean: AWS-k azpiko OS eta aplikazioen bateragarritasunaz arduratzen da. Zure aplikazioa eraikitzen ari bazara, baliteke paketea birkonpilatu behar izatea erabiltzen ari zaren hizkuntzaren arabera — Java eta beste hizkuntza batzuek ez dute aldaketarik behar Python-ek arreta pixka bat behar duen bitartean.

4. URRATSA: Kontrolatu zure kostuen gastua eta hezi kostuen kontzientzian

Azkenik, ez ahaztu zure kostuak kontrolatzen jarraitzea ustekabeko gailur eta ezustekoen aurrean. Zure aplikazioaren 0 eguneko kostua 170. eguneko kostuaren desberdina izango da. Ziurtatu aldaketen jarraipena egiten duzula eta ulertzen duzula aldaketa zergatik gertatzen den: s3 biltegiratze-kostuak pilatzen ari al dira edo behin-behineko bat besterik ez da. punta?

Konfiguratu beharrezko alertak eta gidaliburu operatiboak !

Garrantzitsua da kostuak esleitzeko etiketak ezartzea sailaren, proiektuaren edo ingurunearen araberako gastuaren jarraipena egiteko. Saihestu datuen zingira bat sortzeko arriskua, non kostua atzeman ezin den edo erregistro-sistema desberdinetan bidaia luzea behar duen. Azkar eta erraza izan behar da edozein aplikazioren kostura itzultzea.

Azken gogoetak

Lan egiten ari zaren tokian, zaila da funtzio berrien entrega eta egungoen optimizazioa orekatzea. Nori ez zaio presio egin ezaugarri bitxi berriak argiaren abiaduran eskaintzeko.

Hala ere, ezinbestekoa da bai ingeniariek bai zuzendariek beren egungo proiektuei buruzko erabaki nahita eta proaktiboak hartzea, arriskuak eta aukerak modu eraginkorrean kudeatuz.