Ako zarobiť 1 milión $ s AWS za jeden rok

Ak ste narazili na túto stránku a mysleli ste si, že zbohatnete pomocou nejakého programu rýchleho zbohatnutia, je mi ľúto, že vás sklamem. Tento článok bude skôr hovoriť o tom, ako znížiť náklady na cloud o 1 milión dolárov. Týmto spôsobom v podstate vygenerujete extra milión dolárov v príjmoch – ktoré môžete minúť zakúpením môjho online kurzu o tom, ako zbohatnúť s AWS ( odkaz na kurz tu ).

Náklady na cloud sú na začiatku projektov spoločností často prehliadané a nezohľadňované. Prieskum HashiCorp z roku 2021 zistil, že takmer 40 % spoločností v roku 2021 prehnalo náklady na cloud [ 1 ]. V roku 2023 takmer všetky spoločnosti (94 %) priznali, že plytvali peniazmi na cloud [ 1 ] a minimálne 30 % nákladov na cloud bolo premrhaných [ 2 ]. Výdavky na cloud boli v roku 2022 takmer 500 miliárd dolárov – preto hovoríme o 150 miliardách premrhaných dolárov ročne!

Nejde len o obavy z nevyužitých príjmov, ale aj z nedostatočných postupov udržateľnosti. 150 miliárd dolárov zbytočnej energie!

Tieto zistenia zahŕňajú veľké podniky, ako aj menšie podniky, od vyspelosti s vysokým cloudom po vyspelosť s nízkym cloudom. Vzťahuje sa na AWS, ale rovnaké princípy možno použiť aj na akéhokoľvek iného poskytovateľa cloudu. Ak je teda niektorá časť vašej práce v cloude, potom je tento článok určený práve vám.

Hovorím z pohľadu dátového inžiniera, ale rovnaké poznatky možno použiť aj na iné postupy softvérového inžinierstva.

Poďme sa ponoriť.

Čo to znamená minúť 1 milión dolárov na náklady na cloud za rok?

Tento druh cloudového účtu je zvyčajne obmedzený na veľmi veľké podniky, ktoré pôsobia globálne s miliónmi zákazníkov.

Aby ste mali predstavu, účet za cloud vo výške 1 milión USD môže byť výsledkom spracovania úlohy Spark ETL ~ 1,5 Tb za hodinu 24x7 počas 365 dní v roku. Ďalším príkladom môže byť aplikácia, ktorá denne prijíma miliardy žiadostí z viacerých miest na svete.

Vo veľkom podniku existujú stovky aplikácií v tejto veľkosti, čo vedie k miliardovým kontraktom s poskytovateľmi cloudu. Napríklad Airbnb sa zaviazalo minúť 1,2 miliardy dolárov na cloudové zdroje počas piatich rokov na konci roka 2019 [3 ].

V Expedia sme implementáciou optimalizačných postupov znížili náklady na ETL na spracovanie údajov, ktoré stoja 1,1 milióna dolárov ročne, na iba 100 000 dolárov ročne. To je 91% zníženie nákladov!!

Nie všetky spoločnosti majú aplikácie takej obrovskej veľkosti, ale predstavte si, že znížite náklady na cloud o 90 % len pre jednu aplikáciu alebo pre celú vašu spoločnosť.

Ako začneme šetriť?

KROK 1: Spomeňte si na svoje predpoklady dizajnu

Choďte a získajte zoznam svojich najdrahších aplikácií a spochybnite svoje predpoklady týkajúce sa dizajnu .

• Vytvárate aplikáciu, ktorá má 99,999 % dostupnosť a submilisekundovú latenciu, ale reálne by používateľom stačila 99 % dostupnosť a stovky milisekúnd latencie?
• Vytvárate množiny údajov s miliardami riadkov, ale používatelia by používali iba agregácie niektorých opatrení?
• Prichádzate údaje v reálnom čase, ale údaje sa analyzujú iba raz denne?
• Obnovujete vyrovnávaciu pamäť každých 10 sekúnd, ale v skutočnosti sa mení iba v priebehu dní?

Všetky tieto otázky sa vracajú k najdôležitejšej otázke: ako sa bude aplikácia používať? Aká je obchodná hodnota jej existencie? Ako nám aplikácia pomáha dosiahnuť daný cieľ?

Samozrejme, všetky tieto odpovede sú na začiatku projektu veľmi často nejasné; ale to je dôvod, prečo by mal byť dizajn vždy iteratívnym procesom, ktorý umožňuje čo najhladšie zmeny. Inžinieri by mali prijať evolúciu a zmeny a zosúladiť vývoj aplikácií s dopadom.

KROK 2: Dolaďte svoje zdroje infraštruktúry podľa svojich potrieb

Druhý krok pozostáva z poskytnutia správnych prostriedkov aplikácii a jej vyladenia na správnu infraštruktúru.

Ako inžinier si uvedomte, ako sa počítajú náklady na cloud. Napríklad AWS poskytuje okamžité inštancie, kde môžete ponúkať cenu klastra – to je obzvlášť užitočné, ak máte flexibilné aplikácie odolné voči chybám. Použite ich, ak môžete — AWS tvrdí až 90 % zníženie nákladov [ 4 ].

Niektoré ďalšie úvahy, ktoré by ste mohli chcieť riešiť, sú:

• Obsluhujete zákazníkov globálne alebo len v jednej geografickej oblasti? Naozaj potrebujete, aby vaša infraštruktúra žila na celom svete, alebo ju môžete nastaviť bližšie k vašej zákazníckej základni?
• Zabezpečujete nadmerne svoje inštancie klastra? Pokúste sa zabezpečiť dostatočnú kapacitu na zvládnutie špičkového zaťaženia bez zbytočných nákladov. Využite automatické škálovanie na dynamickú úpravu zdrojov na základe skutočného dopytu, čím sa zabráni preplatkom za nečinné zdroje.
• Ak pracujete s dátami a Sparkom, uistite sa, že rozumiete konceptom a ladeniu Spark! Ak nie, pozrite si nasledujúce zdroje [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

KROK 3: Použite inštancie AWS Graviton

Využitie inštancií AWS Graviton má malé až žiadne nevýhody. AWS veľa investovala do vytvárania nákladovo najefektívnejších procesorov. Prechodom z procesora Intel na procesor založený na ARM môžete dosiahnuť až 40% zníženie nákladov na cloud [ 10 ].

Jedinou výhradou je, že vaša aplikácia musí byť kompatibilná s procesormi založenými na ARM, na ktorých beží Graviton. Ak máte čo do činenia so spravovanou službou, ako je RDS alebo OpenSearch, potom pri prepínaní nie sú žiadne komplikácie – AWS sa zaoberá základným operačným systémom a kompatibilitou aplikácií. Ak vytvárate vlastnú aplikáciu, možno budete musieť balík prekompilovať v závislosti od toho, ktorý jazyk používate – Java a iné jazyky nevyžadujú žiadnu zmenu, zatiaľ čo Python vyžaduje určitú pozornosť.

KROK 4: Monitorujte svoje náklady a vzdelávajte sa v informovanosti o nákladoch

A nakoniec, nezabudnite neustále sledovať svoje náklady pre neočakávané vrcholy a prekvapenia. Náklady na 0. deň vašej aplikácie sa budú líšiť od nákladov na 170. deň. Uistite sa, že sledujete zmeny a chápete, prečo sa zmena deje: ide o hromadenie nákladov na úložisko S3 alebo ide len o jednorazové hrot?

Pripravte si potrebné upozornenia a prevádzkové príručky !

Dôležité je, že implementujte značky alokácie nákladov na sledovanie výdavkov podľa oddelenia, projektu alebo prostredia. Vyhnite sa riziku vytvorenia dátovej bažiny, kde sú náklady nesledovateľné alebo vyžadujú dlhú cestu cez rôzne protokolové systémy. Malo by byť rýchle a jednoduché vrátiť sa k akejkoľvek danej cene aplikácie.

Záverečné myšlienky

Bez ohľadu na to, kde pracujete, je ťažké nájsť rovnováhu medzi poskytovaním nových funkcií a optimalizáciou tých súčasných. Kto nebol pod tlakom, aby priniesol nové nepredvídateľné funkcie rýchlosťou svetla.

Pre inžinierov aj manažérov je však nevyhnutné, aby robili premyslené a proaktívne rozhodnutia o svojich aktuálnych projektoch a efektívne riadili riziká a príležitosti.