Kaip uždirbti 1 milijoną USD naudojant AWS per vienerius metus

Jei patekote į šį puslapį manydami, kad praturtėsite pagal kokią nors greito praturtėjimo schemą, apgailestauju, kad jus nuvilsiu. Šiame straipsnyje bus kalbama apie tai, kaip sumažinti debesų sąnaudas 1 mln. USD. Tai darydami iš esmės sugeneruosite papildomų milijonų dolerių pajamų, kurias galėsite išleisti pirkdami mano internetinį kursą, kaip praturtėti naudojant AWS ( kurso nuoroda čia ).

Įmonių projektų pradžioje dažnai nepastebima debesų sąnaudų ir į jas neatsižvelgiama. 2021 m. HashiCorp apklausa parodė, kad beveik 40% įmonių 2021 metais per daug išleido debesų išlaidoms [ 1 ]. 2023 metais beveik visos įmonės (94%) pripažino, kad iššvaisto pinigus debesims [ 1 ] ir buvo iššvaistoma mažiausiai 30% debesų sąnaudų [ 2 ]. 2022 m. debesys išleido beveik 500 milijardų dolerių, todėl mes kalbame apie 150 milijardų dolerių per metus!

Tai ne tik dėl prarastų pajamų, bet ir dėl prastos tvarumo praktikos. 150 milijardų dolerių iššvaistytos energijos!

Šios išvados apima dideles ir mažesnes įmones – nuo didelio debesų brandumo iki mažo debesų brandumo. Tai susiję su AWS, tačiau tie patys principai gali būti taikomi bet kuriam kitam debesies paslaugų teikėjui. Taigi, jei kuri nors jūsų darbo dalis yra debesyje, šis straipsnis skirtas jums.

Kalbu iš duomenų inžinieriaus perspektyvos, tačiau tuos pačius mokymus galima pritaikyti ir kitose programinės įrangos inžinerijos praktikose.

Pasinerkime.

Ko reikia norint per metus išleisti 1 milijoną USD debesų išlaidoms?

Tokio tipo debesų sąskaitos paprastai apsiriboja labai didelėmis įmonėmis, veikiančiomis visame pasaulyje ir turinčiose milijonus klientų.

Kad suprastumėte, 1 mln. USD debesies sąskaita gali atsirasti dėl „Spark ETL“ užduočių apdorojimo ~1,5 Tb per valandą 24x7 365 dienas per metus. Kitas pavyzdys gali būti programa, kuri per dieną gauna milijardus užklausų iš kelių pasaulio vietų.

Didelėje įmonėje yra šimtai tokio dydžio programų, todėl su debesijos paslaugų teikėjais sudaromos milijardo dolerių vertės sutartys. Pavyzdžiui, „Airbnb“ įsipareigojo 2019 m. pabaigoje per penkerius metus debesijos ištekliams išleisti 1,2 mlrd. USD [3 ].

„Expedia“ sumažino duomenų apdorojimo ETL, kainuojančio 1,1 mln. USD per metus, išlaidas iki 100 000 USD per metus, įdiegdami optimizavimo praktiką. Tai sumažina išlaidas 91 %!!

Ne visos įmonės turi tokio didžiulio dydžio programas, bet įsivaizduokite, kad debesijos sąnaudos sumažinamos 90 % tik vienai programai arba visai įmonei.

Kaip pradėti taupyti?

1 ŽINGSNIS: iššūkį savo dizaino prielaidoms

Eikite ir gaukite brangiausių programų sąrašą ir iššūkį savo dizaino prielaidoms .

• Ar kuriate programą, kurios pasiekiamumas yra 99,999 %, o delsa yra mažesnė nei milisekundės, tačiau realiai naudotojams užtektų 99 % pasiekiamumo ir šimtų milisekundžių delsos?
• Ar kuriate duomenų rinkinius su milijardais eilučių, bet naudotojai naudotų tik kai kurių priemonių apibendrinimus?
• Ar duomenis gaunate realiuoju laiku, bet duomenys analizuojami tik kartą per dieną?
• Ar atnaujinate talpyklą kas 10 sekundžių, bet ji iš tikrųjų keičiasi tik per kelias dienas?

Visi šie klausimai grįžta prie svarbiausio klausimo: kaip programa bus naudojama? Kokia jo egzistavimo verslo vertė? Kaip programa padeda mums pasiekti užsibrėžtą tikslą?

Žinoma, visi šie atsakymai labai dažnai būna neaiškūs projekto pradžioje; bet todėl dizainas visada turėtų būti kartotinis procesas, kad pakeitimai vyktų kuo sklandžiau. Inžinieriai turėtų priimti evoliuciją ir pokyčius, suderindami programų kūrimą su poveikiu.

2 ŽINGSNIS. Tiksliai sureguliuokite infrastruktūros išteklius pagal savo poreikius

Antrasis žingsnis – tai programai suteikti reikiamus išteklius ir suderinti ją su tinkama infrastruktūra.

Būdami inžinieriumi žinokite, kaip apskaičiuojamos debesijos sąnaudos. Pavyzdžiui, AWS teikia neatidėliotinus atvejus, kuriuose galite siūlyti klasterio kainą – tai ypač naudinga, jei turite gedimams atsparias ir lanksčias programas. Jei galite, naudokite juos – AWS teigia, kad išlaidos sumažinamos iki 90 % [ 4 ].

Kai kurie kiti svarstymai, kuriuos galbūt norėsite apsvarstyti, yra šie:

• Ar aptarnaujate klientus visame pasaulyje, ar tik vienoje geografinėje vietovėje? Ar jums tikrai reikia infrastruktūros, kad galėtumėte gyventi visame pasaulyje, ar galite ją įrengti arčiau savo klientų?
• Ar per daug sudarote savo grupių egzempliorius? Stenkitės užtikrinti, kad būtų pakankamai pajėgumų, kad galėtumėte įveikti didžiausias apkrovas be nereikalingų išlaidų. Naudokite automatinį mastelio keitimą, kad dinamiškai reguliuotumėte išteklius pagal faktinę paklausą ir išvengtumėte permokėjimo už nenaudojamus išteklius.
• Jei dirbate su duomenimis ir „Spark“, įsitikinkite, kad suprantate „Spark“ sąvokas ir derinimą! Jei to nepadarėte, peržiūrėkite šiuos išteklius [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

3 ŽINGSNIS: naudokite AWS Graviton egzempliorius

Naudojant AWS Graviton egzempliorius yra mažai arba nėra jokių trūkumų. AWS daug investavo kurdama ekonomiškiausius procesorius. Jūs galite gauti iki 40% sumažinti išlaidas debesims vien perjungę nuo Intel procesoriaus į ARM pagrįstą procesorių [ 10 ].

Vienintelis įspėjimas yra tas, kad jūsų programa turi būti suderinama su ARM pagrįstais procesoriais, kuriuose veikia „Graviton“. Jei dirbate su valdoma paslauga, pvz., RDS arba OpenSearch, perjungimas nėra sudėtingas – AWS sprendžia pagrindinę OS ir programų suderinamumą. Jei kuriate savo programą, gali tekti iš naujo kompiliuoti paketą, atsižvelgiant į naudojamą kalbą – Java ir kitos kalbos nereikalauja jokių pakeitimų, o Python reikalauja šiek tiek dėmesio.

4 ŽINGSNIS: Stebėkite išlaidų išlaidas ir mokykite apie sąnaudas

Galiausiai nepamirškite nuolat stebėti savo išlaidų dėl netikėtų viršūnių ir netikėtumų. Mokestis 0 paraiškos pateikimo dieną skirsis nuo kainos 170 dieną. Įsitikinkite, kad stebite pakeitimus ir suprantate, kodėl pakeitimas vyksta: ar tai yra s3 saugojimo išlaidų kaupimas, ar tai tik vienkartiniai mokesčiai. smaigalys?

Sukurkite reikiamus įspėjimus ir veiklos vadovus !

Svarbu įdiegti išlaidų paskirstymo žymas, kad galėtumėte stebėti išlaidas pagal skyrių, projektą ar aplinką. Venkite rizikos sukurti duomenų liūną, kur kainos neatsekamos arba reikalaujama ilgos kelionės per skirtingas žurnalų sistemas. Turėtų būti greita ir paprasta grįžti prie bet kokios nurodytos paraiškos kainos.

Paskutinės mintys

Kad ir kur dirbtumėte, sunku suderinti naujų funkcijų teikimą su esamų optimizavimu. Kas nebuvo spaudžiamas šviesos greičiu pateikti naujas keistas funkcijas.

Tačiau tiek inžinieriams, tiek vadovams svarbu priimti apgalvotus ir iniciatyvius sprendimus dėl savo dabartinių projektų, efektyviai valdyti riziką ir galimybes.