Калі вы натыкнуліся на гэтую старонку, думаючы, што збіраецеся разбагацець з дапамогай нейкай схемы хуткага ўзбагачэння, прабачце, што расчароўваю вас. У гэтым артыкуле гаворка пойдзе пра тое, як знізіць рахункі за воблака на 1 мільён долараў. Робячы гэта, вы, па сутнасці, атрымаеце дадатковы мільён долараў даходу, які вы можаце выдаткаваць, купіўшы мой онлайн-курс аб тым, як разбагацець з дапамогай AWS ( ). спасылка на курс тут Кошт воблака часта не ўлічваецца і не ўлічваецца ў пачатку праектаў кампаній. Апытанне HashiCorp 2021 г. паказала, што амаль 40% кампаній перарасходавалі выдаткі на воблака ў 2021 г. [ ]. У 2023 годзе амаль усе кампаніі (94%) прызналі, што яны марнуюць грошы на воблака [ ], і па меншай меры 30% выдаткаў на воблака былі змарнаваныя [ ]. Выдаткі на воблака ў 2022 годзе склалі амаль 500 мільярдаў долараў — такім чынам, мы гаворым пра 150 мільярдаў долараў у год!! 1 1 2 Гэта не толькі праблема страчаных даходаў, але і дрэнная практыка ўстойлівага развіцця. 150 мільярдаў долараў змарнаванай энергіі! Гэтыя высновы закранаюць буйныя прадпрыемствы, а таксама меншыя, ад узроўню сталасці з высокім узроўнем воблачнасці да ўзроўню сталасці з нізкім узроўнем аблокаў. Гэта адносіцца да AWS, але тыя ж прынцыпы можна прымяніць да любога іншага хмарнага пастаўшчыка. Такім чынам, калі якая-небудзь частка вашай працы знаходзіцца ў воблаку, гэты артыкул для вас. Я кажу з пункту гледжання інжынера апрацоўкі дадзеных, але тое ж самае навучанне можа быць ужыта да іншых метадаў распрацоўкі праграмнага забеспячэння. Давайце акунемся. Што трэба, каб выдаткаваць 1 мільён долараў на воблачныя выдаткі за год? Такога роду хмарныя рахункі звычайна абмяжоўваюцца вельмі буйнымі прадпрыемствамі, якія працуюць па ўсім свеце з мільёнамі кліентаў. Каб даць вам ідэю, рахунак за воблака ў памеры 1 мільёна долараў можа быць вынікам апрацоўкі задання Spark ETL ~1,5 ТБ у гадзіну 24x7 на працягу 365 дзён у годзе. Іншым прыкладам можа быць прыкладанне, якое атрымлівае мільярды запытаў у дзень з розных месцаў у свеце. На буйным прадпрыемстве існуюць сотні прыкладанняў такога памеру, што прыводзіць да кантрактаў з воблачнымі правайдэрамі на мільярды долараў. Напрыклад, у канцы 2019 года Airbnb абавязалася выдаткаваць 1,2 мільярда долараў на воблачныя рэсурсы на працягу пяці гадоў [ ]. 3 У Expedia мы скарацілі выдаткі на апрацоўку даных ETL коштам 1,1 мільёна долараў у год да ўсяго 100 000 долараў у год шляхам укаранення метадаў аптымізацыі. Гэта зніжэнне выдаткаў на 91%!! Не ўсе кампаніі маюць прыкладанні такога вялізнага памеру, але ўявіце, што вы скароціце кошт воблака на 90% толькі для аднаго прыкладання або для ўсёй кампаніі. Як мы пачынаем эканоміць? КРОК 1: Аспрэчвайце свае праектныя здагадкі Ідзіце і атрымайце спіс вашых самых дарагіх прыкладанняў і . аспрэчыце свае праектныя здагадкі Вы ствараеце прыкладанне з даступнасцю 99,999% і затрымкай меншай за мілісекунду, але на самай справе карыстальнікам будзе дастаткова даступнасці 99% і затрымкі ў сотні мілісекунд? Вы ствараеце наборы даных з мільярдамі радкоў, але карыстальнікі будуць выкарыстоўваць толькі агрэгацыі некаторых паказчыкаў? Вы атрымліваеце даныя ў рэжыме рэальнага часу, але даныя аналізуюцца толькі раз у дзень? Вы абнаўляеце кэш кожныя 10 секунд, але ён сапраўды змяняецца толькі праз дзень? Усе гэтыя пытанні вяртаюцца да самага важнага пытання: як будзе выкарыстоўвацца прыкладанне? Якая каштоўнасць бізнесу для яго існавання? Як дадатак дапамагае нам дасягнуць пастаўленай мэты? Вядома, усе гэтыя адказы але менавіта таму праектаванне заўсёды павінна быць ітэрацыйным працэсам - дазваляючы зменам адбывацца як мага больш плаўна. Інжынеры павінны прыняць эвалюцыю і змены, узгадняючы распрацоўку прыкладанняў з уплывам. вельмі часта незразумелыя ў пачатку праекта; КРОК 2: Адрэгулюйце інфраструктурныя рэсурсы ў адпаведнасці з вашымі патрэбамі Другі крок заключаецца ў прадастаўленні прыкладанню патрэбных рэсурсаў і настройцы яго на правільную інфраструктуру. Як інжынер, ведайце, як разлічваюцца выдаткі на воблака. Напрыклад, AWS забяспечвае кропкавыя асобнікі, дзе вы можаце зрабіць стаўку на цану кластара - гэта асабліва карысна, калі ў вас ёсць адмоваўстойлівыя і гнуткія прыкладанні. Выкарыстоўвайце іх, калі можаце — AWS сцвярджае, што выдаткі зніжаюцца да 90% [ ]. 4 Некаторыя іншыя меркаванні, якія вы можаце разгледзець: Вы абслугоўваеце кліентаў ва ўсім свеце або толькі ў адной геаграфічнай вобласці? Вам сапраўды патрэбна ваша інфраструктура, каб жыць па ўсім свеце, ці вы можаце наладзіць яе бліжэй да сваёй кліенцкай базы? Вы празмерна забяспечваеце свае асобнікі кластара? Паспрабуйце забяспечыць дастатковую магутнасць для пераадолення пікавых нагрузак без непатрэбных выдаткаў. Выкарыстоўвайце аўтаматычнае маштабаванне для дынамічнай карэкціроўкі рэсурсаў у залежнасці ад фактычнага попыту, прадухіляючы пераплату за бяздзейныя рэсурсы. Калі вы працуеце з дадзенымі і Spark, Калі вы гэтага не зробіце, звярніце ўвагу на наступныя рэсурсы [ ] [ ] [ ] [ ] [ ]. пераканайцеся, што вы разумееце канцэпцыі і настройку Spark! 5 6 7 8 9 КРОК 3: Выкарыстоўвайце асобнікі AWS Graviton У выкарыстанні асобнікаў AWS Graviton практычна няма недахопаў. AWS уклала значныя сродкі ў стварэнне найбольш эканамічна эфектыўных працэсараў. Вы можаце атрымаць да 40% зніжэння выдаткаў на воблака, проста перайшоўшы з працэсара на базе Intel на працэсар на базе ARM [ ]. 10 Адзіная засцярога ў гэтым заключаецца ў тым, што ваша прыкладанне павінна быць сумяшчальна з працэсарамі на базе ARM, на якіх працуе Graviton. Калі вы маеце справу з кіраваным сэрвісам, такім як RDS або OpenSearch, тады няма ніякіх складанасцей у пераключэнні — AWS мае справу з базавай АС і сумяшчальнасцю прыкладанняў. Калі вы ствараеце ўласнае прыкладанне, вам можа спатрэбіцца перакампіляваць пакет у залежнасці ад таго, якую мову вы выкарыстоўваеце — Java і іншыя мовы не патрабуюць зменаў, у той час як Python патрабуе пэўнай увагі. КРОК 4: Кантралюйце выдаткі і навучыце сябе разумець выдаткі Нарэшце, не забывайце сачыць за сваімі выдаткамі на прадмет нечаканых пікаў і сюрпрызаў. Кошт у дзень 0 вашай заяўкі будзе адрознівацца ад кошту ў дзень 170. Пераканайцеся, што вы адсочваеце змены і разумееце, чаму адбываюцца змены: гэта суміраванне выдаткаў на сховішча s3 або гэта проста аднаразовае шып? ! Наладзьце неабходныя абвесткі і аператыўныя даведнікі Важна ўкараніць тэгі размеркавання выдаткаў для адсочвання выдаткаў па аддзелах, праектах або асяроддзі. Пазбягайце рызыкі стварэння балота даных, калі кошт немагчыма прасачыць або патрабуецца доўгае падарожжа па розных сістэмах часопісаў. Варта хутка і проста вярнуцца да любой кошту заяўкі. Заключныя думкі Дзе б вы ні працавалі, цяжка збалансаваць прадастаўленне новых функцый з аптымізацыяй існуючых. Каго толькі не прымушалі дастаўляць новыя мудрагелістыя функцыі з хуткасцю святла. Тым не менш, як інжынерам, так і кіраўнікам вельмі важна прымаць абдуманыя і актыўныя рашэнні адносна сваіх бягучых праектаў, эфектыўна кіруючы рызыкамі і магчымасцямі.
