Tsela ya go Hwetša $ 1 Million Ka AWS ka Ngwaga o tee

Ge e ba o ile wa thulana le letlakala le o nagana gore o tla huma ka leano le itšego la go huma ka pela, ke maswabi go go nyamiša. Sehlogo se se tla rata go bolela ka moo o ka fokotšago ditshenyagalelo tša gago tša ditshenyagalelo tša leru ka $1 milione. Ka go dira seo, o tla ba gabotse o tšweleditše diranta tše dimilione tše di oketšegilego ka letseno — tšeo o ka di dirišago go reka thuto ya ka ya inthaneteng ya kamoo o ka humago ka AWS ( kgokagano ya thuto mo ).

Ditshenyagalelo tša leru gantši di a hlokomologwa ebile di sa hlokomelwe mathomong a diprotšeke tša Dikhamphani. Dinyakišišo tša 2021 tša HashiCorp di hweditše gore mo e nyakilego go ba 40% ya dikhamphani di dirišitše tšhelete ka mo go feteletšego ditshenyagalelo tša leru ka 2021 [ 1 ]. Ka 2023, mo e nyakilego go ba dikhamphani ka moka (94%) di ile tša dumela gore di senya tšhelete lerung [ 1 ] gomme bonyenyane 30% ya ditshenyagalelo tša leru di ile tša senywa [ 2 ]. Tšhomišo ya tšhelete ya leru e be e nyakile go ba $500 pilione ka 2022 — ka fao re bolela ka $150 bilione yeo e sentšwego ka ngwaga!!

Ga se fela gore se ke go tshwenyega ka ditseno tše di fošitšwego eupša gape le mekgwa ye mebe ya go tšwetša pele. diranta tše dimilione tše dikete tše 150 tša matla a sentšwego!

Dikutollo tše di akaretša dikgwebo tše kgolo gammogo le tše nnyane, go tloga go go gola ga maru a godimo go ya go go gola ga maru a fase. E šupa go AWS, eupša melawana ye e swanago e ka dirišwa go moabi ofe goba ofe yo mongwe wa leru. Ka gona, ge e ba karolo le ge e le efe ya mošomo wa gago e le lerung, gona sehlogo se ke sa gago.

Ke bolela go tšwa ponong ya moentšeneare wa data, eupša dithuto tše di swanago di ka dirišwa go mekgwa ye mengwe ya boentšeneare bja disoftware.

A re thumeleng ka gare.

Go nyakega eng go diriša $1 milione ditshenyagalelo tša leru ka ngwaga?

Mohuta wo wa tefo ya leru gantši o lekanyeditšwe go dikgwebo tše kgolo kudu tšeo di šomago lefaseng ka bophara ka bareki ba dimilione.

Go go fa kgopolo, tefo ya leru ya $ 1 milione e ka bakwa ke mošomo wa Spark ETL wo o šomago ~ 1.5Tb ka iri 24x7 ka matšatši a 365 ka ngwaga. Mohlala o mongwe e ka ba tirišo yeo e amogelago dikgopelo tše dimilione tše dikete ka letšatši go tšwa mafelong a mantši lefaseng.

Kgwebo e kgolo, go na le dikgopelo tše makgolo ka bogolo bjo - go feleletša ka dikonteraka tša diranta tše dimilione tše dikete le baabi ba leru. Ka mohlala, Airbnb e bile le boikgafo bja go diriša $1.2 bilione go methopo ya leru mo mengwageng ye mehlano mafelelong a 2019 [3 ].

Go Expedia re ile ra fokotša ditshenyagalelo tša ETL ya go šoma ka ya data yeo e bitšago $1.1 milione ya diranta ka ngwaga go ya go $100,000 feela ka ngwaga ka go phethagatša mekgwa ya go dira gore dilo di šome gabotse. Ke phokotšo ya ditshenyegelo ya 91% yeo!!

Ga se dikhamphani ka moka tšeo di nago le dikgopelo tša bogolo bjo bogolo bjalo eupša nagana o fokotša ditshenyagalelo tša gago tša leru ka 90% feela bakeng sa tirišo e tee goba bakeng sa khamphani ya gago ka moka.

Re thoma bjang go boloka tšhelete?

KGATO YA 1: Hlohla dikakanyo tša gago tša tlhamo

Eya gomme o hwetše lenaneo la dikgopelo tša gago tše di bitšago kudu gomme o hlohle dikakanyo tša gago tša tlhamo .

• Na o aga tirišo yeo e nago le go hwetšagala ga 99.999% le go khutša ga ka fase ga milisecond eupša ka nnete badiriši ba be ba tla ba ba botse ka mo go lekanego ka go hwetšagala ga 99% le go khutša ga dimilisekontshe tše makgolo?
• Na o hlola di-dataset ka dibilione tša mela eupša badiriši ba be ba tla be ba diriša feela di-aggregation tša tše dingwe tša dikelo?
• Na o landing data real-time eupša data e sekaseka gatee fela ka letšatši?
• Na o hlabolla cache metsotswana ye mengwe le ye mengwe ye 10 eupša e fetoga fela e le ka kgonthe go ralala le matšatši?

Dipotšišo tše ka moka di boela morago go potšišo ye bohlokwa kudu: tirišo e ya go šomišwa bjang? Ke boleng bofe bja kgwebo gore e be gona? Tirišo e re thuša bjang go fihlelela pakane e itšego?

Ke therešo gore dikarabo tše ka moka gantši kudu ga di kwagale mathomong a modiro; eupša ke ka lebaka leo tlhamo e swanetšego go ba tshepedišo ya go ipoeletša ka mehla — go dumelela diphetogo go direga ka ntle le mathata ka mo go kgonegago. Baentšeneare ba swanetše go amogela tlhagelelo le phetogo, ba swantšha tlhabollo ya tirišo le khuetšo.

KGATO YA 2: Beakanya gabotse methopo ya gago ya mananeokgoparara go ya ka dinyakwa tša gago

Mogato wa bobedi o na le go fa tirišo methopo ye e nepagetšego le go e tuning go mananeokgoparara a maleba.

Bjalo ka moentšeneare, ela hloko kamoo ditshenyagalelo tša leru di balwago ka gona. Mohlala, AWS e fana ka ditiragalo tša letheba, moo o ka bitšago theko ya sehlopha — se se na le mohola kudu ge o na le dikgopelo tše di kgotlelelago diphošo le tše di fetofetogago. Di šomiše ge o kgona — AWS e bolela phokotšo ya go fihla go 90% ya ditshenyagalelo [ 4 ].

Tše dingwe tšeo o ka nyakago go di ela hloko ke:

• Na o hlankela bareki lefaseng ka bophara goba o hlankela feela lefelong le tee la thutafase? Na o tloga o nyaka mananeokgoparara a gago gore o dule lefaseng ka bophara goba na o ka a hloma kgauswi le motheo wa gago wa bareki?
• Na o aba ka mo go feteletšego ditiragalo tša gago tša dihlopha? Leka go netefatša gore go na le bokgoni bjo bo lekanego bja go swara merwalo ya tlhora ntle le ditshenyagalelo tše di sa nyakegego. Diriša go lekanya ka go itiriša go beakanya methopo ka go fetoga go ya ka nyakego ya nnete, go thibela tefo ye e feteletšego ya methopo ye e sa šomego.
• Ge e ba o šoma ka data le Spark, kgonthiša gore o kwešiša dikgopolo tša Spark le go tuning! Ge e ba o sa dire bjalo, lebelela methopo ye e latelago [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

KGATO YA 3: Šomiša ditiragalo tša AWS Graviton

Go na le mafokodi a mannyane goba ga go na mafokodi a go šomiša ditiragalo tša AWS Graviton. AWS e beeleditše kudu go hloleng diprosesa tšeo di nago le ditshenyagalelo tše di lekanego kudu. O ka hwetša phokotšo ya go fihla go 40% ya tšhomišo ya tšhelete ya leru feela ka go fetoga go tšwa go processor ye e theilwego go intel go ya go processor ye e theilwego go ARM [ 10 ].

Temošo e nnoši go se ke gore tirišo ya gago e swanetše go sepelelana le diprosesa tše di theilwego go ARM tšeo Graviton e šomago go tšona. Ge e ba o šomana le tirelo ye e laolwago ya go swana le RDS goba OpenSearch gona ga go na mathata le gatee go fetoleng — AWS e šomana le OS ya motheo le go sepelelana ga tirišo. Ge e ba o aga tirišo ya gago, gona o ka swanelwa ke go kgoboketša sephuthelwana gape go ya ka gore o šomiša leleme lefe — Java le maleme a mangwe ga di nyake phetogo mola Python e nyaka tlhokomelo ye nngwe.

KGATO YA 4: Hlokomela tšhomišo ya gago ya ditshenyagalelo le go ruta ka ga temošo ya ditshenyagalelo

Labofelo, o se lebale go dula o beile leihlo ditshenyagalelo tša gago bakeng sa ditlhora tše di sa letelwago le dimakatšo. Ditshenyagalelo ka letšatši la 0 la tirišo ya gago di tla fapana le ditshenyagalelo tša letšatši la 170. Netefatša gore o hlokomela diphetogo, gomme o kwešiša gore ke ka lebaka la eng phetogo e direga: na ke go kgoboketša ditshenyagalelo tša polokelo ya s3 goba ke ya gatee fela sepikiri?

Hloma ditemošo tše di nyakegago le dipuku tša tlhahlo tša tshepedišo !

Sa bohlokwa, phethagatša dithegi tša kabo ya ditshenyagalelo go latela tšhomišo ya tšhelete ka kgoro, protšeke, goba tikologo. Phema kotsi ya go hlola mogwapo wa datha moo ditshenyagalelo di sa latišišegego goba di nyakago leeto le letelele go putla ditshepedišo tša go fapana tša dilog. E swanetše go ba ka pela le bonolo go boela morago go ditshenyagalelo dife goba dife tše di filwego tša kgopelo.

Dikgopolo tša mafelelo

Kae le kae moo o šomago gona, go leka-lekanya kabo ya dikarolo tše difsa le go dira gore tša gona bjale di šome gabotse go thata. Ke mang yo a sego a gatelelwa go tliša dikarolo tše mpsha tša quirky ka lebelo la seetša.

Le ge go le bjalo, go bohlokwa gore bobedi baentšeneare le balaodi ba tšee diphetho ka boomo le ka mafolofolo ka ga diprotšeke tša bona tša bjale, ba laola dikotsi le dibaka ka mo go atlegilego.