Kada sam prvi put počeo svoju karijeru u podacima, svi su bili znanstvenici podataka. Tijekom vremena, počeli smo se razlikovati – jesi li gradio podatkovne cijevi, ili si se usredotočio na izgradnju i obuku modela? jesi li bio onaj na dužnosti pagera tijekom prekida, ili si bio samo na pozivu kada je bilo vrijeme da se predstavi izvršnom odboru? Svi smo bili traženi da odaberemo stranu: jesi li znanstvenik podataka ili si zapravo inženjer podataka? Prošlo je nekoliko godina, a pojavila se još jedna divizija. Jeste li bili inženjer podataka ili inženjer analitike? usredotočite li se na održavanje i optimizaciju podatkovnih cevovoda, ili je rad na cevovodu jednostavno sredstvo za kraj - kraj koji rezultira instrumentalnom tablicom poslovne inteligencije? I sada se to opet događa. Rekli su nam da moramo dodatno unaprijediti svoje uloge. Jesmo li usredotočeni na automatizaciju, performanse i kvalitetu podataka? Ako je tako, čestitamo – sada ste DataOps inženjer. Ali nije li to uvijek bio cilj? Dostava poslovne vrijednosti kroz podatke uvijek je bila suština našeg rada. Automatizacija nije novi koncept; to je uvijek bila srce i duša inženjeringa podataka. Je li DataOps Engineering naslov koji će nas konačno ujediniti? Dakle, ako smo svi DataOps inženjeri sada, pravo pitanje je - kako smo postali veliki u tome? Što je DataOps? Podaci pokreću sve inovacije u poslovanju, od AI do automatizacije, a DataOps konačno traži središte podataka ispred i središte gdje to ispravno pripada. To se postiže primjenom načela softverskog inženjeringa na razvoj, isporuku i upravljanje podacima.Na primjer, iskorištavanjem automatiziranog testiranja performansi i infrastrukture kao koda (IaC), organizacije mogu dodatno optimizirati operacije podataka kako bi zadovoljile poslovne zahtjeve s minimalnim zakašnjenjem. One Possible Bottleneck: Skladištenje koje leži iza Skladištenje je temelj na kojem je sve ostalo izgrađeno. To je gorivo koje hrani vaš motor, sirovina koju vaše podatkovne cijevi obrađuju. Ako vaše rješenje za skladištenje ne može pratiti zahtjeve vašeg motora, doživjet ćete zamke u učinkovitosti. To je već rečeno, ali vrijedi ponoviti: spori upiti ubijaju inicijative AI-a Ulagamo puno u sofisticirane analitičke motore i provodimo sate prilagođavajući naš kod, ali ponekad zanemarujemo sloj skladišta kada razmatramo performanse. DataOps za izvrsnost vaših inicijativa u području podataka DataOps može učiniti više od jazz up vaš životopis; to bi također mogao ubrzati svoje AI planove: Brzo skladištenje objekata, s velikom širinom pojasa i niskom latentnošću, značajno ubrzava unos podataka iz različitih izvora (baze podataka, streaming platforme, IoT uređaji). Faster Data Movement: Objektno skladištenje je najbolja opcija za izgradnju podatkovnih jezera. Za razliku od tradicionalnih sustava skladištenja, objektno skladištenje omogućuje organizacijama skladištenje velikih količina strukturiranih i nestrukturiranih podataka bez ugrožavanja performansi. , i – uz moćne računalne motore – arhitektura jezera pruža bitne mogućnosti kao što su evolucija sheme, putovanje kroz vrijeme i ACID transakcije. Best Choice for Data Lakehouses:  Apache ledenjak Delta jezero Hudi Minimizirajući vrijeme prijenosa podataka, brzo skladištenje objekata omogućuje bržu obradu podataka.To je ključno za AI radna opterećenja koja uključuju iterativno osposobljavanje i rafiniranje modela, gdje se svaka sačuvana sekunda pretvara u brže rezultate i brže cikluse razvoja modela. Reduced Processing Time: Skalabilna rješenja za skladištenje objekata omogućuju timovima AI-a da besprijekorno rukuju rastućim količinama podataka bez ugrožavanja performansi, osiguravajući da podatkovni vodovi ostanu učinkoviti dok se zahtjevi za podacima povećavaju. Enhanced Scalability: Optimizacija brzine i performansi Kako možete osigurati da je vaša infrastruktura skladištenja optimizirana za brzinu i performanse? Nisu sva rješenja za skladištenje stvorena jednako.Samo visoko učinkovito skladištenje objekata moći će zadovoljiti zahtjeve koje na njega postavljaju AI i drugi radni opterećenja intenzivna na podatke.Dok većina skladištenja objekata zahtijeva skalabilnost i fleksibilnost, samo nekoliko ima performanse potrebne da vaše podatkovne cijevi teče glatko. Choosing the Right Storage Solution: DataOps prakse poput podataka može vam pomoći identificirati i arhivirati neaktivne podatke. Ovo oslobađa vrijedni prostor za pohranu vaših vrućih podataka, podataka koje vaš analitički motor mora pristupiti najčešće. To može pomoći u optimizaciji performansi i uštede troškova. Leveraging Data Lifecycle Management: Upravljanje životnim ciklusom tijeranje Upravljanje životnim ciklusom tijeranje Kontinuirano pratite performanse skladištenja i identificirajte sve prepreke.Proaktivnim rješavanjem problema skladištenja možete osigurati da vaše podatkovne cijevi rade glatko, a vaš analitički motor požari na svim cilindrima. Monitoring and Optimization: Odaberite pametno Odabirom infrastrukture za visoku učinkovitost, vaše će podatkovne cijevi donijeti uvid koji vam je potreban kada vam je potreban. Zapamtite, dobro provedena DataOps strategija se sastoji od uklanjanja trenja i optimizacije za brzinu. dizajniran kako bi inženjerima pomogao da postanu izvrsni u upravljanju svojim pohranjivanjem podataka. . Obuka i certifikacija ovdje Obuka i certifikacija ovdje Dođite do nas sa svim pitanjima na ili na našem Slack kanalu Sljedeći članakHello@min.io Sljedeći članakHello@min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

Ovaj zvuk je proizveden na izvornom jeziku priče!

Zašto DataOps postaje posao svih - i kako se izvući iz njega

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps