Kai aš pirmą kartą pradėjau savo karjerą duomenų srityje, kiekvienas buvo duomenų mokslininkas. Laikui bėgant, mes pradėjome diferencijuoti – ar jūs statėte duomenų vamzdynus, ar jūs sutelkėte dėmesį į modelių kūrimą ir mokymą? Ar jūs buvote tas, kuris pertraukos metu atliko puslapio užduotį, ar tik skambinote, kai atėjo laikas pristatyti vykdomajai valdybai? Praėjo keleri metai ir atsirado dar vienas padalinys.Ar buvote duomenų inžinierius ar analizės inžinierius?Ar sutelkiate dėmesį į duomenų vamzdynų priežiūrą ir optimizavimą, ar vamzdynų darbas yra tiesiog priemonė, padedanti pasiekti tikslą, o tai lemia verslo žvalgybos valdymo planą? Ir dabar tai vėl vyksta. Mums sakoma, kad turime dar labiau tobulinti savo vaidmenis. ar mes sutelkiame dėmesį į automatizavimą, našumą ir duomenų kokybę? Jei taip, sveikiname – dabar esate DataOps inžinierius. Bet ar tai ne visada buvo tikslas? Verslo vertės perdavimas per duomenis visada buvo mūsų darbo esmė. Automatizacija nėra nauja koncepcija; ji visada buvo duomenų inžinerijos širdis ir siela. Ar „DataOps Engineering“ yra pavadinimas, kuris galiausiai suvienys mus visus? Gyvenimo aprašymas, kuris pagaliau paaiškins mūsų indėlį į verslo sėkmę? Taigi, jei mes visi dabar esame "DataOps" inžinieriai, tikrasis klausimas yra - kaip mes tampame puikūs? Kas yra DataOps? Duomenys skatina visas verslo inovacijas, nuo AI iki automatizavimo, o "DataOps" pagaliau ieško duomenų centro ir centro, kur jis tinkamai priklauso. Tai daroma taikant programinės įrangos inžinerijos principus duomenų kūrimui, pristatymui ir valdymui.Pavyzdžiui, pasinaudojant automatizuotu našumo testavimu ir infrastruktūra kaip kodas (IaC), organizacijos gali toliau optimizuoti duomenų operacijas, kad atitiktų verslo reikalavimus su minimaliu vėlavimu. Vienas galimas buteliukas: saugojimas, kuris užstringa Sandėliavimas yra pamatas, ant kurio pastatytas visas kitas. Tai degalai, kurie maitina jūsų variklį, žaliava, kurią jūsų duomenų vamzdynai apdoroja. Jei jūsų saugojimo sprendimas negali atitikti jūsų variklio reikalavimų, jūs patirsite našumo spragas. Tai buvo pasakyta anksčiau, bet verta pakartoti: lėtos užklausos žudo AI iniciatyvas Mes daug investuojame į sudėtingus analitinius variklius ir praleidžiame valandas, pritaikydami mūsų kodą, tačiau kartais pamirštame saugojimo sluoksnį, kai svarstome našumą. Duomenų pasirinkimai, skirti jūsų duomenų iniciatyvoms tobulinti "DataOps" gali padaryti daugiau nei savo gyvenimo aprašymą; tai taip pat gali pagreitinti jūsų AI planus: Greitas objektų saugojimas, turintis didelį pralaidumą ir mažą vėlavimą, žymiai pagreitina duomenų įsisavinimą iš įvairių šaltinių (duomenų bazių, transliavimo platformų, daiktų interneto prietaisų). Faster Data Movement: Objektų saugojimas yra geriausias variantas statant duomenų tvenkinius. Skirtingai nuo tradicinių saugojimo sistemų, objektų saugojimas leidžia organizacijoms saugoti didžiulius struktūrizuotų ir nestruktūrizuotų duomenų kiekius, nekenkiant našumui. , ir -kartu su galingais skaičiavimo varikliais - ežero architektūra suteikia esminių galimybių, tokių kaip schemos evoliucija, kelionės laiku ir ACID sandoriai. Best Choice for Data Lakehouses:  Apache ledkalnis Delta ežeras Hudi Mažinant duomenų perdavimo laiką, greitas objektų saugojimas leidžia greičiau apdoroti duomenis.Tai labai svarbu AI darbo krūviams, kuriems reikalingas iteracinis mokymas ir modelio tobulinimas, kur kiekviena išsaugota sekundė reiškia greitesnius rezultatus ir greitesnius modelio kūrimo ciklus. Reduced Processing Time: Skaliuojami objektų saugojimo sprendimai leidžia AI komandoms sklandžiai tvarkyti didėjančius duomenų kiekius, nekenkiant našumui, užtikrinant, kad duomenų vamzdynai išliktų efektyvūs, nes didėja duomenų poreikiai. Enhanced Scalability: Optimizuokite greitį ir našumą Kaip galite užtikrinti, kad jūsų saugojimo infrastruktūra būtų optimizuota greičiui ir našumui? Ne visi saugojimo sprendimai yra sukurti lygūs. Tik aukštos kokybės objektų saugojimas galės patenkinti AI ir kitų duomenų intensyvių darbo apkrovų reikalavimus. Nors dauguma objektų saugojimo reikalauja skalavimo ir lankstumo, tik keletas turi reikalingą našumą, kad jūsų duomenų vamzdynai tekėtų sklandžiai. Choosing the Right Storage Solution: „DataOps“ praktikos kaip duomenys gali padėti jums nustatyti ir archyvuoti neaktyvius duomenis.Tai atlaisvina vertingą saugojimo erdvę jūsų karštosiems duomenims, duomenims, kuriuos jūsų analizės variklis turi pasiekti dažniausiai.Kaip kitą valdymo lygį, galite ištirti pažangias funkcijas, pvz., Tai gali padėti optimizuoti tiek našumą, tiek sąnaudų taupymą. Leveraging Data Lifecycle Management: Gyvenimo ciklo valdymas Tiriamasis Gyvenimo ciklo valdymas Tiriamasis Nuolat stebėkite savo saugojimo našumą ir nustatykite bet kokius spragas.Proaktyviai sprendžiant saugojimo problemas, galite užtikrinti, kad jūsų duomenų vamzdynai veiktų sklandžiai, o jūsų analizės variklis užsidegtų visuose cilindruose. Monitoring and Optimization: Pasirinkite protingą Pasirinkdami aukštos kokybės infrastruktūrą, jūsų duomenų vamzdynai sustiprės ir suteiks jums įžvalgų, kurių jums reikia, kai jų reikia. Atminkite, kad gerai vykdoma „DataOps“ strategija yra apie trinties pašalinimą ir optimizavimą greičiui. Ir tas kelias į sėkmę prasideda pasirinkus tinkamą saugojimo sprendimą užduočiai. sukurta siekiant padėti inžinieriams puikiai valdyti savo duomenų saugojimą. galite paprašyti daugiau informacijos apie šias programas . Mokymai ir sertifikavimas čia Mokymai ir sertifikavimas čia Susisiekite su mumis su bet kokiais klausimais arba mūsų „Slack“ kanale Sveiki atvykę @min.io Sveiki atvykę @min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

Šis garso įrašas sukurtas originalia istorijos kalba!

Kodėl "DataOps" tampa kiekvieno darbu - ir kaip tobulėti

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps