Когато за първи път започнах кариерата си в областта на данните, всеки беше учен в областта на данните. С течение на времето започнахме да се диференцираме – изграждахте ли тръбопроводи за данни, или се фокусирате върху изграждането и обучението на модели? Вие ли бяхте този, който изпълняваше задълженията на pager по време на прекъсване, или сте били само на повикване, когато беше време да се представите на изпълнителния съвет? Всички ние бяхме помолени да изберем страна: дали сте учен в областта на данните, или всъщност сте инженер в областта на данните? Минаха няколко години и се появи още един отдел.Бяхте ли инженер по данни или инженер по анализи?Оценявате ли се върху поддръжката и оптимизирането на тръбопроводи за данни, или работата по тръбопроводи е просто средство за постигане на край – край, който води до табла за бизнес разузнаване? И сега това се случва отново. ни казват, че трябва да усъвършенстваме ролите си още повече.Ние се фокусираме върху автоматизацията, производителността и качеството на данните? Но не е ли това винаги целта? Доставянето на бизнес стойност чрез данни винаги е било същността на нашата работа.Автоматизацията не е нова концепция; тя винаги е била сърцето и душата на инженерството на данните. Дали DataOps Engineering е заглавието, което най-накрая ще ни обедини всички? Така че, ако всички ние сме DataOps инженери сега, истинският въпрос е - как да станем страхотни в това? Какво е DataOps? DataOps се стреми да третира данните като крайния и ценен продукт, който е. Данните задвижват всички иновации в бизнеса, от AI до автоматизация, а DataOps най-накрая търси центъра на данните и центъра, където принадлежи правилно. Това се постига чрез прилагане на принципите на софтуерното инженерство към разработването, доставката и управлението на данните.Например, като се възползват от автоматизираното тестване на производителността и инфраструктурата като код (IaC), организациите могат допълнително да оптимизират операциите с данни, за да отговорят на бизнес изискванията с минимална закъснение. Една възможна бутилка: съхранение, което се задържа Съхранението е основата, върху която е изградено всичко останало. Това е горивото, което захранва вашия двигател, суровината, която вашите тръбопроводи за данни обработват. Ако вашето решение за съхранение не може да се справи с изискванията на вашия двигател, ще изпитате пропуски в производителността. Това е казано преди, но си струва да се повтаря: бавните заявки убиват инициативите на AI Ние инвестираме много в сложни аналитични двигатели и прекарваме часове в настройване на нашия код, но понякога пренебрегваме слоя на съхранение, когато обмисляме производителността. DataOps за усъвършенстване на вашите инициативи за данни DataOps може да направи повече от джаз вашето резюме; тя също може да ускори плановете ви за AI: Бързото съхранение на обекти, с висока честотна лента и ниска латентност, значително ускорява поглъщането на данни от различни източници (бази данни, стрийминг платформи, IoT устройства). Faster Data Movement: Обектното съхранение е най-добрият вариант за изграждане на хранилища с данни. За разлика от традиционните системи за съхранение, обектното съхранение позволява на организациите да съхраняват огромни количества структурирани и неструктурирани данни, без да компрометират производителността. , и – Заедно с мощни изчислителни двигатели – архитектурата на езерото предоставя основни възможности като схема еволюция, пътуване във времето и ACID транзакции. Тези функции са от решаващо значение за гарантиране на целостта на данните, мащабируемост и гъвкавост в свят, управляван от AI Best Choice for Data Lakehouses:  Апач Iceberg Делта езеро Хъди Чрез минимизиране на времето за предаване на данни, бързото съхранение на обекти позволява по-бърза обработка на данни.Това е от решаващо значение за работните натоварвания на AI, които включват итеративно обучение и усъвършенстване на моделите, където всяка спестена секунда се превежда в по-бързи резултати и по-бързи цикли на разработване на модели. Reduced Processing Time: Решенията за мащабируемо съхранение на обекти позволяват на екипите на AI да се справят безпроблемно с нарастващите обеми данни, без да се компрометират производителността, като се гарантира, че тръбопроводи за данни остават ефективни, тъй като изискванията за данни се увеличават. Enhanced Scalability: Оптимизиране на скоростта и производителността Как можете да гарантирате, че вашата инфраструктура за съхранение е оптимизирана за скорост и производителност? Не всички решения за съхранение са създадени еднакво.Само високопроизводителното обектно съхранение ще може да отговори на изискванията, поставени върху него от AI и други натоварвания с данни.Докато повечето обектни съхранения претендират за мащабируемост и гъвкавост, само няколко имат необходимата производителност, за да поддържат вашите тръбопроводи за данни плавно. Choosing the Right Storage Solution: DataOps практики като данни Може да ви помогне да идентифицирате и архивирате неактивни данни. Това освобождава ценно място за съхранение за вашите горещи данни, данните, до които вашият аналитичен двигател трябва да има достъп най-често. Това може да помогне за оптимизиране както на производителността, така и на икономията на разходи. Leveraging Data Lifecycle Management: Управление на жизнения цикъл тийнейджър Управление на жизнения цикъл тийнейджър Непрекъснато наблюдавайте производителността на съхранението си и идентифицирайте всякакви затруднения.През проактивното решаване на проблемите с съхранението можете да гарантирате, че вашите тръбопроводи за данни работят гладко и вашият аналитичен двигател изгаря във всички цилиндри. Monitoring and Optimization: Изберете умен Избирайки инфраструктура за висока производителност, вашите тръбопроводи за данни ще се натрупват и ще ви предоставят необходимата информация, когато имате нужда от тях. Не забравяйте, че една добре изпълнена стратегия за DataOps е за премахване на триенето и оптимизиране за скорост. И това пътуване към успеха започва с избора на правилното решение за съхранение за работата. Втората стъпка по това пътуване е да се обучите. проектиран да помогне на инженерите да станат отлични в управлението на тяхното съхранение на данни. Можете да поискате повече информация за тези програми . Обучение и сертифициране тук Обучение и сертифициране тук Заповядайте при нас с всякакви въпроси или на нашия Slack канал Здравейте @min.io Здравейте @min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

Това аудио е създадено на оригиналния език на историята!

Защо DataOps се превръща в работа на всички - и как да се справим с нея

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps