Когда я впервые начал свою карьеру в области данных, каждый был ученым данных. Со временем мы начали дифференцировать — вы строили трубопроводы с данными, или вы сосредоточились на строительстве и обучении моделей? Вы были тем, кто выполнял обязанности Pager во время перерыва, или вы только звонили, когда пришло время представиться в исполнительный совет? Прошло несколько лет, и появилось еще одно подразделение.Были ли вы инженером по обработке данных или аналитическим инженером?Сосредоточены ли вы на поддержании и оптимизации трубопроводов данных, или трубопроводная работа является просто средством для достижения цели — целей, которые приводят к управлению бизнес-разведкой? И теперь это происходит снова. Нам говорят, что мы должны еще больше усовершенствовать наши роли.Сосредоточены ли мы на автоматизации, производительности и качестве данных? Если да, то поздравляем вас — вы теперь инженер DataOps. Но разве это не всегда было целью? Предоставление деловой ценности через данные всегда было сутью нашей работы.Автоматизация не является новой концепцией; это всегда было сердцем и душой инженерии данных. является ли DataOps Engineering названием, которое наконец объединит всех нас? Итак, если мы все сейчас являемся инженерами DataOps, то реальный вопрос заключается в том, как мы можем стать отличными в этом? Что такое DataOps? Данные движут всеми инновациями в бизнесе, от ИИ до автоматизации, и DataOps, наконец, ищет центр данных и центр, где он должен принадлежать. Это делается, применяя принципы разработки программного обеспечения для разработки, доставки и управления данными. Например, используя автоматизированные тесты производительности и инфраструктуру в виде кода (IaC), организации могут дополнительно оптимизировать операции с данными, чтобы удовлетворить бизнес-требования с минимальной задержкой. Один из возможных бутылок: хранилище, которое оставляет позади Хранение - это фундамент, на котором строится все остальное. Это топливо, которое питает ваш двигатель, сырье, которое обрабатывают ваши трубопроводы данных. Если ваше решение хранения не может идти в ногу с требованиями вашего двигателя, вы будете испытывать недостатки в производительности. Это было сказано ранее, но это стоит повторить: медленные запросы убивают инициативы ИИ Мы инвестируем в сложные аналитические двигатели и тратим часы на настройку нашего кода, но мы иногда пренебрегаем слоем хранения при рассмотрении производительности.Мы забываем, что даже самый оптимизированный двигатель не может выполнять чудеса, если он постоянно ждет, чтобы данные были получены из медленных, традиционных систем хранения. DataOps для совершенствования ваших инициатив по данным DataOps может сделать больше, чем джаз вашего резюме; он также может ускорить ваши планы ИИ: Быстрое хранение объектов, с его высокой пропускной способностью и низкой задержкой, значительно ускоряет поглощение данных из различных источников (базы данных, потоковые платформы, устройства IoT).Это быстрое движение данных имеет решающее значение для анализа в реальном времени или почти в реальном времени, что является краеугольным камнем многих приложений ИИ. Faster Data Movement: Объектное хранилище является лучшим вариантом для создания хранилищ данных. В отличие от традиционных систем хранения, объектное хранилище позволяет организациям хранить огромное количество структурированных и неструктурированных данных без ущерба для производительности. , , и Наряду с мощными вычислительными двигателями архитектура озерного дома обеспечивает необходимые возможности, такие как эволюция схем, путешествия во времени и транзакции ACID. Эти функции имеют решающее значение для обеспечения целостности данных, масштабируемости и гибкости в мире, основанном на ИИ. Best Choice for Data Lakehouses:  Апач Айсберг Дельта озера Хади Минимизируя время передачи данных, быстрое хранение объектов позволяет быстрее обрабатывать данные.Это критически важно для рабочих нагрузок ИИ, которые включают итеративное обучение и усовершенствование моделей, где каждая сохраненная секунда переводится в более быстрые результаты и более быстрые циклы разработки моделей. Reduced Processing Time: Скалируемые решения для хранения объектов позволяют командам ИИ беспрепятственно обрабатывать растущие объемы данных без ущерба для производительности, гарантируя, что трубопроводы данных остаются эффективными по мере роста требований к данным. Enhanced Scalability: Оптимизация для скорости и производительности Как вы можете обеспечить, чтобы ваша инфраструктура хранения была оптимизирована для скорости и производительности? Только высокопроизводительное объектное хранилище сможет удовлетворить требования, предъявляемые к нему ИИ и другими интенсивными нагрузками на данные.В то время как большинство объектовного хранилища претендуют на масштабируемость и гибкость, лишь немногие имеют производительность, необходимую для обеспечения плавного потока ваших трубопроводов данных. Choosing the Right Storage Solution: DataOps практики, такие как данные Это освобождает ценное место для хранения ваших горячих данных, данных, к которым ваш аналитический движок должен получать доступ чаще всего. Это может помочь оптимизировать как производительность, так и экономию затрат. Leveraging Data Lifecycle Management: Управление жизненным циклом Тираж Управление жизненным циклом Тираж Постоянно отслеживайте производительность хранения данных и выявляйте любые пробелы.Проактивно решая проблемы хранения данных, вы можете гарантировать, что ваши трубопроводы данных работают гладко, а ваш аналитический двигатель работает на всех цилиндрах. Monitoring and Optimization: Выберите умный Выбирая инфраструктуру для высокой производительности, ваши трубопроводы данных будут накапливаться и предоставлять знания, которые вам нужны, когда вам они нужны. Помните, хорошо выполненная стратегия DataOps заключается в устранении трения и оптимизации для скорости. И это путешествие к успеху начинается с выбора правильного решения для хранения данных для работы. Второй шаг на этом пути - обучение. разработан, чтобы помочь инженерам стать отличными в управлении своим хранилищем данных. Вы можете запросить больше информации об этих программах . Обучение и сертификация здесь Обучение и сертификация здесь Обращайтесь к нам с любыми вопросами на или на нашем канале Slack Здравствуйте@min.io Здравствуйте@min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

Этот звук создан на языке оригинала истории!

Почему DataOps становится работой всех - и как преуспеть в ней

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps