За последние несколько лет работы с командами по обработке данных в крупных предприятиях я встретил много лидеров по обработке данных, которые сказали мне, что они пытались и не смогли «делать DataOps». Они пишут стандарты, добавляют несколько тестов и устанавливают инструменты наблюдения.Процессы документируются.Создаются контрольные списки выпуска.Команды стараются — поспешно — следовать им. И тогда отставание накапливается, исключения умножаются, и команда должна держать все вместе с памятью и долгими часами. DataOps является хорошей философией, но сама философия не масштабирует работу вашей команды. DataOps оживает, когда его принципы выполняются системами, не зависящими от человеческих усилий. DataOps предложила смелую новую операционную модель для данных DataOps построен на простом предположении: обращайтесь с данными как с продуктом, а доставка данных - как с доставкой программного обеспечения. На практике DataOps опирается непосредственно на то, чему научились команды программного обеспечения: Автоматизированное создание и развертывание, а не ручные выпуски Тестирование как дефолт, а не героическое усилие Наблюдение в производстве, а не в постморфной археологии Контроли, запеченные в доставку, не завышенные после факта Там, где организации оказываются застрявшими, процесс продолжает развиваться, поскольку системы растут и меняются. Где DataOps ломается на практике Большинство организаций, которые борются с DataOps, терпят неудачу, потому что они относятся к его принципам как к амбициозным лучшим практикам для команды данных. Появляются несколько общих шаблонов: Команды договариваются о названии конвенций, требованиях к документации и процедурах выпуска — до тех пор, пока не будут достигнуты сроки. Тестирование без покрытия. Несколько критических трубопроводов получают тесты. Остальные получают «мы вернемся к нему». Таблицы управления существуют, предупреждают о пожаре, но нет достаточной возможности для мониторинга и реагирования на них, поэтому команда все еще слышит о неудачах от разгневанных пользователей внизу. Политика написана, но исполнение зависит от людей, которые помнят, чтобы применять их. Данные команды работают сложнее, чем когда-либо, но ручные процессы добавляют в их рабочую нагрузку. Автоматизация обеспечивает дисциплину DataOps Когда люди слышат «автоматизацию», они часто представляют себе работу, которая генерирует документацию, помощника, который управляет трубопроводом, или макро, который создает билет. Операционная автоматизация меняет уравнение, создавая системы, которые надежно строят, тестируют, развертывают, наблюдают и управляют доставкой данных как поведение по умолчанию. Автоматизация DataOps представляет собой набор возможностей, которые делают дисциплину применимой. На практике это выглядит так: 1) Доставка данных продуктов как рабочий процесс первого класса Вместо того, чтобы рассматривать трубопроводы как одноразовые проекты, вы упаковываете их как долговечные, повторные поставки — версионные, документированные, принадлежащие и продвигаемые через среды. 2) Автоматизированный CI/CD для изменения данных Обновления схем, логика трансформации, обновления зависимости и изменения инфраструктуры проходят через последовательный путь выпуска — без повторного изобретения каждый раз. 3) Постоянное наблюдение, связанное с действием Не просто «мы можем это увидеть?» но «мы сразу же знаем, когда это меняется, и есть ли у нас ворота, которые останавливают плохие данные от доставки?» 4) Управление правоприменительной деятельностью в срок Политики становятся контролями: воротами качества, воротами политики, следами аудита и проверками соответствия, которые выполняются автоматически, каждый день. Как автоматизация меняет работу команд данных Циничный подход к автоматизации заключается в том, что он относится к людям как к бутылке. В большинстве систем обработки данных реальная проблема заключается в том, что талантливые люди тратят свое драгоценное время на неквалифицированную работу: перезагрузки, пожарные бои, заполнение, ручные валидации, координацию выпуска, контрольные списки по политике. Когда эти задачи автоматизируются, команда данных получает свободный воздух, чтобы потратить больше времени на работу, которая фактически движет бизнесом, например, проектирование продуктов с данными, моделирование бизнеса, улучшение надежности и уменьшение сложности. DataOps всегда был о операциях — так операционизируйте его С самого начала, DataOps был предназначен для того, чтобы принести дисциплину, повторяемость и доверие к доставке данных — не как теории идеального мира, а как рабочей реальности. Автоматизация превращает DataOps из набора принципов в определенный процесс, который система осуществляет каждый день.Он гарантирует, что стандарты выживают под давлением, управление идёт в ногу с изменениями, и доверие становится чем-то, что вы можете измерить, а не надеяться. Когда команды зависят от ваших данных для создания и запуска ИИ, нет места для неоднозначности о том, как данные ведут себя. Это всегда было обещанием DataOps. Автоматизация является ключом к тому, чтобы сделать это реальностью. Эта статья была опубликована в рамках Программы бизнес-блогов HackerNoon. Эта статья была опубликована в рамках Программы бизнес-блогов HackerNoon. Эта статья была опубликована в HackerNoon's . Бизнес Блог Программа Бизнес Блог Программа Бизнес Блог Программа
