Исполнитель: Keith Belanger Исполнитель: Keith Belanger Ожидания по объему данных, скорости, качеству и управлению выросли почти за одну ночь, оказывая огромное давление на рабочие процессы данных, разработанные для эпохи аналитических данных. Второй перерыв происходит более тихо, так как команды работают над В корпоративном масштабе ИИ все чаще играет роль в автоматизации применения стандартов и контрольных систем DataOps. Передача готовых данных Передача готовых данных Когда масштаб превосходит человеческое внимание Достоверность данных традиционно зависит от того, что кто-то замечает, что что-то выходит из строя: сигнал тревоги, панель приборов выглядит неправильно, или команда внизу знаменует проблему. Я видел, что этот подход работает, когда системы небольшие, а изменения медленные, но он очень хрупкий перед лицом роста.Поскольку организации просят команды данных контролировать системы, которые постоянно меняются, реагируют мгновенно и ведут себя последовательно, человеческая бдительность перестает быть решением и начинает становиться ответственностью. Когда вы достигаете масштаба предприятия, трубопроводы больше не проваляются один за другим. Небольшие изменения воспаляются, а зависимость усугубляется. Именно для этого был разработан DataOps: масштабируемая надежность, которая исходит от систем и процессов, а не от индивидуального героизма. Перейти в Upstream С тех пор, как появились первые модели ИИ, команды данных рассматривали ИИ как потребителя данных в самом конце трубопровода. Та же технология, которая увеличивает давление на высокообъемные, высокоскоростные, высокоуправляемые данные, теперь может помочь построить и управлять системами, которые предоставляют эти данные. ИИ может поддерживать операции с данными несколькими разными способами. Он может помочь сохранить документацию в синхронизации по мере развития трубопроводов. Он может предложить тесты, основанные на том, как системы потерпели неудачу или дрейфовали в прошлом. Он может поверхности аномалии люди пропустят или заметят слишком поздно. И он может оценивать сигналы готовности по качеству, линии и управлению непрерывно, не только во время обзоров. Речь не идет о замене инженеров Каждая волна автоматизации заставляет людей бояться, что их рабочие места будут оптимизированы. В , эта рамка пропускает то, что на самом деле ломается в системах данных. Это предполагает, что люди могут вручную применять стандарты, подтверждать каждое изменение и помнить каждую зависимость. Инженерные данные Инженерные данные ИИ хорошо подходит для выполнения сложных аналитических задач, с которыми люди сталкиваются, включая сканирование на образцы, проверку последовательности и непрерывное применение правил. Когда организации автоматизируют задачи, которые не должны были быть человеческой работой в первую очередь, эксперты по данным получают свободу делать то, что они уникально хороши в: проектирование продуктов данных, взвешивание компромиссов и улучшение систем с течением времени. Где AI вписывается в управление Разговоры о управлении ИИ, как правило, сосредоточены на том, что происходит после того, как модели будут развернуты, но сбои обычно происходят вверх, в системах данных, которые в конечном итоге питают плохие данные ИИ. Поддерживаемые ИИ DataOps могут обнаружить проблемы раньше и предотвратить попадание плохих данных в производство в первую очередь. Определенные вопросы всегда должны служить воротами для передачи данных: Должны ли эти изменения развернуться? Регрессирует ли продукт данных по сравнению с его прошлым поведением? Соответствует ли этот трубопровод политическим и качественным ожиданиям? Люди не могут непрерывно отвечать на эти вопросы в масштабе ИИ, но ИИ может.С ИИ команды могут перестать полагаться на периодические обзоры или пост-хок-аудиты и начать систематизировать . Контроль за управлением Контроль за управлением Модель AI-Augmented DataOps на практике Усиленная ИИ модель DataOps не похожа на полностью автономную систему. Встроенный в операционную модель. layered support Поддержка лагерей Люди определяют намерения, стандарты и приемлемый риск.Автоматизация обеспечивает последовательность и повторяемость. ИИ добавляет анализ, рекомендации и раннее предупреждение, помогая командам раньше видеть проблемы и более четко рассуждать о них. ИИ улучшает доверие, уменьшая слепые пятна, сохраняя при этом ответственность там, где она принадлежит. Когда ИИ участвует в выполнении операций с данными, происходит несколько сдвигов: Проблемы пойманы раньше, когда их дешевле исправить. Отзывы больше сосредоточены на намерении и воздействии, а не на механических проверках. Документация становится ближе к реальности. Команды тратят меньше времени на реакцию и больше времени на улучшение. Цель - это системы данных, которые предсказуемо доставляют готовые к искусственному интеллекту данные со скоростью, даже когда изменения и спрос ускоряются. Переосмысление роли ИИ в области инженерии данных Будущее инженерии данных будет определяться тем, насколько надежно ее операции с данными обеспечивают готовность к ИИ. Это означает, что ИИ рассматривается как участник в обеспечении дисциплины, последовательности и доверия на протяжении всего жизненного цикла данных. Данные о продуктах Данные о продуктах Этот момент требует признания искусственного интеллекта как большего, чем потребителя искусственного интеллекта в дальнейшем.Он должен быть сложен в качестве партнера в оперативной работе, которая делает данные готовыми к искусственному интеллекту в первую очередь. Настало время привнести ИИ в операции с данными как партнера, который может применять дисциплину, рисковать поверхностью раньше и поддерживать надежность систем в масштабе.
