Как избежать ошибок при внедрении сетки данных

Вы руководитель отдела обработки данных, которому поручено реализовать захватывающий, но сложный подход Data Mesh? Как лидеры в области обработки данных, мы осознаем ограничения традиционного централизованного управления данными. Медленное принятие решений, разрозненная информация и ограниченная гибкость мешают нам эффективно использовать данные. Введите Data Mesh: многообещающий сдвиг парадигмы в сторону децентрализованного владения и сотрудничества . Представьте себе, что вы даете экспертам в данной области возможность владеть своими данными и управлять ими, что повышает ответственность и ускоряет понимание. Однако достижение этого идеального баланса требует тщательного планирования и исполнения.

В этой статье рассматриваются общие препятствия, с которыми я столкнулся во время вашего путешествия по Data Mesh, и даем вам знания для их преодоления. К концу вы будете хорошо подготовлены к успешному внедрению, предоставив вашим командам возможность раскрыть весь потенциал ваших данных и предоставить преобразующую информацию для всей вашей организации.

Сама Жамак Дегани сказала: «Самая большая проблема с Data Mesh — это определение четких границ собственности . Речь идет не только о предоставлении каждому доступа, но и об обеспечении подотчетности и ответственности за данные. В противном случае вы в конечном итоге окажетесь в путанице и противоречивых версиях истины».

Представьте себе Гордона Рамзи, врывающегося в ресторан, ожидающего казни, отмеченной звездой Мишлен, от команды утомленных поваров, которые никогда не видели напряжения высококлассной кухни. Это хаотичный рецепт катастрофы, который готовят многие организации, когда с головой погружаются в Data Mesh без надлежащей поддержки.

Вместо расширения возможностей команд они развязывают анархию данных. Представьте себе, что на пятизвездочную кухню бросают неподготовленных поваров, каждый из которых добавляет случайные ингредиенты со своими ограниченными навыками. Возникает хаос, качество падает, и бизнес терпит крах. Именно это происходит, когда у организаций нет сильной программы обучения и стратегии обработки данных перед внедрением Data Mesh.

Без должной подготовки даже талантливые повара не выдерживают давления. Аналогичным образом, ожидание, что команды будут управлять владением данными и децентрализованным принятием решений без необходимых навыков и знаний, приводит к путанице, непоследовательности и, в конечном итоге, к расстройству восприятия данных. Вчера они работали над внешними функциями, а сегодня внезапно им нужно создавать продукты данных на основе событий, которые они инициируют.

Надежная стратегия данных действует как меню ресторана, четко описывая цели, роли и ожидания. Организациям необходимо инвестировать в программы грамотности в области данных, вооружая команды навыками и знаниями, позволяющими преуспевать на децентрализованной кухне.

Data Mesh — это не просто раздача источников данных; речь идет о развитии культуры сотрудничества и совершенства. Без надлежащего обучения и четкого видения ваш путь к данным может оказаться больше похожим на эпизод «Кошмаров на кухне», чем на историю успеха, отмеченную звездой Мишлен.

Четкое владение и измерение:

Не просто «передавайте данные», не определив границ и ожиданий. Думайте об этом как о предоставлении рекомендаций, а не просто о компонентах. Установите четкие критерии ответственности, роли и показатели успеха, чтобы избежать разрозненных инициатив и обеспечить, чтобы все готовили одни и те же данные.

Многие руководители ошибочно интерпретируют Data Mesh как просто передачу права собственности на данные отдельным командам без надлежащей поддержки. Исполнительной команде необходимо построить вокруг этого структуру, и нет, я не призываю сейчас людей нанимать CDO (директора по данным), что, по моему мнению, является плохим поведением старших менеджеров, которые пытаются снять с себя ответственность. Я ожидаю, что руководство примет участие в принятии решения о том, что является истинным источником данных, которые использует организация. Какова цель организации и как оценить, почему она идет в правильном направлении или нет, и поделиться этим с людьми? Затем определите свой единственный истинный источник данных. Я не ожидаю, что исполнительная команда будет принимать решение о Data Lake или нет, или использовать инструмент обработки данных A или B, ожидание состоит в том, чтобы создать ясность в отношении того, как измерить успех.

Если руководство компании уклонится от этого, это обернется катастрофой. Представьте себе, что каждая команда готовит свои собственные данные, используя свои элементы и понимание, без единого вкуса или измерения. Руководителям необходимо определить желаемый «аромат» (бизнес-цели) и установить ключевые показатели эффективности для отслеживания успеха, не допуская путаницы в данных и показателей, основанных на «FOMO», искажающих картину.

• «Data Mesh не является серебряной пулей для решения проблем с качеством данных. Если к вам поступают плохие данные, они все равно будут выходить из них, даже при децентрализованном владении. Управление данными и стандарты качества остаются критически важными». - Хилари Мейсон, специалист по данным и автор

Расширение возможностей посредством обучения

Использование неподготовленных поваров приводит к катастрофе. Инвестируйте в программы грамотности в области данных, вооружая команды навыками, необходимыми для успешной работы на децентрализованной кухне. Помните, Гордон Рамзи тренирует свою команду – не пропустите этот важный шаг!

Убедитесь, что они понимают, какой инструмент им нужно использовать. Я помню сеанс наставничества, проведенный несколько месяцев назад с владельцем продукта, который попросил понять, что такое продукт данных. Он был частью команды внешнего интерфейса, и его менеджеры однажды сказали ему, что с этого момента он владеет продуктами данных своих мероприятий, бедный ПМ был настолько потерян и даже не знал, что нужно делать, он был потрясающим ПМ, когда дело касалось вовлечения и увеличения конверсии его пользователей, но что он понимает в создании информационных продуктов на основе событий, которые он запускал. Организации часто переходят к Data Mesh, не имея четкой стратегии обработки данных, например, открывая ресторан, не зная, какие блюда подавать. Определенная стратегия данных действует как меню, определяя ключевые источники данных и направляя всех к общим целям.

Посылать своих интерфейсных инженеров, чтобы они узнали, какие инструменты они могут использовать для отправки данных в озеро данных, а затем ожидать, что они построят на их основе таблицы, не давая им стандартизированных инструментов и обучения, не будет работать хорошо, и вы потянете много вопросы качества данных.

«Самое большое препятствие — это не технология, а изменение культуры организации . Переход от централизованного подхода «сверху вниз» к децентрализованному подходу самообслуживания требует значительного изменения мышления, что может встретить сопротивление», — Адриан Колайер, соучредитель The Information Lab.

Управление данными — это секретный соус

Не стоит недооценивать важность управления данными. Это похоже на четкое меню, гарантирующее, что каждый использует правильные ингредиенты и готовит блюда одинакового качества. Избегайте разрозненности данных и путаницы, установив четкие рекомендации и стандарты.

Организации, которые не приняли контракты на данные, включая метод проверки схемы, будут страдать от наличия мусорных данных, очень просто, самая важная часть - иметь команду, которая может создавать инструменты для создания потока в экосистеме данных, от запросов аналитиков к данным. производителей и вплоть до изменений, возникающих в данных от производителей данных до аналитиков и потребителей данных.

Настройка управления данными — ключ к созданию такого порядка на кухне, а не то, что теперь все заказывают порошок карри у другого поставщика, и тогда вкус будет другим.

Используйте свои инструменты

Листы Excel — прекрасная приправа! Сосредоточьтесь на расширении возможностей вашей культуры данных и сотрудничества, а не на снобизме к инструментам. Помните, что Data Mesh — это команды, которые имеют право голоса и эффективно вносят свой вклад, независимо от своих инструментов. Помню, раньше я читал о Netflix и спросил, они сумасшедшие? Почему у них есть Tableau, MicroStrategy и PowerBI, потому что они не могут выбрать инструмент для организации? Ну, я ничего не знал о сетке данных и, скорее всего, в этом причина.

Таблицы Excel? Никакого пота! Используйте «мизансцену» Data Mesh

Устаревшие системы, ограниченные инструменты и проблемы с качеством данных могут показаться кухонным кошмаром. Но не бойтесь, шеф-повар данных! Забудьте о снобизме в отношении инструментов. Независимо от того, использует ли ваша команда таблицы Excel или Tableau, Data Mesh призван расширить возможности их культуры данных и привести их голос в соответствие с организацией. Возможно, команда CRM одержима качеством контента, а не уровнем конверсии. Это Data Mesh в действии! Команды могут проводить самооценку, но с пониманием того, что компания может оценивать производительность по-другому.

Думайте об этом как о «мизане» , французском кулинарном термине, обозначающем подготовку ингредиентов перед приготовлением. Сильная стратегия данных определяет компоненты (источники данных, управление), гарантируя, что все говорят на одном языке и эффективно вносят свой вклад.

Учимся у других кухонь

Помогает понимание общих препятствий, с которыми сталкиваются аналогичные организации. Представьте себе, что повара делятся своими историями о «пожарах на кухне» и учатся на ошибках друг друга. Освещая эти проблемы и потенциальные решения, мы можем помочь другим избежать подобных ловушек.

Data Mesh — это не просто открытие кухонных дверей; речь идет о создании слаженного кулинарного ансамбля. Учитесь на историях других людей о «кухонных пожарах», применяйте полезные инструменты и ресурсы и, самое главное, подходите к Data Mesh непредвзято и в духе сотрудничества. Итак, откажитесь от безвкусицы, примените специи и приготовьте шедевр, основанный на данных, который дразнит вкусовые рецепторы каждого!