Evitando as armadilhas da adoção do Data Mesh

Você é um líder de dados encarregado de implementar a emocionante, porém desafiadora, abordagem Data Mesh? Como líderes de dados, reconhecemos as limitações do gerenciamento de dados tradicional e centralizado. A lentidão na tomada de decisões, as informações isoladas e a agilidade restrita impedem a nossa capacidade de aproveitar os dados de forma eficaz. Entra em cena o Data Mesh: uma mudança de paradigma promissora em direção à propriedade e colaboração descentralizadas . Imagine capacitar especialistas no assunto para possuir e gerenciar seus dados, promovendo responsabilidades mais profundas e insights mais rápidos. Contudo, alcançar este equilíbrio ideal requer planeamento e execução cuidadosos.

Este artigo analisa os obstáculos comuns que encontrei durante sua jornada no Data Mesh, equipando você com o conhecimento para superá-los. No final, você estará bem preparado para embarcar em uma implementação bem-sucedida, capacitando suas equipes para liberar todo o potencial dos seus dados e fornecer insights transformadores para toda a sua organização.

A própria Zhamak Dehghani disse: "O maior desafio do Data Mesh é definir limites claros de propriedade . Não se trata apenas de dar acesso a todos, mas de garantir a responsabilização e a responsabilidade pelos dados. Caso contrário, você acabará com versões confusas e conflitantes da verdade."

Imagine Gordon Ramsay invadindo um restaurante, esperando uma execução com estrela Michelin de uma equipe de cozinheiros esgotados que nunca viram a pressão de uma cozinha sofisticada. Essa é a receita caótica para o desastre que muitas organizações preparam quando mergulham de cabeça no Data Mesh sem o suporte adequado.

Em vez de capacitar as equipes, elas desencadeiam a anarquia de dados. Imagine jogar cozinheiros não treinados em uma cozinha cinco estrelas, cada um adicionando ingredientes aleatórios com suas habilidades limitadas. O caos irrompe, a qualidade cai e o negócio vai à falência. Isto é precisamente o que acontece quando as organizações não possuem um programa de aprendizagem e uma estratégia de dados fortes antes de implementar o Data Mesh.

Sem treinamento adequado, até mesmo cozinheiros talentosos vacilam sob pressão. Da mesma forma, esperar que as equipas naveguem na propriedade dos dados e na tomada de decisões descentralizada sem as competências e conhecimentos adequados leva à confusão, à inconsistência e, em última análise, à indigestão baseada nos dados. Ontem eles trabalharam em recursos de front-end e, de repente, hoje precisam criar produtos de dados com base nos eventos que disparam.

Uma estratégia de dados robusta atua como o menu do restaurante, delineando claramente objetivos, funções e expectativas. As organizações precisam de investir em programas de literacia de dados, equipando as equipas com as competências e conhecimentos necessários para prosperar na cozinha descentralizada.

O Data Mesh não trata apenas de distribuir fontes de dados; trata-se de promover uma cultura de colaboração e excelência. Sem o treinamento certo e uma visão clara, sua jornada de dados pode acabar parecendo mais um episódio de Kitchen Nightmares do que uma história de sucesso com estrela Michelin.

Propriedade e medição claras:

Não basta “entregar os dados” sem definir limites e expectativas. Pense nisso como um fornecimento de diretrizes, não apenas de componentes. Estabeleça propriedades, funções e métricas de sucesso claras para evitar iniciativas desarticuladas e garantir que todos preparem os mesmos dados.

Muitos líderes interpretam mal o Data Mesh como uma simples transferência da propriedade dos dados para equipes individuais sem o suporte adequado. A equipe executiva precisa construir uma estrutura em torno disso, e não, não estou pedindo agora que as pessoas contratem um CDO (Chief Data Officer), o que considero um mau comportamento por parte dos gerentes seniores que tentam remover a responsabilidade de si mesmos. Espero que a equipe executiva participe na decisão de qual é a verdadeira fonte dos dados que a organização utiliza. Qual é o objetivo da organização e como avaliar por que ela vai ou não na direção certa e compartilhá-lo com as pessoas? Em seguida, identifique sua única fonte verdadeira de dados, não espero que a equipe executiva lide com a decisão do Data Lake ou não, ou use a ferramenta de dados A ou B, a expectativa é criar clareza sobre como medir o sucesso

Se a equipe executiva evitar fazê-lo, isso se tornará uma receita para o desastre. Imagine cada equipe preparando seus próprios dados usando seus elementos e entendimento, sem gosto ou medição unificada. Os executivos precisam definir o “sabor” desejado (objetivos de negócios) e estabelecer KPIs para monitorar o sucesso, evitando que a confusão de dados e as métricas “orientadas pelo FOMO” obscureçam o quadro.

• "O Data Mesh não é uma solução mágica para problemas de qualidade de dados. Se você receber dados ruins, ainda terá dados ruins saindo, mesmo com propriedade descentralizada. A governança de dados e os padrões de qualidade permanecem críticos." - Hilary Mason, cientista de dados e autora

Capacitação através do treinamento

Libertar cozinheiros não treinados leva ao desastre. Invista em programas de alfabetização em dados, capacitando as equipes com as habilidades necessárias para prosperar na cozinha descentralizada. Lembre-se, Gordon Ramsay treina sua equipe – não pule esta etapa crucial!

Certifique-se de que eles entendem a ferramenta que precisam usar, lembro-me de uma sessão de mentoria há alguns meses com um product owner que pediu para entender o que é produto de dados, ele fazia parte de uma equipe de front-end e seus gerentes lhe disseram um dia que a partir de agora ele é dono dos produtos de dados de seus eventos, o pobre PM estava tão perdido e nem sabia o que precisa ser feito, ele era um PM incrível quando se tratava de engajar e aumentar a conversão de seus usuários, mas o que ele entende na criação de produtos de dados a partir dos eventos que ele estava disparando. Muitas vezes, as organizações adotam o Data Mesh sem uma estratégia de dados clara, como abrir um restaurante sem saber quais pratos servir. Uma estratégia de dados definida atua como um menu, identificando as principais fontes de dados e alinhando todos em direção a objetivos comuns.

Enviar seus engenheiros front-end para descobrir quais ferramentas eles podem usar para enviar dados para o data lake e, mais tarde, também esperar que eles construam tabelas a partir dele, sem fornecer-lhes ferramentas e educação padronizadas, não funcionará bem e você arrastará muitos questões de qualidade dos dados.

“O maior obstáculo não é a tecnologia, é a mudança da cultura da organização . Passar de uma abordagem centralizada e de cima para baixo para uma abordagem descentralizada e de autoatendimento requer uma mudança significativa de mentalidade que pode encontrar resistência." - Adrian Colyer, cofundador do The Information Lab

Governança de dados é o molho secreto

Não subestime a importância da governança de dados. É como ter um cardápio definido, garantindo que todos utilizem os ingredientes certos e cozinhem com qualidade consistente. Evite silos de dados e confusão estabelecendo diretrizes e padrões claros.

Organizações que não adotaram contratos de dados incluindo método de validação de esquema sofrerão com dados inúteis, muito simples, o mais importante é ter uma equipe que possa construir ferramentas para criar fluxo no ecossistema de dados, desde as solicitações dos analistas até os dados produtores, e até mudanças criadas nos dados, desde os produtores de dados até os analistas e consumidores de dados.

Configurar a governança de dados é a chave para criar essa ordem na cozinha, não que agora todo mundo peça seu curry em pó de um fornecedor diferente, e então o sabor será diferente

Abrace suas ferramentas

Planilhas Excel são ótimos temperos! Concentre-se em capacitar sua cultura de dados e colaboração, não em esnobismo de ferramentas. Lembre-se de que Data Mesh trata de equipes que possuem sua voz e contribuem de forma eficaz, independentemente de suas ferramentas. Lembro-me que no passado li sobre o Netflix e perguntei: eles são loucos? Por que eles têm Tableau, MicroStrategy e PowerBI, é porque não conseguem decidir sobre uma ferramenta para a organização? Bem, eu não sabia nada sobre malha de dados e esse é o motivo mais provável.

Planilhas Excel? Sem suor! Abrace a "Mise en Place" do Data Mesh

Sistemas legados, ferramentas limitadas e problemas de qualidade de dados podem parecer pesadelos na cozinha. Mas não tema, chef de dados! Esqueça o esnobismo das ferramentas. Quer sua equipe utilize planilhas Excel ou Tableau, o Data Mesh visa capacitar sua cultura de dados e alinhar sua voz com a organização. Talvez a equipe de CRM esteja obcecada com a qualidade do conteúdo em vez das taxas de conversão. Isso é o Data Mesh em ação! As equipes podem se autoavaliar, mas entendendo que a empresa pode avaliar o desempenho de forma diferente.

Pense nisso como "mise en place" , o termo da culinária francesa para preparar ingredientes antes de cozinhar. Uma estratégia de dados forte define os ingredientes (fontes de dados, governança), garantindo que todos falem a mesma língua e contribuam de forma eficaz.

Aprendendo com outras cozinhas

Compreender os obstáculos comuns enfrentados por organizações semelhantes ajuda. Imagine chefs compartilhando suas histórias de “fogo na cozinha” e aprendendo com os erros uns dos outros. Ao destacar estes desafios e potenciais soluções, podemos equipar outros para evitar armadilhas semelhantes.

O Data Mesh não trata apenas de abrir as portas da cozinha; trata-se de criar um conjunto culinário bem coordenado. Aprenda com as histórias de “incêndio na cozinha” de outras pessoas, adote ferramentas e recursos úteis e, o mais importante, aborde o Data Mesh com uma mente aberta e um espírito colaborativo. Então, abandone o insípido, aceite o tempero e prepare uma obra-prima baseada em dados que atormentará o paladar de todos!