Nos últimos anos trabalhando com equipes de dados dentro de grandes empresas, conheci muitos líderes de dados que me dizem que tentaram e falharam em “fazer DataOps”. O padrão é geralmente o mesmo. Eles escrevem padrões, adicionam alguns testes e criam ferramentas de observação. Os processos são documentados. As listas de verificação de lançamento são feitas. As equipes tentam – urgentemente – segui-las. E então o backlog se acumula, as exceções se multiplicam, e a equipe tem que segurar tudo junto com memória e longas horas. O DataOps é uma filosofia sólida, mas a filosofia por si só não escala o trabalho da sua equipe. O DataOps surge quando seus princípios são executados por sistemas, não dependendo do esforço humano. DataOps oferece um novo modelo operacional para dados O DataOps é construído sobre uma premissa simples: tratar os dados como um produto, e a entrega de dados como a entrega de software. Na prática, o DataOps se baseia diretamente no que as equipes de software aprenderam da maneira mais difícil: Construção e implantação automatizadas, não lançamentos manuais Testar como um padrão, não um esforço heroico Observação na produção, não na arqueologia pós-mortem Controles cozidos na entrega, não enrolados após o fato Onde as organizações ficam penduradas é mantendo o processo funcionando à medida que os sistemas crescem e mudam. Onde o DataOps desmorona na prática A maioria das organizações que lutam com DataOps falham porque tratam seus princípios como melhores práticas aspirantes para a equipe de dados manter. Alguns padrões comuns aparecem: As equipes concordam em nomear convenções, requisitos de documentação e procedimentos de liberação – até que os prazos sejam cumpridos. Testes sem cobertura. Um punhado de gasodutos críticos recebem testes. O resto recebe "voltaremos a isso". Existem painéis de controle, alertas de incêndio, mas não há capacidade suficiente para monitorar e responder a eles, então a equipe ainda ouve sobre falhas de usuários enfurecidos. As políticas são escritas, mas a aplicação depende de seres humanos se lembrarem de aplicá-las. As equipes de dados estão trabalhando mais duro do que nunca, mas os processos manuais acrescentam sua carga de trabalho. A automação impõe a disciplina DataOps Quando as pessoas ouvem a palavra “automatização”, muitas vezes imaginam um trabalho que gera documentação, um assistente que esconde um gasoduto ou uma macro que cria um bilhete. A automação operacional altera a equação ao estabelecer sistemas que construam, testam, implementam, observam e governam a entrega de dados como um comportamento padrão. A automação de DataOps é um conjunto de capacidades que tornam a disciplina aplicável. Na prática, parece assim: 1) Entrega de produtos de dados como um fluxo de trabalho de primeira classe Em vez de tratá-los como projetos descartáveis, você os embalará como entregas duradouras e reutilizáveis – versionadas, documentadas, de propriedade e promovidas através de ambientes. 2) CI/CD automático para alterações de dados Atualizações de esquema, lógica de transformação, atualizações de dependência e mudanças de infraestrutura passam por um caminho de lançamento consistente – sem reinventar a cada vez. 3) Observação contínua ligada à ação Não apenas “podemos vê-lo?” mas “sabemos imediatamente quando isso muda, e temos portas que impedem que dados ruins sejam enviados?” 4) Implementação da governação no runtime As políticas tornam-se controles: portões de qualidade, portões de políticas, trilhas de auditoria e controles de conformidade que são executados automaticamente, a cada lançamento, todos os dias. Como a automação muda o trabalho das equipes de dados A abordagem cínica da automação é que trata os seres humanos como a garrafa. Na maioria dos orgs de dados, a verdadeira lacuna é que as pessoas talentosas estão gastando seu tempo valioso em trabalho não qualificado: re-runs, combates de incêndio, backfills, validações manuais, coordenação de lançamento, listas de verificação de políticas. Quando essas tarefas são automatizadas, a equipe de dados tem espaço para passar mais tempo no trabalho que realmente move o negócio, como projetar produtos de dados, modelar o negócio, melhorar a confiabilidade e reduzir a complexidade. DataOps sempre foi sobre operações – então operacionalize Desde o início, o DataOps foi projetado para trazer disciplina, repetibilidade e confiança para a entrega de dados – não como uma teoria do mundo perfeito, mas como uma realidade operacional. A automação transforma o DataOps de um conjunto de princípios em um processo definido que o sistema impõe todos os dias.Assegura que as normas sobrevivam à pressão, a governação acompanha as mudanças e a confiança se torna algo que você pode medir em vez de esperar. Quando as equipes dependem de seus dados para construir e executar a IA, não há espaço para ambiguidade sobre como os dados se comportam. Essa foi sempre a promessa da DataOps. A automação é a chave para torná-la uma realidade. Esta história foi publicada sob o Programa de Blogging de Negócios da HackerNoon. Esta história foi publicada sob o Programa de Blogging de Negócios da HackerNoon. Este artigo foi publicado em HackerNoon's . Business Blogging Program Programa de Blogs de Negócios Programa de Blogs de Negócios
