Au cours des dernières années de travail avec des équipes de données au sein de grandes entreprises, j’ai rencontré beaucoup de leaders de données qui me disent qu’ils ont essayé et échoué à « faire DataOps ». Le schéma est généralement le même.Ils écrivent des normes, ajoutent quelques tests et mettent en place des outils d'observation.Les processus sont documentés.Des listes de vérification de sortie sont faites.Les équipes essaient de les suivre. Et puis le recul s’accumule, les exceptions se multiplient, et l’équipe doit tout tenir ensemble avec la mémoire et de longues heures. DataOps est une bonne philosophie, mais la philosophie seule n’échelle pas le travail de votre équipe. DataOps prend vie lorsque ses principes sont exécutés par des systèmes, pas dépendant de l’effort humain. DataOps offre un nouveau modèle opérationnel audacieux pour les données DataOps est construit sur une prémisse simple : traiter les données comme un produit, et la livraison des données comme la livraison de logiciels. En pratique, DataOps tire directement de ce que les équipes de logiciels ont appris de la manière difficile: Création et déploiement automatisés, pas des sorties manuelles Test comme un défaut, pas un effort héroïque L’observation dans la production, pas l’archéologie post-mortem Contrôles cuits dans la livraison, pas enroulés après le fait Là où les organisations s’accrochent, c’est de maintenir le processus en marche à mesure que les systèmes grandissent et changent. Où les DataOps se brisent en pratique La plupart des organisations qui luttent avec DataOps échouent parce qu’elles traitent ses principes comme des meilleures pratiques ambitieuses pour l’équipe de données à maintenir. Quelques modèles communs apparaissent : Les équipes conviennent de nommer des conventions, des exigences en matière de documentation et des procédures de libération – jusqu’à ce que les délais soient atteints. Tester sans couverture. Une poignée de pipelines critiques obtiennent des tests. Le reste obtient "nous y reviendrons". Des tableaux de bord existent, des avertissements d'incendie, mais il n'y a pas assez de capacité pour les surveiller et y répondre, donc l'équipe entend toujours parler d'échecs d'utilisateurs en colère. Les politiques sont écrites, mais l’application dépend des humains qui se souviennent de les appliquer. Les équipes de données travaillent plus dur que jamais, mais les processus manuels augmentent leur charge de travail. Il devient plus difficile de maintenir cet effort à mesure que les pipelines, les équipes et les dépendances grandissent. L’automatisation impose la discipline DataOps Lorsque les gens entendent «l’automatisation», ils imaginent souvent un travail qui génère la documentation, un assistant qui embrasse un pipeline ou une macro qui crée un billet. L'automatisation opérationnelle modifie l'équation en établissant des systèmes qui construisent, testent, déploient, observent et gouvernent de manière fiable la livraison de données en tant que comportement par défaut. L’automatisation de DataOps est un ensemble de capacités qui rendent la discipline exécutoire. En pratique, cela ressemble à ceci : 1) La livraison de produits de données en tant que flux de travail de première classe Au lieu de traiter les pipelines comme des projets à la fois, vous les emballez comme des livrables durables et réutilisables – versionnés, documentés, détenus et promus à travers des environnements. 2) CI / CD automatique pour les changements de données Les mises à jour de schéma, la logique de transformation, les mises à jour de dépendance et les changements d’infrastructure passent par un chemin de sortie cohérent – sans réinventer à chaque fois. 3) L’observation continue liée à l’action Non seulement « pouvons-nous le voir ? » mais « savons-nous immédiatement quand cela change, et avons-nous des portes qui empêchent les mauvaises données d’être expédiées ? » 4) L’application de la gouvernance au moment du runtime Les politiques deviennent des contrôles : des portes de qualité, des portes de politique, des pistes d’audit et des contrôles de conformité qui s’exécutent automatiquement, chaque sortie, chaque jour. Comment l’automatisation change le travail des équipes de données La prise de vue cynique de l'automatisation est qu'elle traite les humains comme le bouchon de bouteille. Dans la plupart des organismes de données, le véritable obstacle est que les personnes talentueuses passent leur temps précieux sur des travaux non qualifiés: rencontres, combats de feu, remplissages, validations manuelles, coordination de la libération, listes de contrôle des politiques. Lorsque ces tâches sont automatisées, l'équipe de données a la possibilité de passer plus de temps sur les travaux qui déplacent réellement l'entreprise, tels que la conception de produits de données, la modélisation de l'entreprise, l'amélioration de la fiabilité et la réduction de la complexité. DataOps a toujours été sur les opérations - donc opérationnalisez-le Dès le début, DataOps était destiné à apporter discipline, répétabilité et confiance à la livraison de données – pas comme une théorie du monde parfait, mais comme une réalité opérationnelle. L'automatisation transforme DataOps d'un ensemble de principes en un processus défini que le système applique chaque jour.Il garantit que les normes survivent à la pression, que la gouvernance suit les changements et que la confiance devient quelque chose que vous pouvez mesurer au lieu d'espérer. Lorsque les équipes dépendent de vos données pour construire et exécuter l'IA, il n'y a pas de place pour l'ambiguïté sur la façon dont les données se comportent. C’était toujours la promesse de DataOps. L’automatisation est la clé pour en faire une réalité. Cet article a été publié dans le cadre du programme de blogging d'affaires de HackerNoon. Cet article a été publié dans le cadre du programme de blogging d'affaires de HackerNoon. Cet article a été publié dans HackerNoon's . Blogging d’affaires Blogging d’affaires Blogging d’affaires
