Étiquette : Keith Belanger Étiquette : Keith Belanger Les attentes en matière de volume de données, de vitesse, de qualité et de gouvernance ont augmenté presque de nuit, mettant une pression énorme sur les flux de travail de données conçus pour l'ère des données analytiques. La seconde perturbation se produit plus silencieusement. À l’échelle de l’entreprise, l’IA joue de plus en plus un rôle dans l’automatisation de l’application des normes et des contrôles de DataOps. Fournir des données AI-ready Fournir des données AI-ready Quand l'échelle dépasse l'attention humaine La fiabilité des données a traditionnellement dépendu de quelqu'un qui remarque que quelque chose ne fonctionne pas: une alerte s'éteint, un tableau de bord semble mal, ou une équipe en aval signale un problème. J'ai vu cette approche fonctionner lorsque les systèmes sont petits et que le changement est lent, mais il est très fragile face à la croissance.Lorsque les organisations demandent aux équipes de données de superviser les systèmes qui changent constamment, réagissent instantanément et se comportent de manière cohérente, la vigilance humaine cesse d'être une solution et commence à devenir une responsabilité. Lorsque vous atteignez l’échelle de l’entreprise, les pipelines n’échouent plus l’une à la fois. Les petits changements s’effondrent et les dépendances s’aggravent. C’est exactement pour cela que DataOps a été conçu : la fiabilité évolutive qui vient des systèmes et des processus, pas de l’héroïsme individuel. En route vers l’Upstream Depuis l’apparition des premiers modèles d’IA, les équipes de données ont vu l’IA comme un consommateur de données à la fin du pipeline. La même technologie qui exerce une pression croissante sur les données à haut volume, à grande vitesse et très gérées peut maintenant aider à construire et à exploiter les systèmes qui fournissent ces données. L'IA peut soutenir les opérations de données de plusieurs façons distinctes. Il peut aider à maintenir la documentation synchronisée au fur et à mesure que les pipelines évoluent. Il peut proposer des tests basés sur la façon dont les systèmes ont échoué ou dérivé dans le passé. Il peut faire surface aux anomalies que les humains manqueraient ou remarqueraient trop tard. Et il peut évaluer les signaux de préparation à travers la qualité, la ligne et la gouvernance en continu, pas seulement pendant les évaluations. Il ne s'agit pas de remplacer les ingénieurs Chaque vague d’automatisation fait craindre que leurs emplois soient optimisés. dans Il suppose que les gens peuvent appliquer manuellement les normes, valider chaque changement et se souvenir de chaque dépendance. Ingénierie des données Ingénierie des données L’intelligence artificielle est bien adaptée aux tâches analytiques difficiles auxquelles les gens sont confrontés, notamment à la recherche de modèles, à la vérification de la cohérence et à l’application continue des règles. Lorsque les organisations automatisent des tâches qui n’auraient pas dû être du travail humain en premier lieu, les experts en données acquièrent la liberté de faire ce qu’ils sont uniquement bons à faire : concevoir des produits de données, peser les compromis et améliorer les systèmes au fil du temps. Où s’intègre la gouvernance Les conversations sur la gouvernance de l'IA ont tendance à se concentrer sur ce qui se passe après le déploiement des modèles.Mais les échecs proviennent généralement de systèmes de données qui finissent par nourrir les mauvaises données de l'IA. Les DataOps assistés par l’IA peuvent détecter les problèmes plus tôt et empêcher les mauvaises données d’atteindre la production en premier lieu. Certaines questions devraient toujours servir de portes d’accès pour la livraison de données : Ce changement doit-il être déployé ? Un produit de données a-t-il reculé par rapport à son comportement passé? Ce pipeline répond-il encore aux attentes de la politique et de la qualité? Les humains ne peuvent pas répondre continuellement à ces questions à l'échelle de l'IA, mais l'IA peut.Avec l'IA, les équipes peuvent cesser de compter sur des évaluations périodiques ou des audits post-hoc et commencer à systématiser . Contrôles de gouvernance Contrôles de gouvernance Un modèle AI-Augmented DataOps en pratique Un modèle DataOps augmenté par l’IA ne ressemble pas à un système entièrement autonome. intégré au modèle opérationnel. Le soutien léger Le soutien léger Les humains définissent l'intention, les normes et les risques acceptables.L'automatisation impose la cohérence et la répétabilité.L'IA ajoute des analyses, des recommandations et des avertissements précoces, aidant les équipes à voir les problèmes plus tôt et à les raisonner plus clairement. L’IA améliore la confiance en réduisant les taches aveugles tout en gardant la responsabilité là où elle appartient. Lorsque l’IA participe à l’exécution des opérations de données, quelques changements se produisent : Les problèmes sont pris plus tôt, quand ils sont moins chers à résoudre. Les critiques se concentrent davantage sur l’intention et l’impact, pas sur les contrôles mécaniques. La documentation est plus proche de la réalité. Les équipes passent moins de temps à réagir et plus de temps à s’améliorer. L’objectif est que les systèmes de données fournissent prévisiblement des données prêtes à l’IA à la vitesse, même lorsque le changement et la demande s’accélèrent. Réflexion sur le rôle de l’IA dans l’ingénierie des données L’avenir de l’ingénierie des données sera défini par la fiabilité de ses opérations de données Cela signifie traiter l’IA comme un participant à l’application de la discipline, de la cohérence et de la confiance tout au long du cycle de vie des données. Produits de données Produits de données Ce moment appelle à reconnaître l’IA comme plus qu’un consommateur d’IA en aval. Il devrait être plié en tant que partenaire dans le travail opérationnel qui rend les données prêtes à l’IA en premier lieu. Il est temps d'introduire l'IA dans les opérations de données en tant que partenaire qui peut appliquer la discipline, le risque de surface plus tôt et garder les systèmes fiables à l'échelle.
