Guión: Keith Belanger Guión: Keith Belanger Las expectativas sobre el volumen de datos, la velocidad, la calidad y la gobernanza aumentaron casi de noche en noche, poniendo una enorme presión sobre los flujos de trabajo de datos diseñados para la era de los datos analíticos. La segunda interrupción está sucediendo más silenciosamente. A escala empresarial, la IA está desempeñando un papel cada vez más importante en la automatización de la aplicación de las normas y controles de DataOps. Envío de datos AI-ready Envío de datos AI-ready Cuando la escalera supera la atención humana La fiabilidad de los datos ha dependido tradicionalmente de que alguien observe que algo se siente: una alerta se apaga, un panel de instrumentos se ve mal, o un equipo a continuación señala un problema. He visto que este enfoque funciona cuando los sistemas son pequeños y el cambio es lento, pero es muy frágil ante el crecimiento.A medida que las organizaciones piden a los equipos de datos que supervisen los sistemas que cambian constantemente, reaccionan de inmediato y se comportan de forma consistente, la vigilancia humana deja de ser una solución y comienza a convertirse en una responsabilidad. Cuando se alcanza la escala de la empresa, las tuberías ya no fallan una por una. Los pequeños cambios se agitan y las dependencias se agotan.Al momento que alguien nota un problema, el impacto a menudo ya se ha extendido. Esto es exactamente lo que DataOps fue diseñado para: la fiabilidad escalable que proviene de los sistemas y procesos, no el heroísmo individual. Seguir leyendo Upstream Desde que surgieron los primeros modelos de IA, los equipos de datos han visto a la IA como un consumidor de datos al final de la tubería. Pero estamos bien en la era de la IA ahora.La misma tecnología que está aumentando la presión para los datos de alto volumen, de alta velocidad y altamente gobernados ahora puede ayudar a construir y operar los sistemas que proporcionan esos datos. La IA puede apoyar las operaciones de datos de varias maneras distintas. Puede ayudar a mantener la documentación sincronizada a medida que evolucionan los oleoductos. Puede proponer pruebas basadas en cómo los sistemas han fallado o se han desviado en el pasado. Puede superponer anomalías que los humanos perderían o notarán demasiado tarde. Y puede evaluar señales de preparación a través de la calidad, la línea y la gobernanza continuamente, no sólo durante las revisiones. No se trata de sustituir a los ingenieros Cada ola de automatización hace que la gente tenga miedo de que sus puestos de trabajo se optimicen. en , este enmarcamiento pierde lo que realmente rompe en los sistemas de datos. Asume que las personas pueden hacer cumplir los estándares manualmente, validar cada cambio y recordar cada dependencia. Ingeniería de Datos Ingeniería de Datos La IA está bien adaptada para asumir las tareas analíticas difíciles con las que la gente lucha, incluyendo la búsqueda de patrones, la verificación de la coherencia y la aplicación continua de las reglas. Cuando las organizaciones automatizan tareas que no deberían haber sido trabajo humano en primer lugar, los expertos en datos obtienen la libertad de hacer lo que son únicamente buenos en: diseñar productos de datos, ponderar los compromisos y mejorar los sistemas con el tiempo. Dónde entran en la gobernanza Las conversaciones sobre la gobernanza de la IA tienden a centrarse en lo que sucede después de que se implementen los modelos, pero los fracasos suelen originarse en los sistemas de datos que terminan alimentando a los malos datos de la IA. Los DataOps asistidos por IA pueden detectar problemas antes y evitar que los datos malos lleguen a la producción en primer lugar. Ciertas preguntas siempre deben servir como puertas para la entrega de datos: ¿Debería implementarse este cambio? ¿Ha regresado un producto de datos en comparación con su comportamiento anterior? ¿Todavía cumple este gasoducto con las expectativas de política y calidad? Con AI, los equipos pueden dejar de depender de revisiones periódicas o auditorías post-hoc y comenzar a sistematizar . governance checks Controles de gobernanza Un modelo de DataOps AI-Augmented en la práctica Un modelo de DataOps aumentado por IA no parece un sistema totalmente autónomo. integrado en el modelo operativo. layered support Auxilios de lactancia Los humanos definen la intención, los estándares y el riesgo aceptable.La automatización impone la coherencia y la repetibilidad.La IA agrega análisis, recomendaciones y advertencia temprana, ayudando a los equipos a ver los problemas antes y razonar sobre ellos con más claridad. La IA mejora la confianza al reducir los puntos ciegos mientras mantiene la responsabilidad donde pertenece. Cuando la IA participa en la ejecución de operaciones de datos, ocurren algunos cambios: Los problemas se capturan antes, cuando son más baratos de arreglar. Las revisiones se centran más en la intención y el impacto, no en los controles mecánicos. La documentación está más cerca de la realidad. Los equipos pasan menos tiempo reaccionando y más tiempo mejorando. El objetivo es que los sistemas de datos proporcionen datos preparados para la IA a una velocidad predictiva, incluso a medida que el cambio y la demanda se aceleran. Repensar el papel de la IA en la ingeniería de datos El futuro de la ingeniería de datos será definido por la fiabilidad de sus operaciones de datos para entregar AI-ready Esto significa tratar a la IA como un participante en la aplicación de la disciplina, la coherencia y la confianza a lo largo del ciclo de vida de los datos. Productos de datos Productos de datos Este momento requiere el reconocimiento de la IA como algo más que un consumidor de IA descendente.Debe incorporarse como socio en el trabajo operativo que hace que los datos estén listos para la IA en primer lugar. Es hora de introducir la IA en las operaciones de datos como un socio que pueda aplicar la disciplina, el riesgo de superficie más temprano y mantener los sistemas fiables a escala.
