Durante los últimos años trabajando con equipos de datos dentro de grandes empresas, he conocido a muchos líderes de datos que me dicen que han intentado y fallado en "hacer DataOps". El patrón suele ser el mismo.Ellos escriben estándares, añaden algunas pruebas y ponen herramientas de observación.Los procesos se documentan.Se hacen listas de verificación de lanzamiento.Los equipos tratan de seguirlos. Y entonces el retroceso se acumula, las excepciones se multiplican, y el equipo tiene que mantenerlo todo junto con la memoria y largas horas. DataOps es una buena filosofía, pero la filosofía por sí sola no escala el trabajo de tu equipo. DataOps viene a la luz cuando sus principios son llevados a cabo por sistemas, no dependiendo del esfuerzo humano. DataOps ofrece un nuevo modelo operativo para los datos DataOps se basa en una premisa simple: tratar los datos como un producto, y la entrega de datos como la entrega de software. En la práctica, DataOps se basa directamente en lo que los equipos de software han aprendido de la manera difícil: Configuración y despliegue automatizados, no lanzamientos manuales Testar como un defecto, no un esfuerzo heroico Observación en la producción, no en la arqueología postmortem Controles cocidos en la entrega, no enrollados después del hecho Donde las organizaciones se cuelgan está manteniendo el proceso en marcha a medida que los sistemas crecen y cambian. Dónde los datos se rompen en la práctica La mayoría de las organizaciones que luchan con DataOps fallan porque tratan sus principios como buenas prácticas aspirantes para que el equipo de datos mantenga. Varios patrones comunes aparecen: Los equipos acuerdan nombrar convenciones, requisitos de documentación y procedimientos de publicación, hasta que se cumplen los plazos. Prueba sin cobertura.Un puñado de tuberías críticas reciben pruebas.El resto reciben “volveremos a ello”. Existen dashboards, alertas de incendio, pero no hay suficiente capacidad para monitorear y responder a ellos, por lo que el equipo todavía escucha acerca de fallos de los usuarios enojados. Las políticas están escritas, pero la ejecución depende de que los humanos se acuerden de aplicarlas. Los equipos de datos están trabajando más duro que nunca, pero los procesos manuales añaden a su carga de trabajo. Se vuelve más difícil mantener ese esfuerzo a medida que crecen las pipelines, equipos y dependencias. La automatización aplica la disciplina de DataOps Cuando la gente escucha “automatización”, a menudo imaginan un trabajo que genera documentación, un ayudante que escudriña una tubería, o una macro que crea un billete. La automatización operacional cambia la ecuación al establecer sistemas que construyan, prueben, desplegan, observen y regulan de forma fiable la entrega de datos como un comportamiento predeterminado. La automatización de DataOps es un conjunto de capacidades que hacen que la disciplina sea aplicable. En la práctica, parece así: 1) Entrega de productos de datos como un flujo de trabajo de primera clase En lugar de tratar las tuberías como proyectos de una sola vez, las embala como entregables duraderos y reutilizables —versionados, documentados, propiedad y promovidos a través de entornos. 2) CI/CD automático para cambios de datos Las actualizaciones de esquemas, la lógica de transformación, las actualizaciones de dependencia y los cambios en la infraestructura pasan por un camino de lanzamiento consistente, sin reinventarse cada vez. 3) Observación continua que está ligada a la acción No sólo “¿Podemos verlo?” sino “¿Sabemos inmediatamente cuándo cambia, y ¿tenemos puertas que impiden el envío de datos malos?” 4) Implementación de la gobernanza en el tiempo de ejecución Las políticas se convierten en controles: puertos de calidad, puertos de políticas, rutas de auditoría y controles de cumplimiento que se ejecutan automáticamente, cada publicación, todos los días. Cómo la automatización cambia el trabajo de los equipos de datos La visión cínica de la automatización es que trata a los seres humanos como la botella de botella. En la mayoría de los organismos de datos, la verdadera barrera de botella es que las personas talentosas están gastando su valioso tiempo en trabajo no cualificado: reencuentros, combates de fuego, backfills, validaciones manuales, coordinación de lanzamiento, listas de verificación de políticas. Cuando estas tareas se automatizan, el equipo de datos tiene espacio para pasar más tiempo en el trabajo que realmente mueve el negocio, como diseñar productos de datos, modelar el negocio, mejorar la fiabilidad y reducir la complejidad. DataOps siempre estuvo en torno a las operaciones, así que lo operacionalize Desde el principio, DataOps estaba destinado a traer disciplina, repetibilidad y confianza a la entrega de datos, no como una teoría del mundo perfecto, sino como una realidad operativa. La automatización transforma DataOps de un conjunto de principios en un proceso definido que el sistema aplica todos los días.Asegura que las normas sobrevivan a la presión, la gobernanza sigue al día con el cambio, y la confianza se convierte en algo que se puede medir en lugar de esperar. Cuando los equipos dependen de sus datos para construir y ejecutar la IA, no hay espacio para la ambigüedad sobre cómo se comportan los datos. Eso siempre ha sido la promesa de DataOps. La automatización es la clave para hacerla realidad. Esta historia fue publicada bajo el Programa de Blogging de Negocios de HackerNoon. Esta historia fue publicada bajo el Programa de Blogging de Negocios de HackerNoon. Esta noticia fue publicada en HackerNoon's . Business Blogging Program Programa de Blogging de Negocios Programa de Blogging de Negocios
