Tu ordenador se estrella, tu teléfono se congela y tu Netflix deja de funcionar.Es bastante frustrante.Ahora, imagínate ejecutar un negocio donde todo tu sistema de datos falla.Cada segundo de inactividad te cuesta dinero. Las empresas pierden dinero cuando sus sistemas fallan. Las grandes empresas pueden perder $300,000 por hora cuando las cosas se rompen. Algunas pierden aún más.Es como tener un fuego de dinero que continúa ardiendo hasta que alguien lo apague. Según Gartner, el coste promedio de un tiempo de inactividad es de $5,600 por minuto. Esto se vuelve mucho peor cuando las empresas necesitan cambiar sus bases de datos. Piensa en ello como renovar tu casa mientras aún vives en ella. La mayoría del tiempo, tienes que salir primero. Lo mismo con las bases de datos - todo tiene que cerrarse antes de que puedas hacer cambios. Eso es dinero loco que acaba de desaparecer. Estadísticas recientes muestran que el 44% de las organizaciones ahora cuentan con un costo de inactividad por hora de más de 1 millón de dólares Kumar Sai Sankar Javvaji estaba tratando con esta pesadilla todos los días. Fue empleado por un gran minorista en línea como ingeniero de datos. Él era responsable de mantener el flujo sin problemas de enormes volúmenes de datos de clientes. Pero cada vez que necesitaban actualizar cómo se organizaban esos datos, todo tenía que detenerse. El punto de inflexión llegó durante lo que debería haber sido una actualización de rutina.La compañía quería cambiar la forma en que almacenaba la información del cliente para agregar nuevas características.Su sistema no podía manejar el cambio sin cerrarlo durante horas.Los clientes no podían comprar. Las ventas se detuvieron.El dinero desapareció mientras él y su equipo se esforzaban por arreglar todo. Construir algo que funcione Se cansó de esta confusión. se sentó y construyó algo completamente diferente. Su nuevo sistema podía manejar cambios en la base de datos sin cerrar nada. No más reuniones de emergencia. No más llamadas telefónicas de pánico. No más dinero perdido. Su solución tenía tres partes que trabajaban juntas.En primer lugar, la versión automática de la tabla que guardaba los datos antiguos mientras creaba nuevas estructuras.En segundo lugar, el backfilling paralelo inteligente que copiaba la información histórica en varios procesos a la vez.En tercer lugar, las actualizaciones de rodamiento que permiten que las versiones nuevas y antiguas funcionen lado a lado. Cuando los desarrolladores necesitaban cambiar la estructura de la base de datos, su sistema guardaba automáticamente la versión actual, como tomar una imagen instantánea. Luego creaba la nueva versión junto a la antigua. Ambos podían ejecutarse al mismo tiempo. consultas antiguas siguieron trabajando con datos antiguos. consultas nuevas usaron la nueva estructura. La configuración técnica utilizó las funciones de transacción de Delta Lake con el software de programación personalizado que él mismo escribió. El sistema vigiló los cambios en la base de datos en tiempo real, mantuvo historias completas para que nada se perdiera y permitió que las diferentes versiones coexistieran pacíficamente. Los motores de procesamiento múltiples manejaron copias de datos en diferentes secciones simultáneamente, manteniendo todo funcionando sin problemas. Su marco gestionó todo de forma automática. Cuando los desarrolladores implementaron cambios de esquema, el sistema encontró estructuras de datos afectadas, creó nuevas versiones y comenzó a copiar datos históricos en paralelo. Todos los sistemas y tuberías de datos conectados se actualizaron sin problemas. Todo permaneció consistente en toda la configuración sin que nadie tuviera que babysit el proceso. El sistema gestionó de manera eficiente los casos de borde complejos que generalmente causaban fallos. gestionó sin problemas los cambios de bases de datos conflictivos, resolvió los desajustes de tipo de datos y mantuvo conexiones entre diferentes versiones de tablas. Las actualizaciones de rodamiento fueron la parte más divertida. En lugar de cerrar todo, las nuevas versiones de la base de datos podrían funcionar junto con las antiguas. Los nuevos datos fluyeron a través de estructuras actualizadas mientras que las antiguas búsquedas de datos históricos continuaban funcionando normalmente. Todo cambió para mejor Los equipos de ingeniería podían cambiar las estructuras de bases de datos rápidamente sin planificar ventanas de mantenimiento complejas o preocuparse por romper las cosas.La automatización redujo los errores humanos durante las transiciones de bases de datos, manteniendo los datos disponibles para funciones empresariales críticas. Las tareas que antes tomaban horas de cuidadosa coordinación ahora ocurren automáticamente. En lugar de mantener los sistemas actuales, esto liberó tiempo de ingeniería para crear nuevas características. En lugar de abordar problemas de larga duración, las personas pueden concentrarse en desarrollar nuevos productos innovadores. El liderazgo de la empresa notó lo grande que era su trabajo. comenzó a influir en otros proyectos de datos en toda la organización. El enfoque demostró que el diseño inteligente podría hacer que los sistemas de datos apoyen el crecimiento del negocio en lugar de retenerlo. "Los sistemas tradicionales tratan los cambios de esquema como emergencias", explica Kumar Sai Sankar Javvaji. "Todo se detiene, los equipos se enfrentan para actualizar manualmente los procesos, y las operaciones empresariales sufren mientras luchamos por recuperar los sistemas en línea". Otros equipos de ingeniería comenzaron a prestar atención a su éxito. sus ideas de diseño comenzaron a influir en las decisiones de arquitectura de datos en múltiples proyectos. aparecieron nuevos estándares para manejar los cambios en las bases de datos en los entornos de producción. A los administradores de bases de datos les gustó cómo su sistema cambió su trabajo diario. Antes, los cambios en la base de datos requerían una planificación cuidadosa, ventanas de mantenimiento largas y un seguimiento constante para asegurarse de que los datos permanecían correctos. La imagen más grande Su trabajo muestra un cambio importante en la forma en que las organizaciones piensan sobre los sistemas de datos.La ingeniería de datos de la escuela antigua se centró en construir sistemas que podrían sobrevivir a los cambios a través de la planificación cuidadosa y el trabajo manual.Los enfoques modernos enfatizan la construcción de sistemas que prosperan en los cambios a través de la automatización y el diseño inteligente. Su sistema representa esta evolución hacia una infraestructura proactiva que se adapta a las necesidades de los negocios en lugar de restringirlas. Esto coincide con las tendencias más amplias de la industria hacia estrategias de implementación de tiempo cero y prácticas de integración continua que han transformado el desarrollo de software. A medida que las cantidades de datos continúan creciendo y los requisitos empresariales cambian más rápidamente, soluciones como su punto hacia un futuro donde la infraestructura de datos se vuelve verdaderamente adaptativa.La tecnología muestra que con un diseño cuidadoso y procesos automatizados, los equipos de datos pueden construir sistemas que abrazan el cambio como combustible para la innovación en lugar de dolores de cabeza operativos. Su influencia fue más allá de la implementación técnica inmediata.Los otros equipos de la organización comenzaron a abordar de manera similar los problemas de infraestructura, fomentando una cultura de automatización proactiva en lugar de la lucha contra incendios reactivos.El mayor efecto a largo plazo de su trabajo puede ser este cambio en la cultura. Ahora su sistema es parte de cada actualización de software que hace la empresa.Los equipos pueden impulsar los cambios con confianza sin preocuparse por romper las cosas.Los jefes de la empresa lo aman porque funciona y ha influenciado la forma en que otros proyectos de datos se construyen en toda la organización. "Este sistema cambió la forma en que pensamos en el mantenimiento de los tubos de datos", reflexiona Kumar Sai Sankar Javvaji. "En lugar de temer cambios de esquema, los equipos pueden centrarse en construir características que impulsen el valor empresarial". Otros ingenieros de datos que se ocupan de dolores de cabeza similares pueden aprender de lo que construyó. Su método demuestra que en lugar de ver los cambios en la base de datos como catástrofes inminentes, puede crear sistemas que los gestionen con facilidad. El trabajo de Kumar Sai Sankar Javvaji demuestra algo importante: las mejores innovaciones provienen de la reparación de problemas reales que realmente importan.

This story contains new, firsthand information uncovered by the writer.

Este audio es producido en el idioma original de la historia!

El hombre que solucionó uno de los problemas más costosos de la tecnología

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps