En el paisaje evolutivo de la tecnología, la integración de las tuberías de datos en tiempo real y la computación de borde está remodelando la forma en que operan las tiendas de ladrillo y mortero. Durante su mandato en Grocery Outlet, Hanumanthaiah desempeñó un papel importante en la gestión del canal de datos de ventas en tiempo real, pasando de las tiendas al almacén de datos en la nube - AWS Redshift. También contribuyó al proyecto de transformación digital que migró los datos de AWS Redshift a Google BigQuery Lakehouse. Además, un aspecto importante del trabajo y la transformación digital de Hanumanthaiah involucró la integración de los sistemas SAP en la nueva arquitectura de datos.Mapó meticulosamente los datos de SAP HANA a más de 300 tablas de almacenamiento de datos, asegurando que la transición de los sistemas legados como AS400 a los sistemas basados en SAP no interrumpió el flujo de información empresarial crítica. Uno de los logros notables en este proceso fue el desarrollo de un marco ELT (Extract, Load, Transform) adaptado para la migración de almacenes de datos. Este marco facilitó el manejo eficiente de Change Data Capture (CDC) de SAP, un método esencial para la replicación de datos en tiempo real. Al optimizar el proceso CDC, Hanumanthaiah logró un ahorro de costes sustancial de $10,000 en la facturación de Google BigQuery. Esto se logró rediseñando cómo se procesaban los datos de CDC, reduciendo las escaneos de datos innecesarios y mejorando el rendimiento de las consultas. Además de ahorrar costes, Hanumanthaiah abordó los desafíos planteados por el modelo de datos SAP HANA altamente normalizado. Las consultas de cálculo de procesos complejos eran propensas a las pérdidas de tiempo en la capa de middleware, afectando el rendimiento de las aplicaciones críticas. Hanumanthaiah también extendió su experiencia a la integración de datos de comercio electrónico. Modeló los datos de SAP para satisfacer los requisitos de los proveedores de comercio electrónico como Doordash, Instacart, Uber Eats y la App Grocery Outlet. Esta integración fue vital para expandir la huella digital de la compañía y garantizar que las plataformas en línea tuvieran acceso a datos precisos y oportunos. Además, participó en la construcción de informes de alto impacto, como análisis de Margen de Ventas, aprovechando los nuevos sistemas de fuente y desarrollando un marco para rastrear si SAP SLT, un ELT de SAP, no replica los datos en Google Cloud. Esto incluyó definir los procedimientos operativos estándar (SOP) y la recuperación de desastres. Más allá de las implementaciones técnicas, Hanumanthaiah colaboró con proveedores técnicos para optimizar el uso de los recursos de la nube. Fine-tuned MicroStrategy VLDB (Very Large Database) configuraciones para AWS Redshift, logrando una mejora del 15% en los tiempos de ejecución de consultas. Reflexionando sobre los desafíos enfrentados durante estos proyectos, Hanumanthaiah subraya la importancia de construir conectores capaces de gestionar CDC al replicar datos de SAP HANA a almacenes de datos basados en la nube o lagos. sugirió que, en ausencia de tales conectores, el empleo de una base de datos de nube transaccional intermedia puede ser eficaz. Hanumanthaiah también señala que la construcción de tuberías en tiempo real puede volverse compleja cuando se trata de datos de alta velocidad. él aboga por las pruebas minuciosas de conectores y tecnologías de interfaz bajo cargas grandes simuladas para garantizar la fiabilidad. Además, señala que las tecnologías de replicación a menudo carecen de rastreo de errores nativos, destacando la necesidad de vigilancia y pruebas fuertes. En resumen, las contribuciones de Suhas Hanumanthaiah a la integración de tuberías de datos en tiempo real y la computación de punta en el comercio minorista han llevado a mejoras operativas en Grocery Outlet Inc. Su trabajo ilustra cómo la arquitectura de datos está sufriendo una transformación moderna, mejorando la experiencia del cliente. Esta historia fue distribuida como una publicación por Kashvi Pandey bajo el Programa de Blogging de Negocios de HackerNoon. Esta historia fue distribuida como una publicación por Kashvi Pandey bajo el Programa de Blogging de Negocios de HackerNoon.
