No panorama evolutivo da tecnoloxía, a integración de canles de datos en tempo real e a computación de bordo está reformulando a forma en que operan as tendas de ladrillos. Durante o seu mandato en Grocery Outlet, Hanumanthaiah desempeñou un papel importante na xestión da canle de datos de vendas en tempo real, pasando das tendas ao almacén de datos en nube - AWS Redshift. Tamén contribuíu ao proxecto de transformación dixital que migrou os datos de AWS Redshift a Google BigQuery Lakehouse. Ademais, un aspecto significativo do traballo e a transformación dixital de Hanumanthaiah implicou a integración de sistemas SAP na nova arquitectura de datos. El meticulosamente mapeou datos de SAP HANA a máis de 300 táboas de almacén de datos, asegurando que a transición de sistemas antigos como AS400 a sistemas baseados en SAP non interrompera o fluxo de información empresarial crítica. Un dos logros notables neste proceso foi o desenvolvemento dun marco ELT (Extract, Load, Transform) adaptado para a migración de almacenamento de datos. Este marco facilitou o manexo eficiente de Change Data Capture (CDC) de SAP, un método esencial para a replicación de datos en tempo real. Ao optimizar o proceso CDC, Hanumanthaiah logrou un aforro de custos substancial de $ 10.000 en facturación de Google BigQuery. Isto logrouse redeseñando como se procesaban os datos CDC, reducindo as escaneas de datos innecesarias e mellorando o rendemento das consultas. Ademais de aforrar custos, Hanumanthaiah abordou os retos que supón o modelo de datos SAP HANA altamente normalizado. As consultas de cálculo de procesos complexos estaban propensas a temporizacións na capa de middleware, afectando o rendemento das aplicacións críticas. A experiencia de Hanumanthaiah tamén se estendeu á integración de datos de comercio electrónico. Modelou datos de SAP para satisfacer os requisitos de provedores de comercio electrónico como Doordash, Instacart, Uber Eats e a App Grocery Outlet. Esta integración foi vital para ampliar a pegada dixital da empresa e asegurar que as plataformas en liña tiñan acceso a datos precisos e oportunos. Falando de integración, tamén desenvolveu un marco ELT repetible para a pipeline CDAP e acelerou o desenvolvemento de pipelines para soportar 600+ táboas en menos de 8 semanas. Ademais, foi fundamental na construción de informes de alto impacto, como análises de marxe de vendas, aproveitando os novos sistemas de orixe e desenvolvendo un marco para rastrexar se SAP SLT, un ELT de SAP, non replica os datos en Google Cloud. Isto incluíu a definición de procedementos operacionais estándar (SOP) e recuperación de desastres. Ademais das implementacións técnicas, Hanumanthaiah colaborou con provedores técnicos para optimizar o uso dos recursos da nube. Fine-tuned MicroStrategy VLDB (Very Large Database) configuracións para AWS Redshift, conseguindo unha mellora de 15% no tempo de execución de consultas. Reflexionando sobre os retos que se enfrontan durante estes proxectos, Hanumanthaiah salienta a importancia de construír conectores capaces de xestionar CDC ao replicar datos de SAP HANA a almacéns de datos baseados na nube ou lagoas. Suxire que, na ausencia de tales conectores, o emprego dunha base de datos de nube de transaccións intermediaria pode ser eficaz. Hanumanthaiah tamén observa que a construción de gasodutos en tempo real pode converterse en complexo cando se trata de datos de alta velocidade. defende probas minuciosas de conectores e tecnoloxías de interface baixo cargas grandes simuladas para garantir a fiabilidade.Ademais, sinala que as tecnoloxías de replicación moitas veces carecen de rastrexo de erros nativos, salientando a necesidade de monitorización e probas fortes. En resumo, as contribucións de Suhas Hanumanthaiah á integración de conductas de datos en tempo real e computación de bordo no comercio polo miúdo levaron a melloras operacionais en Grocery Outlet Inc. O seu traballo ilustra como a arquitectura de datos está a sufrir unha transformación moderna, mellorando a experiencia do cliente. Esta historia foi distribuída como unha publicación por Kashvi Pandey baixo HackerNoon's Business Blogging Program. Esta historia foi distribuída como unha publicación por Kashvi Pandey baixo HackerNoon's Business Blogging Program.
